JP2019008346A - 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】利用者の身体状態に応じて三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを変更できる、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供する。
【解決手段】三次元データ１０２による三次元空間内に仮想配置されたカメラのカメラワークを生成して、生成したカメラワークによるカメラの視野情報に基づき画像を作成する画像処理装置１０５であって、利用者状態測定部１０６から取得した利用者の身体情報に基づき、利用者の身体状態を推定して、推定された利用者の身体状態に基づいて、仮想配置されたカメラのカメラワークを変更する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関し、特に、三次元データから画像を作成する画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。

近年、画像コンテンツがデジタル化され、同一の画像コンテンツが、大型スクリーン、小型携帯端末の小型ディスプレイといった、様々な大きさのディスプレイで鑑賞されることが可能になった。この場合、全く同一の画像コンテンツであっても、大型スクリーンを用いた場合と、携帯端末等の小型ディスプレイを用いた場合とでは、利用者が受ける臨場感や動揺感などの刺激の強度は異なって感じられることが知られている。そして、利用者が受ける刺激の強度を左右する要因として、画面サイズの他に、表示装置の解像度等の物理特性、利用者の年齢等の身体的特性があるとされている。
なお、以下において、「利用者」とは画像コンテンツを鑑賞したり、画像コンテンツを視認することでコンテンツを利用・活用する個人などのエンドユーザを指すものとする。

このため、三次元ＣＧデータによる三次元空間内に仮想配置されたカメラによって画像を作成する場合でも、利用者（鑑賞者）に与える印象が観賞画面のサイズによって異なることがある。そこで、特許文献１では、鑑賞条件が異なる場合においてそれぞれに適切な画像の提供ができるように、三次元ＣＧデータによる三次元空間内に仮想配置されたカメラに対して、設定されたカメラワークデータを所定の鑑賞条件に対応して補正して、画像を作成する技術が提案されている。より詳細には、コンピュータで作成された三次元ＣＧデータの三次元空間内に仮想配置されたカメラから見た画像を、表示装置に二次元動画として表示する際に、カメラワークを、カメラワーク補正データ及びカメラワーク補正データの調整係数によって補正することによって、二次元動画を適宜に表示する技術である。

当該技術によれば、画像コンテンツの基礎データとなる三次元ＣＧデータを変更することなく、鑑賞条件に対応する調整係数を設定するだけで、鑑賞環境に対応した画像コンテンツを表示することが可能となる。また、該画像コンテンツを鑑賞する利用者が、適宜調整係数を設定することによって、ユーザの嗜好に応じた画像を得ることが可能となる。

特許４９２４１６８号公報

しかし、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）の普及などにより、三次元データから加工した画像は、様々な分野で活用が進展している。これに伴い、画像の編集・演出手法が多様化するとともに、画像の表示装置もＨＭＤ（ヘッドマウントディスプレイ）や、ドームスクリーン、超高精細ディスプレイなどの高臨場感表示デバイスが用いられ、表示装置の多様化も進行している。さらに、これらの画像の利用分野・目的や画像の対象も拡大していることから、利用者の範囲も多種多様となっている。こうした三次元データから加工した画像の利用環境が拡大するに伴い、利用者がより快適にこれらの画像を活用できるよう、強い動き刺激による利用者の映像酔い等の不快事象を回避する手法が望まれている

例えば、特許文献１に記載の画像処理装置においては、鑑賞の途中に利用者が映像酔いなどの好ましくない影響が生じた場合には、利用者自身または第三者によって上記の係数の調整を行って、カメラワークを補正する必要がある。しかし、当該係数の調整は、的確な補正を行うための操作をその都度行わなければならず、利用者の鑑賞の集中を妨げるとともに、時間も要するものとなる。

特に利用者が身体動作を伴う体感型コンテンツや、対話的な操作が必要なゲームコンテンツなどの利用においては、上記の係数の調整が必要にも関わらず、利用者に調整操作を行う時間や余力が無いという状況であり、操作により調整を行うことが困難であるという問題がある。

本発明は、上記課題に鑑みて、利用者の身体状態に応じて三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを変更できる、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するため、代表的な本発明の画像処理装置の一つは、三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成して、生成したカメラワークによるカメラの視野情報に基づき画像を作成する画像処理装置であって、利用者状態測定部から取得した利用者の身体情報に基づき利用者の身体状態を推定して、推定された利用者の身体状態に基づいて、前記仮想配置されたカメラのカメラワークを変更することを特徴とする。

さらに本発明の画像処理方法の一つは、三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成するステップと、生成したカメラワークによるカメラの視野情報に基づき画像を作成するステップと、利用者状態測定手段から取得した利用者の身体情報に基づき、利用者の身体状態を推定するステップと、推定された利用者の身体状態に基づいて前記仮想配置されたカメラのカメラワークを変更するステップとを有することを特徴とする。

さらに本発明の画像処理プログラムの一つは、コンピュータに、三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成するステップと、生成したカメラワークによるカメラの視野情報に基づき画像を作成するステップと、利用者状態測定手段から取得した利用者の身体情報に基づき利用者の身体状態を推定するステップと、推定された利用者の身体状態に基づいて前記仮想配置されたカメラのカメラワークを変更するステップとを実行させるものである。

本発明によれば、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムにおいて、利用者の身体状態に応じて三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを変更できる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の画像処理システムの一実施形態を示すブロック図である。 本発明による画像処理装置によって行われる仮想配置されたカメラの各制御点における基準カメラワークと演出効果を高めたカメラワークの一例を示す概略図である。 本発明の画像処理装置による画像処理方法のフローチャートの一例を示す。

本発明を実施するための形態について図面を参照して詳細に説明する。

（画像処理システム）
図１は、本発明の画像処理システムの一実施形態を示すブロック図である。画像処理システム１は、コンテンツデータベース１０１、画像処理装置１０５、表示部１１３を備えている。

コンテンツデータベース１０１は、ハードディスク（ＨＤＤ）等の情報を記憶する手段により構成され、三次元データ１０２、基準カメラワークデータ１０３、カメラワーク補正データ１０４の情報を有している。コンテンツデータベース１０１は、画像処理装置１０５と接続されるなどして、画像処理装置１０５がコンテンツデータベース１０１から情報を取得できるようになっている。

また、三次元データには、いわゆるＣＡＤデータやポリゴンなどを用いた三次元ＣＧデータなどが存在するが、以下では、三次元ＣＧデータを例にして説明し、１０２には、仮想三次元空間に関する三次元ＣＧデータが格納されているものとする。そして、この三次元ＣＧデータを用いて、仮想の三次元空間を形成することができる。

図1に示すように、画像処理装置１０５は、コンテンツデータベース１０１に接続されている。そして、画像処理装置１０５は、利用者状態測定部１０６、利用者状態推定部１０７、調整係数決定部１０８、カメラワーク生成部１０９、操作部１１０、制御部１１１、レンダリング部１１２を有している。なお、利用者状態測定部１０６と操作部１１０は、画像処理装置１０５とは別に設ける構成としてもよい。

カメラワーク生成部１０９は、基準カメラワークデータ１０３とカメラワーク補正データ１０４を取得してカメラワークを生成する処理を行う。このとき、調整係数決定部１０８から調整係数の情報を取得して、カメラワーク補正データ１０４を用いた補正の程度が決まることで、カメラワークが生成される。

（カメラワークデータ）
基準カメラワークデータ１０３は、三次元データ１０２により形成された仮想三次元空間内に仮想配置されたカメラの視野情報を含むカメラワークデータである。ここでは、複数の制御点におけるカメラのカメラワークデータを含んでいる。以下、基準カメラワークは、補正前のカメラワークであり、様々に変更可能なカメラワークの内、最も演出を抑えたカメラワークに相当するものとして説明する。しかし、基準カメラワークの設定の仕方は、最も演出を抑えたカメラワークに限定されるものではなく、最も演出を強めたものであってもよいし、演出を抑えたものと強めたものの中間的なものであってもよいことは言うまでもない。

カメラワーク補正データ１０４は、利用者の身体情報等に基づいたカメラワーク補正のための視野情報の補正量を含むカメラワークのデータであり、カメラワークの調整のために用いられる。

(視野情報)
ここで仮想配置されたカメラの視野情報について説明する。視野情報は、仮想三次元空間における各制御点におけるカメラの位置（ｘ，ｙ，ｚ）とカメラの向き（Ｙ，Ｐ，Ｒ）と、を含むカメラの視野及び状態に関する情報をいう。カメラの位置はｘ、ｙ、ｚの各座標によって表される。カメラの向き（Ｙ，Ｐ，Ｒ）は、Ｙはヨー角（水平方向）、Ｐはピッチ角（垂直方向）、Ｒはロール角（前後方向）を表す。なお、視野情報には仮想配置されたカメラのズーム量に対応する視野角Ｗが適宜含まれる。ここで、カメラのズーム量が多ければ視野角は狭く、カメラのズーム量が少なければ視野角は広くなる。

表１は、基準カメラワークデータ１０３の例について記載されている。表１に示すように、基準カメラワークデータ（Ｂ）は、仮想配置されたカメラの複数の制御点Ｌ_１〜Ｌ_ｎに対して各々設定されている。表１において、制御点Ｌ_１では、カメラの位置は（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_１となり、カメラの向きは（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_１となり、視野角は（Ｗｂａｓｅ）_１となる。
また、制御点Ｌ_ｎでは、カメラの位置は（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｎとなり、カメラの向きは（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｎとなり、視野角は（Ｗ_ｂａｓｅ）_ｎとなる。つまり、基準カメラワークデータ１０３は、制御点の数ｎ個の制御点を有している。ここで、ｎは自然数を示し、制御点の数は１以上となり、さらに、制御点を複数有することで多用な演出が可能となる。
そして、制御点Ｌ_ｍ（ｍは自然数）における基準カメラワークデータ（Ｂ_ｍ）は
（Ｂ_ｍ）＝［（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｍ，（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｍ，（Ｗ_ｂａｓｅ）_ｍ］ （ｍ＝１〜ｎ）
と示すことができる。

表２は、カメラワーク補正データ１０４の例について記載されている。表２に示すように、カメラワーク補正データ（Ｅ）は、仮想配置されたカメラの複数の制御点Ｌ_１〜Ｌ_ｎに対して各々設定されている。さらに、カメラワーク補正データ（Ｅ）は、各制御点毎に１つずつ設定してもよいが、表２に示すように複数の補正データを有していてもよい。このことで、後述するように各係数に対する、多用な調整が可能となる。

表２において制御点Ｌ_１では、カメラの位置の補正データは（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_１〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_１となり（ｉは自然数）、カメラの向きの補正データは（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_１〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_１となり（ｊは自然数）、視野角の補正データは（Ｗ_ｅｆｆ１）_１〜（Ｗ_ｅｆｆｋ）_１となる（ｋは自然数）。
また、制御点Ｌ_ｎでは、カメラの位置の補正データは（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｎ〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｎとなり、カメラの向きの補正データは（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｎ〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｎとなり、視野角の補正データは（Ｗ_ｅｆｆ１）_ｎ〜（Ｗ_ｅｆｆｋ）_ｎとなる。ここで、ｎは自然数を示す。

各制御点に対するカメラの位置に関する補正データの数はｉ個となっており、カメラの向きに関する補正データの数はｊ個となっており、視野角に関する補正データの数はｋ個となっている。ここで、ｉ、ｊ、ｋは自然数を示すので、各補正データの数は１以上有していることになる。そして、各制御点ごとに補正データを複数を有することで多用な補正が可能となる。また制御点は、ｎ個の制御点を有している。
ここで、制御点Ｌ_ｍ（ｍは自然数）において、カメラワーク補正データは、
（Ｅ_ｍ）＝［（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｍ〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｍ，（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｍ〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｍ，（Ｗ_ｅｆｆ１）_ｍ〜（Ｗ_ｅｆｆｋ）_ｍ］ （ｍ＝１〜ｎ）
と示すことができる。

（利用者状態測定部）
利用者状態測定部１０６は、利用者の生理指標等の身体情報を取得する。利用者状態測定部１０６は、画像処理装置１０５の外部に設けられていてもよい。このとき、利用者状態測定部１０６と画像処理装置１０５とはデータのやりとりができればよい。
利用者状態測定部１０６は、利用者の身体状態を測定するために様々な形態が含まれる。例えば、脳波計、心拍数測定器、カメラ、サーモグラフィー、血圧計、発汗計、体温計、重心動揺計、姿勢測定器、瞳孔測定器、皮膚電位計、眼電位センサー、音声測定器、生体インピーダンス測定器、血中酸素濃度計、利用者自身に取り付けられた角速度（ジャイロ）センサー、加速度センサーなどである。
さらに、利用者状態測定部１０６は、利用者が接する操作装置、システムの入出力装置自体や、それらに設置された各種センサーであってもよいし、利用者が触れる座席、身体を保持する稈、ペダル、ヘルメットなどの身体保持具に備え付けられたセンサー類であってもよい。また、これらは、１つでもよいし２つ以上を組み合わせて利用者状態測定部１０６としてもよい。

ここで、脳波計であれば、利用者の脳波を測定する。心拍数測定器であれば、利用者の心拍数を測定する。心拍数測定器は、タッチ式、光学式、心電式などの各方式が採用され、例えば、心電計、光電脈波センサーなどを用いる。カメラであれば、利用者の表情の変化や姿勢の変化を測定する。サーモグラフィーであれば、利用者の顔や体の温度を測定する。血圧計であれば、利用者の血圧を測定する。発汗計であれば、利用者の発汗状態を測定する。体温計であれば、利用者の体温を測定する。特に時系列で連続して体温の変化を計れる体温計が有効である。重心動揺計であれば、利用者の重心位置の変化を測定する。姿勢測定器であれば、利用者の姿勢を測定する。瞳孔測定器であれば、利用者の瞳孔の状態を測定する。皮膚電位計であれば、利用者の皮膚の電位を測定する。眼電位センサーであれば、利用者の眼電位を測定する。音声測定器であれば、利用者が発した音声を測定する。生体インピーダンス測定器であれば、利用者の生体インピーダンスを測定する。例えば、両手間や両足間のインピーダンスなどである。血中酸素濃度計であれば、利用者の血中酸素濃度を測定する。角速度センサーや加速度センサーであれば、利用者の頭部の向きや動きを測定する。
さらに、利用者が接する操作装置や身体保持具であれば、操作装置に加えられる圧力の大きさ、頻度などを測定する。

（利用者状態推定部）
利用者状態推定部１０７は、利用者状態測定部１０６によって取得された利用者の身体状態に関連する生理指標から、利用者の身体状態を推定する。利用者の身体状態の推定としては、大きく分ければ、利用者にとって望ましいポジティブな評価要因と、利用者にとって望ましくないネガティブな評価要因の２種類の評価要因の組み合わせから推定される。例えば、ポジティブな評価要因が優位なポジティブな状態であれば、楽しいと感じている状態、集中している状態、リラックスしている状態などである。また、ネガティブな評価が優位なネガティブな状態であれば、映像酔いをしている状態、視覚誘導性自己運動感覚が過大の状態、ストレスを溜めている状態、不快感を示している状態、まぶしさを感じている状態、疲れている状態などである。

（調整係数決定部）
調整係数決定部１０８は、利用者状態推定部１０７によって推定された利用者の身体状態に基づいて、カメラワーク生成部で用いられる調整係数を決定する。例えば、利用者のストレス指標が増大したネガティブな状態の場合は、利用者に加わる運動刺激を低減するため、映像の演出を少なくする方向に調整係数を変更するなどである。

（制御部）
制御部１１１は、利用者状態測定部１０６、利用者状態推定部１０７、調整係数決定部１０８、カメラワーク生成部１０９、レンダリング部１１２に接続されており、これらに動作指示信号を送信する。また、制御部１１１は、カメラワーク生成部１０９にカメラワーク再生指示を与える。

（カメラワーク生成部）
カメラワーク生成部１０９は、基準カメラワークデータ１０３とカメラワーク補正データ１０４を読み取り、調整係数決定部１０８から得た調整係数を用いてカメラワークを生成し、レンダリング部１１２に送付する。

（レンダリング部）
レンダリング部１１２は、カメラワーク生成部１０９に接続しており、カメラワーク生成部１０９によって設定されたカメラワークをレンダリング部１１２が受信する。また、レンダリング部１１２は、制御部１１１に接続されており、制御部１１１から画像作成信号を受信し、これにより画像を作成する。さらに、レンダリング部１１２は、コンテンツデータベース１０１の三次元データ１０２にも接続されている。レンダリング部１１２は、制御部１１１からの画像作成信号の受信を契機として、三次元データ１０２から三次元ＣＧデータを読み取る。そして、レンダリング部１１２は、読み取った三次元ＣＧデータとカメラワーク生成部１０９で生成されたカメラワークを用いて画像データを作成する。この画像データは、カメラワーク生成部１０９で生成されたカメラワークにより仮想配置されたカメラからの視野情報による画像データとなる。レンダリング部１１２において作成された画像データは、レンダリング部１１２に接続された表示部１１３に送出される。

（表示部）
表示部１１３は、レンダリング部１１２から送られた画像データを表示画面に表示する。このとき、カメラワークが変化することによって、画像が変更されるため、映像の動きにより生じる自己運動感覚や映像酔いなどの利用者への影響が変化する。このとき、表示部１１３を視聴している利用者から利用者状態測定部１０６を介して生理情報を取得し、状況に応じて画像データを形成するためのカメラワークが変更される。表示部１１３は、液晶、有機ＥＬ、プラズマディスプレイ、プロジェクタなどの各種の表示装置であり、例えば、ＨＭＤ（ヘッドマウントディスプレイ）や、大型スクリーン、超高精細ディスプレイなども含まれる。

（調整係数を用いたカメラワークの生成）
次に、調整係数を用いたカメラワークの生成について説明する。カメラワークの生成は、カメラワーク補正データ１０４に対して、調整係数を用いることで、カメラワークの調整の度合い、即ち演出の度合いを変化させることができる。ここで、基準カメラワークデータ１０３では、演出が最も少ないカメラワークのデータであり、例えば、仮想カメラの位置はＢスプライン曲線に沿って配置され、カメラの方向はＢスプライン曲線の接線方向とすることができる。

下記の式１では、制御点Ｌ_ｍでのカメラの向き（ｘ，ｙ，ｚ）_ｍを決めるために、調整係数α_１、α_２、α_３・・・α_ｉを用いた式である（ｉは自然数）。ここでの値は、表１や表２で示したデータを用いている。式１では、制御点Ｌ_ｍでの基準カメラワークデータ（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｍに対して、調整係数α_１、α_２、α_３・・・α_ｉがかけてある各カメラワーク補正データ（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｍ、（ｘ_ｅｆｆ２，ｙ_ｅｆｆ２，ｚ_ｅｆｆ２）_ｍ、（ｘ_ｅｆｆ３，ｙ_ｅｆｆ３，ｚ_ｅｆｆ３）_ｍ、・・・（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｍを加えて用いている。このため、すべての調整係数の値が０であれば、制御点Ｌ_ｍでのカメラの向きは、基準カメラワークデータ（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｍと同じになる。そして、調整係数の値を上げていくと補正度合いが強くなっていく。また、調整係数α_１、α_２、α_３・・・α_iの項は１つ（例えば、α_１のみの項）でもよく、複数（例えば、２以上、３以上等）でもよい。調整する目的に応じて調整係数の値を決めて、項数を増やすことができる。
（ｘ，ｙ，ｚ）_m=（ｘ_base，ｙ_base，ｚ_base）_m＋α₁（ｘ_eff1，ｙ_eff1，ｚ_eff1）_m
＋α₂（ｘ_eff2，ｙ_eff2，ｚ_eff2）_m＋α₃（ｘ_eff3，ｙ_eff3，ｚ_eff3）_m
＋・・・＋α_i（ｘ_effi，ｙ_effi，ｚ_effi）_m
・・・（式１）

下記の式２では、制御点Ｌ_ｍでのカメラの向き（Ｙ，Ｐ，Ｒ）_ｍを決めるために、調整係数β_１、β_２、β_３・・・β_ｊを用いた式である（ｊは自然数）。ここでの値は、表１や表２で示したデータを用いている。式２では、制御点Ｌ_ｍでの基準カメラワークデータ（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｍに対して、調整係数β_１、β_２、β_３・・・β_ｊがかけてある各カメラワーク補正データ（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｍ、（Ｙ_ｅｆｆ２，Ｐ_ｅｆｆ２，Ｒ_ｅｆｆ２）_ｍ、（Ｙ_ｅｆｆ３，Ｐ_ｅｆｆ３，Ｒ_ｅｆｆ３）_ｍ、・・・（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｍを加えて用いている。このため、すべての調整係数の値が０であれば、制御点Ｌ_ｍでのカメラの向きは、基準カメラワークデータ（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｍと同じになる。そして、調整係数の値を上げていくと補正度合いが強くなっていく。また、調整係数β_１、β_２、β_３・・・β_ｊの項は１つ（例えば、β_１のみの項）でもよく、複数（例えば、２以上、３以上等）でもよい。調整する目的に応じて調整係数の値を決めて、項数を増やすことができる。
（Ｙ、Ｐ、Ｒ）_m=（Ｙ_base，Ｐ_base，Ｒ_base）_m＋β₁（Ｙ_eff1，Ｐ_eff1，Ｒ_eff1）_m
＋β₂（Ｙ_eff2，Ｐ_eff2，Ｒ_eff2）_m＋β₃（Ｙ_eff3，Ｐ_eff3，Ｒ_eff3）_m
＋・・・＋β_ｊ（Ｙ_effj，Ｐ_effj，Ｒ_effj）_m
・・・（式２）

下記式３では、制御点Ｌ_ｍでのカメラの視野角（Ｗ）_ｍを決めるために、調整係数γ_１、γ_２、γ_３・・・γ_ｋを用いた式である（ｋは自然数）。ここでの値は、表１や表２で示したデータを用いている。式３では、制御点Ｌ_ｍでのカメラの視野角（Ｗ_ｂａｓｅ）_ｍに対して、調整係数γ_１、γ_２、γ_３・・・γ_ｋがかけてある、各カメラワーク補正データ（Ｗ_ｅｆｆ１）_ｍ、（Ｗ_ｅｆｆ２）_ｍ、（Ｗ_ｅｆｆ３）_ｍ、・・・（Ｗ_ｅｆｆｋ）_ｍを加えて用いている。このため、すべての調整係数の値が０であれば、制御点Ｌ_ｍでのカメラの視野角は、基準カメラワークデータ（Ｗ_ｂａｓｅ）_ｍと同じになる。そして、調整係数の値を上げていくと補正度合いが強くなっていく。また、調整係数γ_１、γ_２、γ_３・・・γ_ｋの項は１つ（例えば、γ_１のみの項）でもよく、複数（例えば、２以上、３以上等）でもよい。調整する目的に応じて調整係数の値を決めて、項数を増やすことができる。
（Ｗ）_m = （Ｗ_base）_m＋γ₁（Ｗ_eff1）_m＋γ₂（Ｗ_eff2）_m＋γ₃（Ｗ_eff1）_m
＋・・・＋γ_ｋ（Ｗ_effi）_m
・・・（式３）

上記の式１で示した調整係数α_１、α_２、α_３・・・α_ｉは、カメラワーク補正データと合わせて、補正の状態に応じて様々に処理をすることができる。例えば、ｉ＝３として、カメラワーク補正データの（ｘ_eff1，ｙ_eff1，ｚ_eff1）のうちｙ_eff1、ｚ_eff1の値を０とし、（ｘ_eff2，ｙ_eff2，ｚ_eff2）のうちｘ_eff1、ｚ_eff1の値を０とし、（ｘ_eff3，ｙ_eff3，ｚ_eff3）のうちｘ_eff3、ｙ_eff3の値を０とすれば、以下の式４で表すことができる。
（ｘ，ｙ，ｚ）_m＝（ｘ_base，ｙ_base，ｚ_base）_m
＋α₁（ｘ_eff1）_m ＋α₂（ｙ_eff2）_m＋α₃（ｚ_eff3）_m
・・・（式４）
この式４では、調整係数α_１、α_２、α_３の値を調整すれば各座標ｘ、ｙ、ｚ毎の補正をすることができる。

また、上記の式２で示した調整係数β_１、β_２、β_３・・・β_ｊは、カメラワーク補正データと合わせて、補正の状態に応じて様々に処理をすることができる。例えば、ｊ＝３として、カメラワーク補正データの（Ｙ_eff1，Ｐ_eff1，Ｒ_eff1）のうちＲ_eff1，Ｒ_eff1の値を０とし、（Ｙ_eff2，Ｐ_eff2，Ｒ_eff2）のうちＹ_eff1、Ｒ_eff1の値を０とし、（Ｙ_eff3，Ｐ_eff3，Ｒ_eff3）のうちＹ_eff3、Ｐ_eff3の値を０とすれば、以下の式５で表すことができる。
（Ｙ，Ｐ，Ｒ）_m＝（Ｙ_base，Ｐ_base，Ｒ_base）_m
＋β₁（Ｙ_eff1）_m ＋β₂（Ｐ_eff2）_m＋β₃（Ｒ_eff3）_m
・・・（式５）
この式５では、調整係数β_１、β_２、β_３の値を調整すれば各角度成分Ｙ、Ｐ、Ｒ毎の補正をすることができる。

さらに、式１〜３の各調整係数の共通化を行ってもよい。これにより、処理の負担は少なくなる。すなわち、調整係数α_１＝β_１＝γ_１、α_２＝β_２＝γ_２、α_３＝β_３＝γ_３、・・・、α_ｎ＝β_ｎ＝γ_ｎとすることで、各調整係数の共通化を図ることができる。加えて、カメラワーク補正データについてｉ＝１、ｊ＝１、ｋ＝１するとともに、調整係数を共通化して１つのみにすれば、
Ｓ_m ＝ （Ｂ_m）＋α＊（Ｅ_m） （ｍ＝１〜ｎ）
・・・（式６）
で表すことができ、１つの調整係数αのみで調整することができる。

このようにカメラワーク補正データに対応した調整係数を調整することで様々なカメラワークの補正が可能となる。ここで、調整係数の調整について具体的に説明する。

（調整係数の調整）
各調整係数は、α_１、α_２、α_３・・・α_ｉ、β_１、β_２、β_３・・・β_ｊ、γ_１、γ_２、γ_３・・・γ_ｋは、予め所望の演出を表す高い値としておき、カメラワーク補正データをふまえたカメラワークとしておくことができる。そして、その後に、利用者状態測定部１０６からの情報に基づき、調整係数の値を下げる処理を行う。この場合、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７が利用者の身体状態が演出効果の過剰によるネガティブな状態と推定したときは、それに応じて、ネガティブな状況を抑えるように各調整係数の値を低く調整して（もしくは０として）、基準カメラワークに近づける処理を行う。この場合の調整は、各調整係数ごとにネガティブな状況を生じさせた評価要因に応じて各値を調整するようにできる。このようにすることで、利用者のネガティブな状況を抑えることができる。また、調整を行う調整係数を選択することで、必要以上に演出を抑えることを防止することができる。また、利用者状態測定部１０６からの情報が変化して、利用者状態推定部１０７が利用者の身体状態がネガティブでないと推定したときは、調整係数による補正を当初の定められた演出に戻す方向に増加させてもよい。この場合、利用者の身体状態をみながら、少しずつ調整係数を上げていってもよい。ネガティブな状態が解消されていると推定されれば、調整係数を基の値に戻すことも可能である。

一方、最初は、各調整係数の値は０として、カメラワーク補正データの影響がない基準カメラワークの状態から初めることもできる。そして、その後、徐々に各調整係数の値を上げていく処理を行う。各調整係数を上げていった場合に、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７がポジティブな状態を生じさせる評価要因が増加していると推定される場合は、それに対応する調整係数の値を、さらに上げていく。また、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７がネガティブな状態を生じさせる評価要因が増加していると推定される場合は、これに対応する調整係数は上げない又は下げる処理を行う。このようにすることで、利用者のネガティブな状態の増加を生じさせる評価要因を抑えつつ、利用者のポジティブな状態を生じさせる評価要因を増やす処理とすることができる。

（ＡＩとの連動）
これらの調整係数の処理には人工知能（ＡＩ）の技術を用いてもよい。例えば、過去の利用者状態測定部１０６からの情報に対して調整係数の処理を行った場合の、利用者状態測定部１０６からのフィードバックの情報を蓄積しておく。そして、次回以降に利用者状態測定部１０６からの情報に基づき、過去の蓄積した情報から推定して利用者の身体状態が適切になるように各調整係数の調整の処理を行うなどである。

（利用者推定部における推定）
次に、具体的な利用者状態測定部１０６からの情報に対する利用者状態推定部１０７の推定について説明する。これらは、複数を同時に使用して、それらを調整係数の決定に反映してもよい。

例えば、利用者状態測定部１０６が脳波計であれば、利用者状態推定部１０７は脳波の状態により利用者の身体状態を推定できる。脳波は、周波数帯域により、γは、β波、α波、θ波、δ波がある。例えば、β波やγ波などの高周波成分のパワースペクトルを測定すれば、不安やストレスなどの状態を推定することができ、α波などは、落ち着いた状態であることが推定できる。

利用者状態測定部１０６が心拍数測定器であれば、利用者状態推定部１０７は心拍数の状態により利用者の身体状態を推定できる。心拍数の変化などから、ストレスなどの利用者の身体状態を推定することができる。たとえは、心拍数変動の低周波成分（０．０５Ｈｚ〜０．１５Ｈｚ）のパワースペクトル（ＬＦ）と高周波成分（０．１５Ｈｚ〜０．５Ｈｚ）のパワーペクトル（ＨＦ）との比ＬＦ／ＨＦを求めて、緊張度やストレスの指標とすることができる。

利用者状態測定部１０６がカメラであれば、利用者状態推定部１０７が顔の表情や身体の姿勢を調べることにより利用者の身体状態を推定できる。例えば、苦しそうな顔の表情と判定されれば、ストレス状態と推定でき、楽しそうな顔の表情と判定すれば、映像を楽しんでいると推定できる。また、姿勢の変化により利用者の身体状態を調べることもできる。また、瞬きの状態を測定してもよい。

利用者状態測定部１０６がサーモグラフィーであれば、利用者状態推定部１０７が利用者の表面温度から利用者の身体状態を推定できる。

利用者状態測定部１０６が血圧計であれば、利用者状態推定部１０７が利用者の血圧から利用者の身体状態を推定できる。例えば、血圧が上がれば、ストレス状態と推定するなどである。

利用者状態測定部１０６が発汗計であれば、利用者状態推定部１０７が利用者の発汗の状態から利用者の身体状態を推定できる。

利用者状態測定部１０６が体温計であれば、利用者状態推定部１０７が利用者の体温から利用者の身体状態を推定できる。例えば、体温の変化を測定することにより利用者の身体状態を推定する。

利用者状態測定部１０６が重心動揺計であれば、利用者状態推定部１０７が利用者の重心移動から利用者の身体状態を推定できる。

利用者状態測定部１０６が姿勢測定器であれば、利用者状態推定部１０７が利用者の姿勢から利用者の身体状態を推定できる。

利用者状態測定部１０６が瞳孔測定器であれば、利用者状態推定部１０７が利用者の瞳孔の状態から利用者の身体状態を推定できる。

利用者状態測定部１０６が皮膚電位計であれば、利用者状態推定部１０７が利用者の皮膚電位から利用者の身体状態を推定できる。例えば、皮膚電位からストレス状態を推定するなどである。

利用者状態測定部１０６が眼電位センサーであれば、利用者状態推定部１０７が利用者の眼電位から利用者の身体状態を推定できる。例えば、眼電位を測定することにより利用者の目の動きが分かり、視線の角度やまばたきを検出することによって利用者の身体状態を推定することができる。

利用者状態測定部１０６が音声測定器であれば、利用者状態推定部１０７が利用者から発した音声から利用者の身体状態を推定できる。

利用者状態測定部１０６が生体インピーダンス測定であれば、利用者状態推定部１０７が生体インピーダンスから利用者の身体状態を推定できる。

利用者状態測定部１０６が血中酸素濃度計であれば、利用者状態推定部１０７が血中酸素濃度から利用者の身体状態を推定できる。

利用者状態測定部１０６が利用者の角速度（ジャイロ）センサーや加速度センサーであれば、利用者状態推定部１０７が角速度や加速度から利用者の身体状態を推定できる。例えば、眼鏡やヘッドホンなど頭部と一体に動く部分に角速度センサーや加速度センサーを備えるようにしておけば、頭部の動きや向きが分かり利用者の身体状態を推定することができる。
また、利用者が接する操作装置や身体保持具であれば、操作装置に加えられる圧力の大きさ、頻度などから利用者の集中度や興奮度合いなどの身体状態を推定することができる。
さらに、こうした利用者の身体状態の推定に当たっても、ＡＩの技術を活用することが可能である。

（基準カメラワークと演出効果を高めたカメラワーク）
図２は、本発明による画像処理装置によって行われる仮想配置されたカメラの各制御点における基準カメラワークと演出効果を高めたカメラワークの一例を示す概略図である。

ここで、カメラワーク生成部１０９によって行われる視野情報の修正について図２を用いて説明する。なお説明を簡単にするために、カメラの位置及びカメラの向きについての修正に関して説明を行い、カメラの視野角については説明を省略する。図２において、ＣＷ１が基準カメラワークデータ（Ｂ）に基づくカメラワークである。ＣＷ２がカメラワーク補正データ（Ｅ）を用いた調整後のカメラワークを示す。図２に示すように、カメラＣの３つの制御点が設定されている。これは、仮想区間内の制御点となる。

基準カメラワークデータ（Ｂ）におけるカメラの位置は、各制御点Ｌ_ｎ、Ｌ_ｎ＋１、Ｌ_ｎ＋２ごとに設定されており、制御点Ｌ_ｎでは（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｎ、制御点Ｌ_ｎ＋１では（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｎ＋１、制御点Ｌ_ｎ＋２では（ｘ_ｂａｓｅ，ｙ_ｂａｓｅ，ｚ_ｂａｓｅ）_ｎ＋２が設定されている。さらに、基準カメラワークデータ（Ｂ）におけるカメラの向きも、各制御点Ｌ_ｎ、Ｌ_ｎ＋１、Ｌ_ｎ＋２ごとに設定されており、制御点Ｌ_ｎでは（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｎ、制御点Ｌ_ｎ＋１では（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｎ＋１、制御点Ｌ_ｎ＋２では、（Ｙ_ｂａｓｅ，Ｐ_ｂａｓｅ，Ｒ_ｂａｓｅ）_ｎ＋２が設定されている。

また、カメラワーク補正データ（Ｅ）におけるカメラの位置は、各制御点Ｌ_ｎ、Ｌ_ｎ＋１、Ｌ_ｎ＋２ごとに設定されており、制御点Ｌ_ｎでは（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｎ〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｎ、制御点Ｌ_ｎ＋１では（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｎ＋１〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｎ＋１、制御点Ｌ_ｎ＋２では、（ｘ_ｅｆｆ１，ｙ_ｅｆｆ１，ｚ_ｅｆｆ１）_ｎ＋２〜（ｘ_ｅｆｆｉ，ｙ_ｅｆｆｉ，ｚ_ｅｆｆｉ）_ｎ＋２が設定されている。さらに、カメラワーク補正データ（Ｅ）におけるカメラの向きも、各制御点Ｌ_ｎ、Ｌ_ｎ＋１、Ｌ_ｎ＋２ごとに設定されており、制御点Ｌ_ｎでは（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｎ〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｎ、制御点Ｌ_ｎ＋１では（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｎ＋１〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｎ＋１、制御点Ｌ_ｎ＋２では（Ｙ_ｅｆｆ１，Ｐ_ｅｆｆ１，Ｒ_ｅｆｆ１）_ｎ＋２〜（Ｙ_ｅｆｆｊ，Ｐ_ｅｆｆｊ，Ｒ_ｅｆｆｊ）_ｎ＋２が設定されている。

これらの基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）は表３に示される。

これらの、基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）を用いて、各制御点Ｌ_ｎ〜Ｌ_ｎ＋２のカメラワークを調整する。この調整は、式１、２を用いて行い、調整係数は、調整係数決定部１０８で決定した調整係数を使用する。

そして、レンダリング部１１２は、カメラワークに含まれる各制御点に対して連続した視野情報に基づくカメラワークを生成していく。このとき、図２で示すように、設定された複数の制御点の間をＢスプライン曲線で補間することで、視野情報のそれぞれの数値が滑らかな曲線的変化を示すよう処理をすることができる。

図２において、基準カメラワークデータ（Ｂ）に基づくカメラワークであるＣＷ１では、Ｂスプライン曲線に沿ったカメラワークであり、カメラの向きは曲線の接線方向を示している。そして、ＣＷ２がカメラワーク補正データ（Ｅ）を用いた調整後のカメラワークを示す。図２に示すように、ＣＷ１の制御点Ｌ_ｎはＣＷ２の制御点Ｌ_Ｓｎへ移動し、ＣＷ１の制御点Ｌ_ｎ＋１はＣＷ２の制御点Ｌ_Ｓｎ＋１へ移動し、ＣＷ１の制御点Ｌ_ｎ＋２はＣＷ２の制御点Ｌ_Ｓｎ＋２へ移動する。このとき、ＣＷ２の制御点Ｌ_Ｓｎ、Ｌ_Ｓｎ＋１、Ｌ_Ｓｎ＋２のカメラの向きは、各制御点を結ぶ曲線の接線方向から離れる方向に向きが変更されている。

（カメラワークの調整）
これらを用いた、カメラワークの調整は、始めは演出効果の高いＣＷ２のカメラワークとしておくことができる。この場合、カメラワーク補正データ（Ｅ）の影響が高く反映されている。そして、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７で利用者が、例えば、映像酔いなどの演出の過剰による何らかのネガティブな状態と推定されれば、カメラワーク補正データ（Ｅ）の影響を下げる処理を行う。このときは、調整係数決定部１０８において、ネガティブな状態（例えば、映像酔いの状態）を緩和する方向になるように調整の度合いを下げるように調整係数を決定される。すなわち、ＣＷ２のカメラワークから、ＣＷ１のカメラワークに近づく、もしくは、ＣＷ１のカメラワークそのものになるように処理される。さらに、利用者状態測定部１０６からの情報が変化して、利用者状態推定部１０７が利用者の身体状態がネガティブでないと推定したときは、ＣＷ２へもどすように処理をさせてもよい。

また、当初はカメラワーク補正データ（Ｅ）の影響がない基準カメラワークであるＣＷ１の状態から始める処理としてもよい。その後、徐々に各調整係数の値を上げていき、カメラワーク補正データ（Ｅ）の影響を増やしていく。そして、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７がポジティブな状態を生じさせる評価要因が増加していると推定される値が増えている場合は、それに対応する調整係数の値を、さらに上げていく。このことで、ＣＷ１のカメラワークからＣＷ２のカメラワークに近づける処理とすることができる。なお、利用者状態測定部１０６からの情報に基づき、利用者状態推定部１０７がネガティブな状態を生じさせる評価要因が増加していると推定される場合は、これに対応する調整係数は上げない又は下げる処理を行う。

このようにして生成されたカメラワークに基づく連続視野情報を基にして三次元ＣＧデータから画像を順次作成（レンダリング処理）する。視野情報は、例えば１／３０秒の時間間隔で算出し、レンダリング処理によって、時間ごとにカメラから見える画像を１フレームの静止画像（画像データ）として生成し、かかる静止画像を順次表示することによって動画画像が生成される。なお、制御部１１１からレンダリング部１１２への画像作成信号の送信は、上記した制御部１１１への再生信号の入力を契機として実施される。

（カメラワーク補正データの設定）
なお、上記の基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）は、映像製作者の判断によって設定することができる。例えば、図２に示すように、映像製作者は、まず刺激感が少ない極めて控えめなカメラワーク（基準カメラワークＣＷ１）が得られる基準カメラワークデータを設定し、カメラワークによる演出が過剰と思われるまで演出効果を高めたカメラワークと基準カメラワークＣＷ１との差分に対応する情報をカメラワーク補正データとして設定することができる。

また、基準カメラワークデータ（Ｂ）及びこれに対応するカメラワーク補正データ（Ｅ）を予め作成しておくものとして説明したが、利用者との対話的操作やゲームシナリオなどに基づいて、基準カメラワークデータ（Ｂ）とカメラワーク補正データ（Ｅ）とを動的に生成してもよい。すなわち、操作部１１０からの入力などに基づき、カメラワーク補正データ（Ｅ）を作成したり、途中で変更したりしてもよい。

また、映像酔いやストレスなどの利用者の生理状態を推定し、カメラワークに反映する方法としては、利用者の身体状態をパラメータとしたアルゴリズムを用いてカメラワークを自動生成するなどの方法を適用することもできる。

（作用及び効果）
上記のように構成した画像処理装置１０５において、予め設定された基準カメラワークデータ（Ｂ）と、これに対応するカメラワーク補正データ（Ｅ）と、利用者の身体状態に基づいて決定された調整係数と、に基づいて三次元ＣＧデータから画像が作成される。

すなわち、利用者の身体状態に基づいてカメラワークが自動的に変化することによって、ＨＭＤや大画面映像で生じ易い映像酔いなどの望ましくないネガティブな状態となる効果を減じ、ゲームやシミュレーション、画像の鑑賞に至るまで幅広い画像の種類に応じて、快適な映像コンテンツの利用を提供することができる。また、利用者にとって望ましいポジティブな状態を増やすようにカメラワークを変化させることもできる。

（画像処理方法のフローチャート）
図３は、本発明の画像処理装置による画像処理方法のフローチャートの一例を示す。

画像処理装置１０５における画像処理は、操作部１１０から制御部１１１に再生指示信号が入力されることを契機として開始される。

Ｓ１では、利用者の身体状態を測定する。ここでは、画像処理装置１０５において、制御部１１１に再生指示信号が入力されると、制御部１１１が利用者状態測定部１０６に動作指示信号を送信する。動作指示信号を受信した利用者状態測定部１０６は、利用者の身体状態に関わる生理信号を取得し、この情報を利用者状態推定部１０７に送信する。

次にＳ２では、利用者の身体状態を推定する。ここでは、画像処理装置１０５において、制御部１１１が利用者状態推定部１０７に動作指示信号を送信する。そして、動作指示信号を受信した利用者状態推定部１０７は、利用者状態測定部１０６から受信した利用者の身体状態に関わる生理信号の情報に基づき、利用者の身体状態を推定する。そして、この推定に関する情報を調整係数決定部１０８に送信する。

次にＳ３では、調整係数決定を行う。ここでは、画像処理装置１０５において、制御部１１１が調整係数決定部１０８に動作指示信号を送信する。そして、動作指示信号を受信した調整係数決定部１０８は、カメラワーク補正データ１０４に対する調整係数を決定する。そして、この調整係数の情報をカメラワーク生成部１０９に送信する。

次にＳ４では、カメラワークの生成を行う。ここでは、画像処理装置１０５において、制御部１１１がカメラワーク生成部１０９に動作指示信号を送信する。そして、動作指示信号を受信したカメラワーク生成部１０９は、コンテンツデータベース１０１から基準カメラワークデータ１０３及びカメラワーク補正データ１０４を読み取る。そして、読み取った、基準カメラワークデータ１０３及びカメラワーク補正データ１０４と、調整係数決定部１０８から送信された調整係数を用いて、式１〜３に基づきカメラワークを生成する。そして、生成されたカメラワークの情報をレンダリング部１１２に送付する。

次にＳ５では、レンダリングの処理を行う。ここでは、画像処理装置１０５において、制御部１１１がレンダリング部１１２に動作指示信号を送信する。そして、動作指示信号を受信したレンダリング部１１２では、コンテンツデータベース１０１から三次元データ１０２を読取って入力すると共に、この三次元ＣＧデータとカメラワーク生成部１０９から受信したカメラワークの情報を用いて画像データを作成する。

画像データの作成は、例えば、カメラワークに含まれるｎ点の制御点に対してＢスプライン曲線を適用して、連続した視野情報に基づくカメラワークを生成し、さらに当該連続視野情報を基にして三次元ＣＧデータから画像を順次作成（レンダリング処理）することによって行われる。例えば１／３０秒の時間間隔で視野情報を算出し、レンダリング処理によって、時間ごとにカメラから見える画像を１フレームの静止画像（画像データ）として生成する。このようにして時系列的に画像を順次作成していく。

次にＳ６では、画像表示を行う。ここでは、レンダリング部１１２が作成された画像データを表示部１１３に送出する。そして、表示部１１３では、送られた画像データに基づき画像の表示を行う。

さらに制御部１１１では、再生が完了するまで、例えば１０秒の時間間隔でＳ１からＳ６の処理を繰り返すことで、利用者の最新の身体状態に基づいて調整係数を変更しカメラワークを生成して画像の表示を行う（Ｓ１〜Ｓ７）。

このように、上記した画像処理方法によれば、利用者の身体状態に基づいて調整係数を変更することによって生成されたカメラワークに基づき、画像データを修正することができる。すなわち、調整係数を変更することによって、利用者の身体状態に対応した画像データを作成することができる。

（画像処理プログラム）
次に、上記のごとき画像処理方法をコンピュータに実施させることができる画像処理プログラムについて説明する。

この画像処理プログラムは、インストールされたコンピュータを、利用者の身体状態に関する生理信号を計測する利用者状態計測手段、利用者の身体状態を推定する利用者状態推定手段、及びカメラワーク補正データ１０４に対する調整係数を決定する調整係数決定手段、として機能させる。なお、利用者状態計測手段はコンピュータと別に設けてもよい。ここで、プログラムをインストールされたコンピュータは上述した画像処理装置１０５に相当することになり、コンテンツデータベース１０１と情報のやりとりができるものである。また、コンテンツデータベース１０１は、画像処理プログラムがインストールされたコンピュータに備える記憶装置に有していてもよい。ここで、利用者状態計測手段は上述した利用者状態測定部１０６の機能に相当し、利用者状態推定手段は上述した利用者状態推定部１０７の機能に相当し、調整係数決定手段は上述した調整係数決定部１０８の機能に相当する。

さらに、この画像処理プログラムは、カメラワーク補正データ１０４を調整係数によって調整し、かかる調整後のデータを基に基準カメラワークデータ１０３を補正して、各制御点におけるカメラワークを生成するカメラワークデータ生成手段としてコンピュータを機能させる。ここでのカメラワークデータ生成手段は上述したカメラワーク生成部１０９の機能に相当する。

さらに、このプログラムは、コンテンツデータベース１０１に有する三次元データ１０２のファイルから読出した三次元ＣＧデータと、カメラワークデータ生成手段で生成したカメラワークとを用いて画像データを作成するレンダリング手段としてコンピュータを機能させる。ここで、レンダリング手段は、作成した画像データを表示する画像データ表示手段としての機能も有している。ここでのレンダリング手段は上述した調整係数決定部１０８の機能に相当する。

コンピュータに対して上記のように機能を発揮させる画像処理プログラムは、パーソナルコンピュータなどの汎用電子計算機もしくは小型の情報処理装置において、利用者の身体状態に応じた画像を表示部１１３に表示させることができる。

なお、画像処理プログラムは、ＤＶＤ−ＲＯＭ等の光情報記録媒体及びＨＤＤ等の磁気情報記録媒体といった記録媒体に記録することができる。また、当該記録媒体には、当該プログラムに適用できる画像データも記録されていても良い。ここでの、画像データとしては、三次元データ１０２、基準カメラワークデータ１０３、カメラワーク補正データ１０４などである。

（実施形態の第１の変形例）
上述した実施形態の第１の変形例について説明する。上述した実施形態では、コンテンツデータベース１０１と画像処理装置１０５とが接続などされていることについて説明した。第１の変形例として、この接続以外の構成としては、コンテンツデータベース１０１と画像処理装置１０５は、インターネット等のネットワーク回線又は無線若しくは有線による通信を用いて行うことが可能な構成としてもよい。この構成によれば、大容量の記録媒体を必要とする三次元データ１０２等の画像データを、近くの場所に設置する必要がなく、利用者自身が直接保有しないで構成することも可能となる。例えば、大容量の記録媒体を備えない小型携帯端末においても、上述した画像を生成して表示することができる。この場合、三次元データ１０２等の画像データは、ネットワーク回線や無線により、遠隔で配置されたコンテンツデータベース１０１から小型携帯端末が取得可能となる。

（実施形態の第２の変形例）
上述した実施形態の第２の変形例について説明する。上述した実施形態では、利用者状態測定部１０６は、画像処理装置１０５として備えることを説明した。第２の変形例として、利用者状態測定部１０６は、画像処理装置１０５とは、離れて構成させてもよく、この場合、利用者状態測定部１０６以外の画像処理装置１０５の機能と、利用者状態測定部１０６および表示部１１３との間の接続が、ネットワーク回線又は無線若しくは有線による通信を用いて行われる構成としてもよい。この構成によれば、利用者状態測定部１０６単体で測定した情報を利用者状態測定部１０６とは別に構成される画像処理装置１０５で取得できるため、利用者状態測定部１０６の汎用性を増すことができる。

（実施形態の第３の変形例）
上述した実施形態の第３の変形例について説明する。第３の変形例では、上述した実施形態における視野情報に、三次元空間を移動するカメラの速度及び／又は加速度を含むこととしてもよい。ここで、制御点ごとにカメラの速度及び／又は加速度を設定し、補正係数によって制御点間のカメラの移動速度を動的に変更することができる。例えば、大きな速度や加速度であれば、演出が高い効果が期待できるが、利用者がネガティブな状態と推定したときは、補正係数の変更により、小さな速度や加速度とするなどである。このような構成によれば、制御点間のカメラの移動速度の変化による視覚効果の変化を利用者の身体状態に応じて提供することができる。

（実施形態の第４の変形例）
上述した実施形態の第４の変形例について説明する。上述した実施形態においては、複数の制御点に対して基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）が設定されている。この場合、制御点による制御に応じて処理を行うため、時間間隔は一定である必要はない。一方で、第４の変形例として、時刻ごと（例えば１秒間隔ごと）に基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）を設定しても良い。すなわち、一定の時刻毎に基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）を設定して処理を行う構成とする。これ以外の構成は上述した実施形態における、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムと略同一の構成とすることができる。また、制御点に換えて時刻毎に基準カメラワークデータ（Ｂ）及びカメラワーク補正データ（Ｅ）を設定したとしても、上述した実施形態と略同様の効果が得られる。
また、制御点は、必ずしもすべての制御点を用いる必要はなく、適宜、スキップして基準カメラワークとしても差し支えない。

以上のように、本発明の実施形態で示された画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムにおいては、三次元データから画像データを作成する際に、利用者の身体状態に応じて仮想配置されたカメラのカメラワークを変更することで、画像データを修正することができる。この画像データの修正は、利用者の身体状態測定から推定された利用者の身体状態に基づいて行われる。

このような構成によれば、利用者の身体状態に応じて人為的に調整を行う必要がないため、利用者による操作負担を軽減させることができる。また、ＨＭＤ（ヘッドマウントディスプレイ）や、大型スクリーン、超高精細ディスプレイなどの高臨場感表示デバイスを用いて高い臨場感を与えつつも、映像酔いなどのネガティブな効果を抑える又は生じさせない好適な画像表示を行うことが出来る。

以上の様に、本発明の実施形態について説明してきたが、本発明は上記の実施形態に限定されるものではなく、上述した以外の様々な変形例も含まれる。例えば、上記した実施形態に設けられた全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を削除したり、他の構成に置き換えたりすることも可能である。

例えば、調整係数を求める式１〜６は１次式を示したが、これに限らず２次式、３次式など、２次式以上の式でも適用可能である。

また、利用者状態測定部で測定される情報は、上述した例に限るものではない。特に利用者の状態を測定できる情報であれば様々な形態の情報が適用できる。

また、カメラワーク補正データ（Ｅ）は、利用者毎に変更してもよい。利用者の特性によりカメラワーク補正データ（Ｅ）を設定することで、利用者に応じた調整が可能となる。また、調整係数の決定も予め入力した利用者の特性によって調整度合いを変更することも可能である。このことで、利用者に応じた調整が可能となる。

１ 画像処理システム
１０１ コンテンツデータベース
１０２ 三次元データ
１０３ 基準カメラワークデータ
１０４ カメラワーク補正データ
１０５ 画像処理装置
１０６ 利用者状態測定部
１０７ 利用者状態推定部
１０８ 調整係数決定部
１０９ カメラワーク生成部
１１０ 操作部
１１１ 制御部
１１２ レンダリング部
１１３ 表示部

Claims (15)

1. 三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成して、生成したカメラワークによるカメラの視野情報に基づき画像を作成する画像処理装置であって、
   利用者状態測定部から取得した利用者の身体情報に基づき、利用者の身体状態を推定して、推定された利用者の身体状態に基づいて、前記仮想配置されたカメラのカメラワークを変更することを特徴とする画像処理装置。
2. 前記視野情報は、カメラの位置及びカメラの向きの情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記視野情報は、視野角の情報を含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記利用者の身体情報に、脳波、心拍、血圧、体温、表情の少なくとも１つを用いることを特徴とする請求項１に記載の画像処理装置。
5. 前記カメラワークは、基準カメラワークデータに、調整係数がかけてあるカメラワーク補正データを加える式により生成されることを特徴とする請求項１に記載の画像処理装置。
6. 前記カメラワークの変更は、前記調整係数を推定された利用者の身体状態に基づいて変更することにより行うことを特徴とする請求項５に記載の画像処理装置。
7. 請求項１に記載の画像処理装置と、コンテンツデータベースとを備え、前記三次元データは前記コンテンツデータベースに記録されることを特徴とする画像処理システム。
8. 請求項５に記載の画像処理装置と、コンテンツデータベースとを備え、基準カメラワークデータ及び前記カメラワーク補正データは、前記コンテンツデータベースに記録されることを特徴とする画像処理システム。
9. 三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成するステップと、生成したカメラワークによるカメラの視野情報に基づき画像を作成するステップと、利用者状態測定手段から取得した利用者の身体情報に基づき利用者の身体状態を推定するステップと、推定された利用者の身体状態に基づいて前記仮想配置されたカメラのカメラワークを変更するステップとを有することを特徴とする画像処理方法。
10. 前記視野情報は、カメラの位置及びカメラの向きの情報を含むことを特徴とする請求項９に記載の画像処理方法。
11. 前記視野情報は、視野角の情報を含むことを特徴とする請求項９に記載の画像処理方法。
12. 前記利用者の身体情報に、脳波、心拍、血圧、体温、表情の少なくとも１つを用いることを特徴とする請求項９に記載の画像処理方法。
13. 前記カメラワークは、基準カメラワークデータに、調整係数がかけてあるカメラワーク補正データを加える式により生成されることを特徴とする請求項９に記載の画像処理方法。
14. 前記カメラワークの変更は、前記調整係数を推定された利用者の身体状態に基づいて変更することにより行うことを特徴とする請求項１３に記載の画像処理方法。
15. コンピュータに、三次元データによる三次元空間内に仮想配置されたカメラのカメラワークを生成するステップと、生成したカメラワークによるカメラの視野情報に基づき画像を作成するステップと、利用者状態測定手段から取得した利用者の身体情報に基づき、利用者の身体状態を推定するステップと、推定された利用者の身体状態に基づいて、前記仮想配置されたカメラのカメラワークを変更するステップとを実行させるための画像処理プログラム。