JP2016158052A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】臨場感を残しつつ、映像酔いの原因となり得る手ぶれを補正する。
【解決手段】画像処理装置は、入力映像に含まれる複数のフレームについて、入力映像を撮影した撮像手段の水平あおり方向、垂直あおり方向、光軸周りの回転方向の少なくとも１つの方向について、撮像手段の動きに応じたフレーム間の動きの量を推定する。そして、画像処理装置は、推定された前記フレーム間の動きの量を、推定したフレーム間の動きの方向毎に補正する。
【選択図】 図２

Description

本発明は、映像酔いと呼ばれる、映像を視聴したときに発生し得る視聴者の不快感を抑制するための画像処理装置及び画像処理方法に関する。

デジタルカメラやビデオカメラによって撮影された映像には、手ぶれ等による画像揺れが存在していることが多い。このような画像揺れを含む映像は、めまいや倦怠感等、所謂「映像酔い」と呼ばれる視聴者の不快感を誘発しやすい。
従来、手ぶれ補正を行う装置としては、特許文献１に記載の技術がある。この技術は、ユーザがシャッターボタンを操作したときにカメラの動きを検出し、その動き量に応じて撮影画像を補正し、記録媒体に記録するものである。カメラの動きは、撮影した映像から特徴点を抽出することにより推定している。

特開２０００−４１２２２号公報

ところで、映像酔いは、カメラの視点が動きながら撮影した映像を視聴したときに生じ得るものであるが、映像酔いの生じやすさは、カメラの視点の動き方向によって異なる。
しかしながら、上記特許文献１に記載の技術では、この点について全く考慮されていない。上記特許文献１に記載の技術にあっては、画像全体の揺れベクトルを検出し、当該揺れベクトルによる動きが無効となるように撮影画像を補正している。すなわち、この技術では、映像酔いを抑制するために、カメラの動きを全て抑制してしまう。そのため、例えば、カメラの視点の動き方向が、映像酔いが生じにくい方向である場合であっても、この動きを抑制するよう撮像画像が補正されてしまい、ユーザが運動しているような臨場感も失われてしまう。
そこで、本発明は、臨場感を残しつつ、映像酔いを抑制するように入力映像を補正することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、入力映像に含まれる複数のフレームについて、前記入力映像を撮影した撮像手段の水平あおり方向、垂直あおり方向、光軸周りの回転方向の少なくとも１つの方向について、前記撮像手段の動きに応じたフレーム間の動きの量を推定する推定手段と、前記推定手段により推定された前記フレーム間の動きの量を、前記推定手段が推定した方向毎に補正する補正手段と、を備える。

本発明によれば、臨場感を残しつつ、映像酔いを抑制するように入力映像を補正することができる。

表示装置の構成例を示す図である。 第一の実施形態における画像処理装置の機能ブロック図である。 カメラ運動推定部の具体的構成を示す図である。 カメラ運動推定部が実行する処理のフローチャートである。 映像酔い評価部の具体的構成を示す図である。 映像酔い評価部が実行する処理のフローチャートである。 映像酔い評価関数の一例を示す図である。 第一の実施形態における映像補正部の具体的構成を示す図である。 第一の実施形態の映像補正部が実行する処理のフローチャートである。 重み付けテーブルの一例である。 第二の実施形態における画像処理装置の機能ブロック図である。 映像酔い感度テーブルの一例である。 主観評価実験結果の一例を示す図である。 第二の実施形態における映像補正部の具体的構成を示す図である。 第二の実施形態の映像補正部が実行する処理のフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
先ず、本発明の第一の実施形態について説明する。本実施形態では、画像処理装置は、視聴者が映像酔いを発生しにくくなるように、入力映像を補正する。このとき、画像処理装置は、映像の臨場感を残しつつ映像酔いを抑制するようにする。なお、本実施形態おいて、映像とは、複数の画像データ（フレーム）を含む動画像を意味する。また、映像酔いとは、カメラの視点が動きながら撮影した映像を視聴したときに生じ得る、めまいや倦怠感などの視聴者の不快感をいう。本実施形態においては、入力映像のフレーム間の動きを、カメラの視点の動き方向毎に補正する。

図１は、本実施形態における画像処理装置を備える表示装置の構成例である。表示装置１００は、画像処理装置１０と表示パネル２０とを備える。なお、図１では、画像処理装置１０と表示パネル２０とが別体である場合を例に挙げて示しているが、表示パネル２０内に画像処理装置１０が含まれていてもよい。また、画像処理装置１０は、撮像装置内に含まれていてもよい。
画像処理装置１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、メモリ１０４と、操作部１０５と、通信Ｉ／Ｆ１０６と、システムバス１０７とを備える。ＣＰＵ１０１は、画像処理装置１０における動作を統括的に制御するものであり、システムバス１０７を介して、各構成部（１０２〜１０６）を制御する。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、メモリ１０４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。

すなわち、ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。メモリ１０４は、例えば、ＣＰＵ１０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、メモリ１０４には、例えば、ＣＰＵ１０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。操作部１０５は、例えばボタンやモードダイヤル等を含み、ユーザが当該画像処理装置１０に指示を与えることができるようになっている。

通信Ｉ／Ｆ１０６は、外部装置（例えば、撮像装置や表示装置２０等）と通信するためのインターフェースである。通信Ｉ／Ｆ１０６は、例えばＬＡＮインターフェース等である。システムバス１０７は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、メモリ１０４、操作部１０５及び通信Ｉ／Ｆ１０６を通信可能に接続する。
表示パネル２０は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成され、画像処理装置１０で処理した画像や文字を表示可能である。なお、表示パネル２０は、タッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いたユーザ指示を画像処理装置１０の操作部１０５として扱うことも可能である。

画像処理装置１０は、不図示の撮像装置（カメラ等）や外部記録媒体から入力映像を取得し、臨場感を残しつつ映像酔いを抑制するように当該入力映像を補正する。画像処置装置１０は、図２に示すように、復号部１１と、記憶制御部１２と、カメラ運動推定部１３と、映像酔い評価部１４と、映像補正部１５と、信号変換部１６と、を備える。図２に示す画像処理装置１０の各部の機能は、ＣＰＵ１０１がＲＯＭ１０２もしくはメモリ１０４に記憶されたプログラムを実行することで実現される。
復号部１１は、符号化された映像信号を取得し、当該映像信号を復号化することでフレームを得る。記憶制御部１２は、復号部１１が復号化したフレームをｎフレーム分、メモリ１０４に記憶する。ここで、ｎは１以上の任意の自然数である。また、記憶制御部１２は、メモリ１０４に記憶されたフレームを当該メモリ１０４から読み出し、カメラ運動推定部１３及び映像補正部１５に出力可能である。

カメラ運動推定部１３は、メモリ１０４に記憶された画像データ群（フレーム群）を、記憶制御部１２を介して取得する。そして、カメラ運動推定部１３は、当該フレーム群に基づいて、撮像時のカメラの動きを示す情報として、入力映像のフレーム間におけるグローバルモーション（ＧＭ）を推定する。ここで、グローバルモーションとは、映像の動きの中における画面全体の動きを指すものであり、映像を撮影した時のカメラの視点の動きに連動したフレーム間の動きを意味する。グローバルモーションは、映像の中でオブジェクトが局所的に動くローカルモーションとは区別されるものである。
映像酔い評価部１４は、カメラ運動推定部１３が推定したＧＭに基づいて、入力映像の映像酔い評価値を算出する。ここで、映像酔い評価値とは、入力映像の映像酔いを発生させる度合いを示す値である。映像補正部１５は、メモリ１０４に記憶されたフレーム群を、記憶制御部１２を介して取得する。そして、映像補正部１５は、上記ＧＭと上記映像酔い評価値とに基づいて、入力映像を、当該入力映像のフレーム間の動きの量が、映像酔いを低減するように補正する。信号変換部１６は、映像補正部１５が補正した映像信号を表示パネル２０に表示可能な信号に変換し、これを表示パネル２０に出力することで補正後の映像を表示させる。以下、図２に示す各部について詳細に説明する。

（カメラ運動推定部１３の構成）
図３は、カメラ運動推定部１３の具体的構成を示すブロック図である。図３に示す画像データ取得部１３０１は、メモリ１０４に記憶されているフレーム群を、記憶制御部１２を介して取得する。そして、画像データ取得部１３０１は、取得したフレーム群に、ジャイロスコープ等のカメラの姿勢角を測定するセンサの情報（以下、「ジャイロ情報」という）が付与されているか否かを判定する。そして、フレーム群にジャイロ情報が付与されている場合には、画像データ取得部１３０１は、ジャイロ情報取得部１３０２にフレーム群を出力する。一方、フレーム群にジャイロ情報が付与されていない場合には、画像データ取得部１３０１は、ブロックマッチング処理部１３０５にフレーム群を出力する。
ジャイロ情報取得部１３０２は、画像データ取得部１３０１から取得したフレーム群に付与されているジャイロ情報を抽出し、これをＡ／Ｄ変換部１３０３に出力する。Ａ／Ｄ変換部１３０３は、ジャイロ情報取得部１３０２から入力したジャイロ情報をＡ／Ｄ変換し、その結果を動きベクトル算出部１３０４に出力する。動きベクトル算出部１３０４は、Ａ／Ｄ変換部１３０３が出力したジャイロ情報をもとに、フレーム間の動きベクトルを求める。

ブロックマッチング処理部１３０５は、画像データ取得部１３０１から取得したフレーム群に対してブロックマッチング処理を行う。ここで、ブロックマッチング処理とは、あるフレームの画像上の特定の領域をテンプレートとし、次のフレームの画像上でその領域に最も類似している場所を探索する処理である。動きベクトル算出部１３０６は、ブロックマッチング処理部１３０５の処理結果をもとに、フレーム間の動きベクトルを算出する。ＧＭ推定部１３０７は、動きベクトル算出部１３０４又は１３０６で算出した動きベクトルに基づいて、グローバルモーション（ＧＭ）を推定する。ここで、ＧＭは、カメラ自体の位置が変化することによる動き成分や、カメラ自体の位置は変化しないが視点が動く結果、映像のフレーム間で動きとして生じるパン、チルト、ロール、ズーム等の成分がある。そこで、ＧＭ推定部１３０７は、ＧＭを視聴者の座標系であるロール（Roll）、ピッチ（Pitch）、ヨー（Yaw）、ズーム（Zoom）等に分解して推定し、これらを図１に示す映像酔い評価部１４へ出力する。

前述の通り映像酔いは、カメラの視点が動きながら撮影した映像を見たときに生じる、フレーム間の動きが原因となる。さらに、カメラがロール方向に動いた映像、ピッチ方向に動いた映像、ヨー方向に動いた映像とでは、映像酔いの生じやすさが異なることがわかっている。そこで、本実施形態では、ロール、ピッチ、ヨーの軸毎にフレーム間の動きを補正し、映像酔いを抑制する場合について説明する。すなわち、ＧＭ推定部１３０７は、ロール、ピッチ、ヨーの少なくとも１つに関するＧＭを推定するものとする。

図４は、カメラ運動推定部１３が実行する処理の流れを示すフローチャートである。図４に示される処理は、図１に示すＣＰＵ１０１が、ＲＯＭ１０２もしくはメモリ１０４に格納されたプログラムを読み出して実行することにより実現される。ただし、図４の処理の一部または全部が、専用のハードウェアにより実現されてもよい。
先ずＳ１において、画像データ取得部１３０１は、メモリ１０４に格納されている画像データ群（フレーム群）を、記憶制御部１２を介して取得する。次にＳ２では、画像データ取得部３０１は、Ｓ１において取得したフレーム群に、当該画像を撮像したカメラのジャイロ情報が付与されているかを判定する。そして、ジャイロ情報が付与されている場合にはＳ３に移行し、ジャイロ情報が付与されていない場合にはＳ６に移行する。

Ｓ３では、ジャイロ情報取得部１３０２は、Ｓ１において取得したフレーム群の各フレームに付与されたジャイロ情報を取得する。ここで、ジャイロ情報とは、ロール、ピッチ、ヨー及びズーム方向の速度をジャイロスコープで検知したときの電圧値である。ここでは、ジャイロスコープのセンサ感度をＳ［ｍＶ／ｄｅｇ／ｓｅｃ］とし、ロール方向の電圧値をＶ［ｍＶ］とする。Ｓ４では、先ずＡ／Ｄ変換部１３０３は、Ｓ３において取得したジャイロ情報をデジタル値に変換する。例えば、ロール方向の情報の場合、Ａ／Ｄ変換部１３０３は、ロール方向の電圧値Ｖ［ｍＶ］をデジタル値Ｄ［ｓｔｅｐ］に変換する。ここで、Ａ／Ｄ変換係数をＬ［ｍＶ／ｓｔｅｐ］とすると、デジタル値Ｄは次式をもとに算出できる。なお、ピッチ、ヨー、ズーム方向のデジタル値も同様に算出することができる。
Ｄ＝Ｖ／Ｌ ………（１）

次にＳ４では、動きベクトル算出部１３０４は、各方向のデジタル値Ｄから速度θを算出する。ロール方向の動きベクトルである速度θは、次式をもとに算出できる。なお、ピッチ、ヨー、ズーム方向の動きベクトルも同様に算出することができる。
θ＝（Ｌ／Ｓ）・Ｄ ………（２）
Ｓ５では、動きベクトル算出部１３０４は、Ｓ１において取得したフレームの全フレームから動きベクトルを算出したか否かを判定する。そして、全フレームで動きベクトルを算出している場合にはＳ１３に移行し、未算出の場合には、未算出のフレームを選択してＳ３に戻る。

Ｓ６では、ブロックマッチング処理部１３０５は、Ｓ１において取得したフレーム群内のあるフレームと次のフレームとを選択し、これらをｍ×ｎのブロックで分割する。ここで、ｍおよびｎは、それぞれ１以上の自然数である。次にＳ７〜Ｓ９において、ブロックマッチング処理部１３０５は、着目フレームで選択したブロックと相関の高いブロックを、次フレームから探索するブロックマッチング処理を行う。ここで、ブロックマッチング処理の方法は公知の方法を採用することができる。具体的には、ブロックマッチング処理では、着目フレームの探索元のブロックと、探索先の次フレームのブロックとの相関係数ｒを算出する。そして、その相関係数ｒが最大となる次フレームの画素を、マッチング位置として決定する。なお、カラー画像の場合にはＲＧＢそれぞれの値に対して相関係数ｒを計算したのち、その平均値を評価の対象とすることができる。
先ずＳ７において、ブロックマッチング処理部１３０５は、次式をもとに相関係数ｒを算出する。

ここで、ｆ（ｉ，ｊ）は、着目フレームの座標（ｉ，ｊ）における画素値を示し、ｇ（ｉ，ｊ）は、次のフレームの座標（ｉ，ｊ）における画素値を示す。
Ｓ８では、ブロックマッチング処理部１３０５は、着目フレームで選択したブロックと最も相関度の高いブロックを次フレームの中で探索するために、相関係数ｒの最大値ｒｍａｘを設定する。具体的には、最大値ｒｍａｘの初期値を０とし、次式をもとに最大値ｒｍａｘを設定する。
ｒｍａｘ＜ｒのとき、ｒｍａｘ＝ｒ，
ｒｍａｘ≧ｒのとき、ｒｍａｘ＝ｒｍａｘ ………（４）

次にＳ９では、ブロックマッチング処理部１３０５は、着目フレームのあるブロックに対して、次フレームの全ブロックについて探索したか（相関係数ｒを算出したか）否かを判定する。そして、次フレームに未探索のブロックがある場合には、未探索のブロックを選択してＳ７に戻る。一方、全ブロックが探索済みの場合には、着目フレームのブロックの座標と、相関係数ｒが最大値ｒｍａｘとなった次フレームのブロックの座標とを取得してＳ１０に移行する。
Ｓ１０では、動きベクトル算出部１３０６は、Ｓ９において取得したブロック座標をもとに、動きベクトルを算出する。ここでは、着目フレームのブロック座標を（ｘ，ｙ）、次フレームのブロック座標を（ｘ´，ｙ´）とする。このとき、動きベクトルは、次式をもとに算出できる。
（ｕ，ｖ）＝(ｘ´，ｙ´)−(ｘ，ｙ) ………（５）

次にＳ１１では、動きベクトル算出部１３０６は、着目フレームの全てのブロックに対して動きベクトルを算出したか否かを判定する。そして、着目フレームに動きベクトル未算出のブロックがある場合には、未算出のブロックを選択してＳ７へ戻り、全ブロックの動きベクトルを算出済みの場合にはＳ１２に移行する。Ｓ１２では、動きベクトル算出部１３０６は、フレーム群の全フレームから動きベクトルを算出したか否かを判定する。そして、全フレームで動きベクトルを算出している場合にはＳ１３に移行し、未算出の場合には、未算出のフレームを選択してＳ６へ戻る。

Ｓ１３では、ＧＭ推定部１３０７は、上記により算出した動きベクトルの分布に基づいて、ＧＭを推定する。ここでは、カメラ自体の位置変化がない動き成分として、光軸周りの回転のロール（Roll）、垂直方向回転（垂直あおり）のピッチ（Pitch）、水平方向回転（水平あおり）のヨー（Yaw）、拡大縮小のズーム（Zoom）を定義し、これらを推定する。また、カメラ自体の位置変化がある動き成分として、光軸方向並進のドリー（Doly）、水平方向並進のトラック（Track）、垂直方向並進のブーム（Boom）を定義し、これらを推定する。
ＧＭの推定方法としては、例えば、「映像酔いガイドライン検証システムの開発に関するフィージビリティスタディ報告書」（財団法人 機械システム振興協会著、平成１９年３月、ｐ．１８−ｐ．２０）に記載された方法を採用することができる。すなわち、動きベクトルが下記（６）式で与えられることを利用し、各動き成分のＧＭを推定する。

ここで、
ａ´_Zoom＝ａ_Zoom−１，
ａ_Zoom＝Ａ・ｃｏｓθ，
ｂ_Roll＝Ａ・ｓｉｎθ ………（７）
である。なお、Ａはカメラのズーム倍率、θはカメラの回転角度である。また、ａ_Zoom、ｂ_Roll、ｃ_Yaw及びｄ_Pitchは、カメラのズーム、ロール、ヨー及びピッチをそれぞれ表すパラメータである。さらに、ａ´_Doly、ｃ_Track及びｄ_Boomは、カメラのドリー、トラック及びブームをそれぞれ表すパラメータである。ＧＭ推定部１３０７は、推定した各動き成分に関するＧＭを、図１に示す映像酔い評価部１４と映像補正部１５へ出力する。

（映像酔い評価部１４の構成）
次に、映像酔い評価部１４の具体的構成について説明する。
図５は、映像酔い評価部１４の具体的構成を示すブロック図である。図５に示す分離器１４０１は、カメラ運動推定部１３が推定したＧＭを取得し、ロール、ピッチ、ヨーの各軸に振り分ける。すなわち、ロール方向のＧＭ（Ｒｏｌｌベクトル）は速度算出部１４０２に、ピッチ方向のＧＭ（Ｐｉｔｃｈベクトル）は速度算出部１４０３に、ヨー方向のＧＭ（Ｙａｗベクトル）は速度算出部１４０４にそれぞれ出力する。速度算出部１４０２〜１４０４は、分離器１４０１によって振り分けられたＧＭからそれぞれ速度を算出し、算出した速度をそれぞれフレームカウンタ１４０５〜１４０７に出力する。フレームカウンタ１４０５〜１４０７は、速度算出部１４０２〜１４０４がそれぞれ算出した速度を一定のフレーム数分保持する。そして、フレームカウンタ１４０５〜１４０７は、一定のフレーム数まで保持したのち、所定の閾値以上の速度のフレームがいくつあるのかをカウントし、そのカウント数ｃｎｔをそれぞれ評価関数算出部１４０８〜１４１０に出力する。

評価関数算出部１４０８〜１４１０は、それぞれ映像酔いテーブル記憶部１４１１から映像酔いテーブルを読み出す。ここで、映像酔いテーブルとは、人間の映像酔い感度特性を示すものである。そして、評価関数算出部１４０８〜１４１０は、それぞれカウント数ｃｎｔと、ＧＭの速度と、映像酔いテーブルとに基づいて、各軸（本実施形態では、ロール、ピッチ、ヨー）の評価関数を算出する。なお、評価関数は、フレームを要素とする関数である。加算器１４１２〜１４１４は、それぞれ各軸の評価関数に対して、遅延器１４１５〜１４１７において所定フレーム分遅延させた評価関数を加算する。評価値算出部１４１８〜１４２０は、各軸の評価値を算出し、これらを図１に示す映像補正部１５に出力する。
図６は、映像酔い評価部１４が実行する処理の流れを示すフローチャートである。図６に示される処理は、図１に示すＣＰＵ１０１が、ＲＯＭ１０２もしくはメモリ１０４に格納されたプログラムを読み出して実行することにより実現される。ただし、図６の処理の一部または全部が、専用のハードウェアにより実現されてもよい。
先ずＳ２１において、分離器１４０１は、カメラ運動推定部１３から取得したＧＭからロール、ピッチ、ヨーの各軸にパラメータを振り分ける。具体的には、

とする。

次にＳ２２において、速度算出部１４０２〜１４０４は、各軸のＧＭから速度Ｖを算出する。例えば速度算出部１４０２は、ロール方向のＧＭから速度Ｖ［ｄｅｇ／ｓｅｃ］を算出する。カメラ運動推定部１３がジャイロ情報をもとにＧＭを推定している場合、以下のとおり速度Ｖを算出する。ロール方向の１フレーム間での回転角度はθ［ｄｅｇ］である。ここで、ジャイロ情報のサンプリング間隔がｔ［ｓｅｃ］であるとすると、速度Ｖは次式をもとに算出できる。
Ｖ＝θ／ｔ ………（９）

一方、ブロックマッチングからＧＭを推定している場合には以下のとおり速度Ｖを算出する。すなわち、ロール方向の１フレーム間でのＧＭはθであるため、撮影のフレームレートがＨ［ｆｐｓ］であるとすると、速度Ｖは次式をもとに算出できる。
Ｖ＝θＨ ………（１０）
また、速度算出部１４０３は、ピッチ方向の速度Ｖ［ｄｅｇ／ｓｅｃ］を求める。ピッチ軸は１フレームあたりの移動量がｄ_Pitch［ｐｉｘｅｌ］となる。視聴者の視距離がディスプレイの標準視距離である３Ｈであるとすると、ピッチ方向の１フレーム間での回転角度θ［ｄｅｇ］は次式から求まる。なお、Ｈはディスプレイの垂直方向の画素数である。
θ＝２ｔａｎ-1（ｄ_Pitch／６Ｈ） ………（１１）
同様に、速度算出部１４０４は、ヨー方向の速度Ｖ［ｄｅｇ／ｓｅｃ］を求める。ヨー軸では１フレームあたりの移動量がｃ_Yaw［ｐｉｘｅｌ］である。そのため、ヨー方向の１フレーム間での回転角度θ［ｄｅｇ］は上記と同様にして求まり、速度Ｖも同様に求まる。

次にＳ２３において、フレームカウンタ１４０５〜１４０７は、ｆ＝０、ｃｎｔ＝０に初期化する。ここで、ｆは、カウントするフレーム数、ｃｎｔは、速度Ｖが閾値Ｔｈ１以上であるフレーム数である。なお、初期状態では、ロール軸を選択するものとし、Ｓ２３〜Ｓ３３の処理は、選択した軸に対応するフレームカウンタ、評価関数算出部、加算器、遅延器及び評価値算出部が実行する。ここでは、説明を容易にするために、以降のＳ２４〜Ｓ３３の処理をロール軸に対応する各部が実行する場合について説明する。

Ｓ２４では、フレームカウンタ１４０５は、フレーム数ｆをインクリメントし、Ｓ２５に移行する。Ｓ２５では、フレームカウンタ１４０５は、着目しているフレームの速度Ｖが閾値Ｔｈ１よりも大きいか否かを判定する。そして、Ｖ＞Ｔｈ１である場合にはＳ２６に移行し、Ｖ≦Ｔｈ１である場合にはＳ２７に移行する。Ｓ２６では、フレームカウンタ１４０５は、フレーム数ｃｎｔをインクリメントし、Ｓ２７に移行する。Ｓ２７では、フレームカウンタ１４０５は、フレーム数ｆが閾値ｆｔｈ（例えば、３０）に達したか否かを判定する。そして、ｆ≧ｆｔｈである場合にはＳ２８に移行し、ｆ＜ｆｔｈである場合にはＳ２４に戻る。なお、閾値ｆｔｈは、映像酔いがある一定時間以上の映像を視聴することで発生するという知見から、例えば３０フレームという数値としている。ただし、閾値ｆｔｈは任意の自然数であってよい。Ｓ２８では、フレームカウンタ１４０５は、フレーム数ｃｎｔが閾値Ｔｈ２以上であるか否かを判定する。そして、ｃｎｔ≧Ｔｈ２である場合には、映像酔いが発生しうる速度、時間の映像があると判定し、Ｓ２９に移行する。一方、ｃｎｔ＜Ｔｈ２である場合には、該軸方向（ここではロール方向）のＧＭで映像酔いが発生しうる速度、時間の映像はないと判定し、Ｓ３４に移行する。

Ｓ２９では、評価関数算出部１４０８は、ロール軸に相当する映像酔いテーブルを映像酔いテーブル記憶部１４１１から読み出す。ここで、映像酔いテーブルとは、図７（ａ）に示すような映像酔い感度の時間変化を示すテーブルである。この図７（ａ）に示すように、映像酔い感度を示す関数は一過性評価関数Ｔｒと持続性評価関数Ｓｕとの２種類があり、これらは同時に発生する。映像酔いテーブル記憶部１４１１は、ロール軸に相当する基準評価関数Ｔｒ＿ｒ及びＳｕ＿ｒ、ピッチ軸に相当する基準評価関数Ｔｒ＿ｐ及びＳｕ＿ｐ、ヨー軸に相当する基準評価関数Ｔｒ＿ｙ及びＳｕ＿ｙを記憶している。
Ｓ３０では、評価関数算出部１４０８は、Ｓ２９において取得した映像酔いテーブルと、ＧＭの速度、フレーム数ｃｎｔに基づいて、映像酔い評価関数を算出する。まず、ＧＭの速度とフレーム数ｃｎｔとから、映像酔いの強度係数Ａを算出する。

ここで、Ｋは定数、Ｖ（ｎ）は閾値Ｔｈ１以上の速度Ｖである。次に、強度係数Ａを用いて映像酔い評価関数を算出する。例えばロール方向の一過性評価関数Ｔｒは次式で表される。

ここで、ｔは時間を示しており、上記（１３）式は映像酔いの時間応答を示す。また、映像酔い評価関数は、図７（ｂ）に示すように、ＧＭの速度によって異なる。すなわち、ＧＭの速度が速いほど、映像酔い感度は高くなる傾向がある。したがって、映像酔いの強度係数Ａの映像を視聴することで発生する一過性の酔いＴｒ´は、次式で表すことができる。
Ｔｒ´＝Ｔｒ（Ａα，Ａβ，Ａγ，ｔ） ………（１４）
また、映像を見てから遅延して発生し、長く残存する持続性評価関数Ｓｕは、次式で表される。そのため、映像酔いの強度係数Ａの映像を視聴することで発生する持続性の酔いＳｕ´も同様に求めることができる。

ここで、α´＝ｋα、β´＝ｋβ、γ´＝ｋγであり、ｋは定数である。
次にＳ３１において、加算器１４１２は、一過性評価関数Ｔｒ´、持続性評価関数Ｓｕ´に対して、それぞれ遅延器１４１５に評価関数がある場合、それを加算する。Ｓ３２では、遅延器１４１５は、加算器１４１２で加算した評価関数の時間ｔを一定のフレーム分遅延させて保持する。そして次の一定フレーム分の映像酔い評価関数に対して加算器１４１２に出力する。ここで、遅延させるフレーム数は、閾値ｆｔｈとする。次にＳ３３において、評価値算出部１４１８は、一過性評価関数Ｔｒ´と持続性評価関数Ｓｕ´の総和をとり、これを軸ごとの評価値として算出する。Ｓ３４では、評価値算出部１４１８は、評価値を全ての軸で算出したか否かを判定する。そして、未算出の軸が存在する場合には、未算出の軸を選択してＳ２３に戻り、全ての軸で評価値を算出している場合には、各軸の評価値を図１に示す映像補正部１５へ出力し、本処理を終了する。このように、映像酔い評価部１４は、運動の方向による映像酔い感度の違いや、映像酔いの時間的な蓄積を考慮して、映像酔いを評価する。

（映像補正部１５の構成）
次に、映像補正部１５の具体的構成について説明する。
図８は、映像補正部１５の具体的構成を示すブロック図である。図８に示すブロックマッチング処理部１５０１は、メモリ１０４に記憶されている映像信号（フレーム群）を、記憶制御部１２を介して取得する。そして、ブロックマッチング処理部１５０１は、取得した映像信号に対してブロックマッチング処理を行う。動きベクトル算出部１５０２は、ブロックマッチング処理部１５０１が処理した映像信号から動きベクトルを算出する。補正量算出部１５０３は、映像酔い評価部１４が算出した各軸の評価値に基づいて、映像酔いを抑制するように映像を補正するための補正量を算出する。重み付けテーブル取得部１５０４は、予めメモリ１０４に記憶された重み付けテーブルを取得する。

図９は、映像補正部１５が実行する処理の流れを示すフローチャートである。図９に示される処理は、図１に示すＣＰＵ１０１が、ＲＯＭ１０２もしくはメモリ１０４に格納されたプログラムを読み出して実行することにより実現される。ただし、図９の処理の一部または全部が、専用のハードウェアにより実現されてもよい。
先ずＳ４１において、補正量算出部１５０３は、各軸の映像酔い評価値を映像酔い評価部１４から取得し、Ｓ４２に移行する。Ｓ４２では、重み付けテーブル取得部１５０４は、メモリ１０４から重み付けテーブルを読み出す。ここで、重み付けテーブルとは、映像の各動き成分を補正する際の重みを記述したテーブルである。重み付けテーブルの一例を図１０に示す。この重み付けテーブルは、人間の映像酔い感度に応じて、映像酔い感度が高い（酔いやすい）運動方向であるほど、補正量の重みを大きく設定する。なお、重みの数値については図１０に示す値に限定するものではない。

Ｓ４３では、補正量算出部１５０３は、映像酔い評価値と、閾値Ｔｈ３と、重み付けテーブルとに基づいて、映像の補正量を算出する。ここで、閾値Ｔｈ３とは、視聴者が映像酔いを発生するか否かを判定する閾値であり、各軸の映像酔い評価値の総和が閾値Ｔｈ３よりも大きいとき、映像酔いを発生するものとする。ロール、ピッチ、ヨーの各軸での映像酔い評価値をＥ１，Ｅ２，Ｅ３、重みをＷ１，Ｗ２，Ｗ３とすると、各軸における補正量Ｒｎは下記の式から求まる。

ここで、ｎ＝１，２，３である。すなわち、Ｒ₁はロール軸における補正量、Ｒ₂はピッチ軸における補正量、Ｒ₃はヨー軸における補正量である。補正量Ｒｎは、補正前のＧＭに対する、映像酔いを抑制するように補正した後のＧＭの割合を示しており、０≦Ｒｎ≦１である。すなわち、Ｒｎ＝１である場合には補正無し、Ｒｎが０に近いほど補正量は大きくなり入力映像のフレーム間の動きの量が低減されることを示している。Ｓ４４では、補正量算出部１５０３は、全ての軸において補正量Ｒｎを算出したか否かを判定する。そして、算出している場合にはＳ４５に移行し、算出していない場合には、未算出の軸を選択してＳ４３に戻る。

Ｓ４５では、ブロックマッチング処理部１５０１は、メモリ１０４に格納されているフレーム群を、記憶制御部１２を介して取得し、ブロックマッチング処理を行う。このＳ４５における処理は、上述したカメラ運動推定部１３のブロックマッチング処理部１３０５での処理と同様である。次にＳ４６において、動きベクトル算出部１５０２は、動きベクトルを算出する。このＳ４６における処理は、上述したカメラ運動推定部１３の動きベクトル算出部１３０６での処理と同様である。
Ｓ４７では、補正処理部１５０５は、カメラ運動推定部１３から各軸のＧＭを取得し、Ｓ４８に移行する。Ｓ４８では、補正処理部１５０５は、撮影画像のオブジェクトの運動に当たるローカルモーション（ＬＭ）を算出する。補正処理部１５０５は、着目フレームの各ブロックの座標（ｘ_n，ｙ_n）、次フレームの各ブロックの座標（ｘ_n+1，ｙ_n+1）、各軸のＧＭからＬＭを算出する。ここで、着目フレームから次フレームへのブロックの移動は、ＧＭとＬＭとの両者の影響によって起きているといえる。よって、次フレームの座標（ｘ_n+1，ｙ_n+1）は下記の式で表すことができる。

上記（１７）式において、ｘ_LM，ｙ_LMは、ブロックがＧＭの影響以外で動いた部分に相当し、この部分をＬＭと定義し、算出する。
Ｓ４９では、補正処理部１５０５は、着目フレームのインデックスｎが１であるか否かを判定する。そして、ｎ＝１である場合にはＳ５０に移行し、ｎ≠１である場合にはＳ５１に移行する。Ｓ５０では、補正処理部１５０５は、Ｓ４３で算出した補正量と、ＧＭ及びＬＭを用いて映像を補正する。このＳ５０では、補正処理部１５０５は、次フレームのブロックの座標（ｘ´_n+1，ｙ´_n+1）を、補正前の着目フレームのブロックの座標（ｘ_n，ｙ_n）から算出する。

ここで、θ´＝Ｒ1・θである。
Ｓ５１では、補正処理部１５０５は、Ｓ４３で算出した補正量と、ＧＭ及びＬＭを用いて映像を補正する。このＳ５１では、補正処理部１５０５は、次フレームのブロックの座標（ｘ´_n+1，ｙ´_n+1）を、補正後の着目フレームのブロックの座標（ｘ´_n，ｙ´_n）から算出する。

次にＳ５２において、補正処理部１５０５は、映像補正の処理を全てのブロックで終了したか否かを判定する。そして、終了している場合にはＳ５３に移行し、終了していない場合には、映像補正の処理をしていないブロックを選択してＳ４８に戻る。Ｓ５３では、補正処理部１５０５は、全てのフレームで映像補正の処理が終了したか否かを判定する。そして、処理が終了している場合には本処理を終了し、処理が終了していない場合にはＳ５４へ移行する。Ｓ５４では、映像補正部１５は、フレームのインデックスｎをインクリメントし、Ｓ４５へ移行する。

このように、映像補正部１５は、各軸について推定された映像酔いの評価値をもとに映像酔いが発生し得ると判断した場合に、映像酔いを発生させる画像揺れ分を、映像酔いを抑制するよう補正する。このとき、映像補正部１５は、人間の映像酔い感度に応じた重み付けを用いて、入力映像における各軸方向の動きベクトルを補正する。すなわち、人間の酔いやすい方向の画像揺れをより確実に抑制する。また、全軸方向の動きベクトルを補正した結果、映像としての臨場感が失われてしまう場合がある。本実施形態によれば、映像酔いの発生度合いが小さい軸方向の動きベクトルについては、重みを小さくすることで、映像としての臨場感を残すことができる。
なお、本実施形態においては、ＧＭのうちロール、ピッチ及びヨー成分を補正したが、これに限定されるものではなく、これらの一部のみを補正してもよい。また、ズーム、トラック、ブーム、ドリー成分を補正してもよい。さらに、重み付けテーブルは、図１０に示すようにロール、ピッチ、ヨーについての重みを設定しているが、これも一部のみであってもよいし、他の動き成分について重みを設定してもよい。また、重み付けは、ＧＭの速度ごとに異なっていてもよい。さらに、重み付けは、各動き成分で同じであってもよい。

以上のように、本実施形態では、画像処理装置１０は、入力映像に含まれる複数のフレームについて、撮像装置の動きに応じたフレーム間の動きの量を軸毎に推定する。そして、画像処理装置１０は、推定されたフレーム間の動きの量を軸毎に補正する。また、このとき、画像処理装置１０は、入力映像の映像酔いを発生させる度合いを示す映像酔い評価値を軸毎に推定する。そして、画像処理装置１０は、推定した映像酔い評価値に基づいて、入力映像を、当該入力映像のフレーム間の動きの量が、映像酔いが低減するよう補正する。映像酔い評価値に基づいて軸毎に補正を行うので、必要以上にフレーム間の動きを抑制せず、映像酔いを発生させる画像揺れ分のみを抑制することができる。したがって、臨場感を残しつつ映像酔いを抑制した映像を出力することができる。

また、画像処理装置１０は、人間の映像酔い感度に応じて入力映像を補正する。これにより、動きの方向や速度に応じて映像酔い感度（酔いやすさ）が異なることを考慮し、適切な補正を施すことができる。例えば、酔いやすい方向についてのみフレーム間の動きを抑制したり、動きの方向に応じて映像の補正量を調整したりすることも可能である。
さらに、画像処理装置１０は、入力映像のフレーム間におけるグローバルモーションを推定し、当該グローバルモーションに基づいて上記映像酔い評価値を推定する。また、画像処理装置１０は、上記グローバルモーションに基づいて入力映像を補正する。したがって、適切に入力映像の映像酔いを評価し、当該入力映像を補正することができる。

また、画像処理装置１０は、入力映像のフレーム群に基づいて、水平あおり、垂直あおり、回転、水平並進、垂直並進および拡大縮小の各動き成分に関するグローバルモーションのうち、複数のグローバルモーションを推定する。このように、カメラの各要素運動に関するグローバルモーションを推定する。そして、画像処理装置１０は、上記各動き成分に対する人間の映像酔い感度に応じた重み付けを用いて、入力映像の各動き成分を補正する。したがって、映像酔い感度の高い動きを確実に抑制するような補正を施すことができる。例えば、回転（ロール）、垂直あおり（ピッチ）、水平あおり（ヨー）の順に重みを大きく設定すれば、ロール方向の動きを確実に抑制することができる。また、垂直あおり（ピッチ）、回転（ロール）、水平あおり（ヨー）の順に重みを大きく設定すれば、ピッチ方向の動きを確実に抑制することができる。一般に、重力方向に対して映像の変動があるロール方向、ピッチ方向の動きの方が、ヨー方向の動きに比べて酔いやすいことがわかっている。したがって、上記のように重み付けすることで、適切に映像酔いを抑制することができる。

さらに、画像処理装置１０は、ブロックマッチングにより入力映像のフレーム間の動きベクトルを算出し、当該動きベクトルに基づいてグローバルモーションを推定する。したがって、適切にグローバルモーションを推定することができる。また、画像処理装置１０は、入力映像のフレームに、当該入力映像を撮像した撮像装置の姿勢角情報（ジャイロ情報）が付与されている場合には、当該姿勢角情報を用いてグローバルモーションを推定する。すなわち、画像処理装置１０は、フレームに姿勢角情報が付与されているか否かを判定し、付与されていると判定したとき、当該姿勢角情報に基づいて入力映像のフレーム間の動きベクトルを算出する。そして、画像処理装置１０は、算出した動きベクトルに基づいてグローバルモーションを推定する。このようにジャイロ情報を用いることで、容易にグローバルモーションを推定することができる。

また、画像処理装置１０は、映像酔いを抑制するよう補正した入力映像を表示パネル２０に表示させるので、視聴者は、映像酔いしにくく且つ自分が運動しているような臨場感のある映像を視聴することができる。なお、本実施形態では、画像処理装置１０が補正後の入力映像を表示パネル２０に表示させる場合について説明したが、補正後の入力映像を記録媒体等に記録するようにしてもよい。

（第二の実施形態）
次に、第二の実施形態について説明する。上述した第一の実施形態では、予め記憶した運動方向ごとの重み付けテーブルを用いて補正を行う態様であった。第二の実施形態では、映像を視聴するユーザ（視聴者）ごとに重み付けテーブルを設定し、ユーザに応じた補正を行う方法について説明する。
図１１は、第二の実施形態における画像処理装置１０の機能ブロック図である。この図１１において、上述した第一の実施形態における画像処理装置１０と同様の構成を有する部分には図２と同一符号を付し、ここでは構成の異なる部分を中心に説明する。

映像酔い感度設定部１７は、映像酔い感度取得部１７ａと、テーブル作成部１７ｂとを備える。映像酔い感度取得部１７ａは、ユーザが操作部１０５を用いて入力した映像酔い感度を示す情報を取得し、テーブル作成部１７ｂに出力する。テーブル作成部１７ｂは、映像酔い感度取得部１７ａから入力した情報に基づいて重み付けテーブルを作成し、映像補正部１８へ出力する。映像補正部１８は、テーブル作成部１７ｂが作成した重み付けテーブルを用いて、映像酔いを抑制するように入力映像のフレームを補正する。

（映像酔い感度設定部１７の構成）
以下、映像酔い感度設定部１７の構成について詳細に説明する。
映像酔い感度取得部１７ａは、ユーザが入力した映像酔い感度を示す情報として、例えば図１２に示すような映像酔い感度テーブルを取得する。映像酔い感度テーブルは、例えば、各軸において異なる速度で振動する映像に対して、映像酔いの評価結果を記述したテーブルである。図１２に示すテーブルでは、上記評価結果を４段階（０：なし、１：わずかに、２：中程度、３：激しく）で示している。このように、評価結果の数値は、大きいほど不快度が高いことを示している。ただし、評価結果は４段階に限るものではない。

テーブル作成部１７ｂは、映像酔い感度取得部１７ａが取得した映像酔い感度テーブルに基づいて、重み付けテーブルを作成する。例えば、図１２に示す評価結果の数値から、図１０に示すような重み付けの値を設定し、重み付けテーブルを作成する。このとき作成される重み付けテーブルは、各軸の速度に応じて重み付けされたテーブルとなる。そして、テーブル作成部１７ｂは、作成した重み付けテーブルを映像補正部１８へ出力する。このように、映像酔い感度設定部１７は、ユーザ特有の映像補正用の重み付けテーブルを作成する。

なお、ここではユーザが図１２に示すような映像酔い感度テーブルを入力する例を説明したが、入力する形式はこれに限るものではない。例えば、ユーザの映像酔い感度に応じた重み付けテーブルを直接入力してもよいし、表示パネル２０を通してユーザが主観評価実験を行い、その結果（例えば図１３）をもとに重み付けテーブルを作成してもよい。例えば、図１３において、各動き成分の速度が１０［ｄｅｇ／ｓｅｃ］であるとき、主観評価値は、ロール、ピッチ、ヨーの順に大きい。したがって、当該速度では、ロール、ピッチ、ヨーの順に重み付けをする。一方、図１３において、各動き成分の速度が３０［ｄｅｇ／ｓｅｃ］であるとき、主観評価値は、ピッチ、ロール、ヨーの順に大きい。したがって、当該速度では、ピッチ、ロール、ヨーの順に重み付けをする。なお、映像酔い感度を評価する速度も、図１２や図１３に示す速度に限るものではなく、任意に速度を設定することができる。

（映像補正部１８の構成）
次に、映像補正部１８の構成について詳細に説明する。
図１４は、映像補正部１８の具体的構成を示すブロック図である。図１４において、上述した第一の実施形態の映像補正部１５と同一構成を有する部分には図８と同一符号を付し、ここでは構成の異なる部分を中心に説明する。
補正量算出部１８０１は、重み付けテーブル取得部１８０２が取得した重み付けテーブルと、映像酔い評価部１４が算出した各軸の評価値とを入力し、これらに基づいて補正量を算出する。重み付けテーブル取得部１８０２は、映像酔い感度設定部１７が導出したユーザ特有の重み付けテーブルを取得し、これを上記補正量算出部１８０１へ出力する。

図１５は、映像補正部１８が実行する処理の流れを示すフローチャートである。図１５に示される処理は、図１に示すＣＰＵ１０１が、ＲＯＭ１０２もしくはメモリ１０４に格納されたプログラムを読み出して実行することにより実現される。ただし、図１５の処理の一部または全部が、専用のハードウェアにより実現されてもよい。この図１５に示す処理は、図９のＳ４２及びＳ４３を、Ｓ６１〜６５に置換したことを除いては、図９と同一処理を行う。したがって、ここでは、処理の異なる部分を中心に説明する。

Ｓ６１において、補正量算出部１８０１は、カメラ運動推定部１３から各種のＧＭを取得し、Ｓ６２に移行する。Ｓ６２では、補正量算出部１８０１は、Ｓ６１において取得したＧＭから各軸の速度Ｖを算出する。このＳ６２の処理は、上述した第一の実施形態における図６のＳ２２の処理を同様である。Ｓ６３では、重み付けテーブル取得部１８０２は、映像酔い感度設定部１７が導出したユーザ特有の重み付けテーブルを取得する。Ｓ６４では、補正量算出部１８０１は映像の補正量を算出する。先ず、補正量算出部１８０１は、Ｓ６２において算出したＧＭの速度をもとに、重み付けテーブルから重みを取得する。このとき、対応する速度がないときは前後の速度から補間して重みを算出してもよい。そして、補正量算出部１８０１は、映像酔い評価値と、閾値Ｔｈ３と、Ｓ６３において取得した重みとに基づいて、映像の補正量を算出する。この補正量の算出方法は、上述した第一の実施形態における図９のＳ４３の処理と同様である。次にＳ６５において、補正量算出部１８０１は、補正量の算出処理が全ての軸の映像において終了したか否かを判定する。そして、全てのフレームに対して処理が終了している場合にはＳ４４に移行し、処理が終了していない場合には、補正量を算出していないフレームを選択してＳ６２に戻る。

以上のように、本実施形態では、画像処理装置１０は、ユーザの映像酔い感度を示す情報を取得し、そのユーザごとの映像酔い感度に応じた重み付けを用いて、入力映像の各動き成分を補正する。したがって、映像を視聴するユーザ特有の映像酔い感度に合わせて映像酔いを抑制するように、入力映像を補正することができる。このように、映像を視聴するユーザに適した補正を行うことができる。

また、画像処理装置１０は、各動き成分の速度に対する人間の映像酔い感度に応じた重み付けを用いて、入力映像の各動き成分を補正する。すなわち、動きの速度に応じて映像酔い感度が異なることを考慮し、入力映像を補正することができる。したがって、例えば、ロール方向やピッチ方向など、酔いやすい方向の動きであっても、動きの速度が比較的遅い場合には映像酔いを抑制するための補正を施さないようにすることができる。また、同じ動きの方向であっても、動きの速度が速い場合には、映像酔いを確実に抑制するために補正量を大きく設定することができる。このように、臨場感を残しつつ映像酔いを確実に抑制する補正を行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…画像処理装置、１１…復号部、１２…記憶制御部、１３…カメラ運動推定部、１４…映像酔い評価部、１５…映像補正部、１６…信号変換部、１７…映像酔い感度設定部、１７ａ…映像酔い感度取得部、１７ｂ…テーブル作成部、１８…映像補正部

Claims (13)

1. 入力映像に含まれる複数のフレームについて、前記入力映像を撮影した撮像手段の水平あおり方向、垂直あおり方向、光軸周りの回転方向の少なくとも１つの方向について、前記撮像手段の動きに応じたフレーム間の動きの量を推定する推定手段と、
   前記推定手段により推定された前記フレーム間の動きの量を、前記推定手段が推定した方向毎に補正する補正手段と、を備えることを特徴とする画像処理装置。
2. 前記推定手段は、前記水平あおり方向、前記垂直あおり方向、および前記回転方向のそれぞれについて前記動き量を推定し、
   前記補正手段は、前記水平あおり方向、前記垂直あおり方向、および前記回転方向のそれぞれの重みを決定し、前記方向毎の重みに応じた補正量を算出し、前記補正量に基づいて前記フレーム間の動きの量を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、人間の映像酔い感度に応じて、前記重みを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記回転方向、前記垂直あおり方向、前記水平あおり方向の順に前記重みを大きく設定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補正手段は、前記垂直あおり方向、前記回転方向、前記水平あおり方向の順に前記重みを大きく設定することを特徴とする請求項２または３に記載の画像処理装置。
6. 前記推定手段が推定した動きの量に基づいて前記入力映像の映像酔いを評価し、当該映像酔いを発生させる度合いを示す映像酔い評価値を導出する評価手段をさらに備え、
   前記補正手段は、前記評価手段が導出した映像酔い評価値に基づいて、前記フレーム間の動きの量を補正することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記推定手段は、前記水平あおり方向、前記垂直あおり方向、前記回転方向の少なくとも１つの方向について、前記フレーム間におけるグローバルモーションを推定し、
   前記評価手段は、前記推定手段で推定したグローバルモーションに基づいて、前記映像酔い評価値を導出し、
   前記補正手段は、前記評価手段が導出した映像酔い評価値と、前記推定手段で推定したグローバルモーションとに基づいて、前記フレーム間の動きの量を補正することを特徴とする請求項６に記載の画像処理装置。
8. 前記推定手段は、ブロックマッチングにより前記フレーム間の動きベクトルを算出する第一の算出手段を備え、当該第一の算出手段で算出した動きベクトルに基づいて前記グローバルモーションを推定することを特徴とする請求項７に記載の画像処理装置。
9. 前記入力映像に含まれるフレームに、前記撮像装置の姿勢角情報が付与されているか否かを判定する判定手段をさらに備え、
   前記推定手段は、前記判定手段で前記姿勢角情報が付与されていると判定したとき、当該姿勢角情報に基づいて前記フレーム間の動きベクトルを算出する第二の算出手段を備え、当該第二の算出手段で算出した動きベクトルに基づいて前記グローバルモーションを推定することを特徴とする請求項７に記載の画像処理装置。
10. 前記補正手段で前記フレーム間の動きの量を補正した前記入力映像を表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記請求項１０に記載の画像処理装置と、
    前記画像処理装置と通信可能に接続された前記表示手段と、を備えることを特徴とする表示装置。
12. 入力映像に含まれる複数のフレームについて、前記入力映像を撮影した撮像手段の水平あおり方向、垂直あおり方向、光軸周りの回転方向の少なくとも１つの方向について、前記撮像手段の動きに応じたフレーム間の動きの量を推定するステップと、
    前記推定手段により推定された前記フレーム間の動きの量を、前記推定手段が推定した方向毎に補正するステップと、を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１〜１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images