JP2008299241A - 画像処理装置及び表示装置 - Google Patents

Abstract

【課題】生体に影響を及ぼす映像を表示装置に表示する際に、より簡易な構成で上記影響を軽減する画像処理装置を提供することを目的とする。
【解決手段】画像処理装置１００は、画像の揺れの有無を判定する画像解析手段１０２と、画像を縮小する画像縮小手段１０６とを備え、画像解析手段１０６により画像に揺れが有ると判定された場合に、画像縮小手段で縮小した画像を表示装置２００に出力する。画像処理装置１００は、画像縮小手段１０６による画像の縮小率を判定する画像処理判定手段１０５を更に備えてもよい。この場合、画像解析手段１０２により画像に揺れが有ると判定されると、画像処理判定手段１０５が、表示装置２００の表示画面サイズに基づいて、縮小率を判定する。
【選択図】図１

Description

本発明は、画像処理装置及び表示装置に関し、より詳細には、画像の解析を行い、その画像が生体に影響を及ぼすかどうかを判別する機能を備えた画像処理装置及び表示装置に関する。

近年、液晶ディスプレイやプラズマディスプレイに代表される薄型、大画面ディスプレイの普及に伴い、家庭においても大画面で臨場感の高い美しい映像を視聴することが可能となってきている。その一方、眼精疲労や映像酔いなど映像コンテンツに起因する生体への悪影響が大画面ディスプレイによって多数引き起こされることが懸念されている。例えば、一般人により家庭用ビデオカメラで撮影された映像には手ぶれによる画像揺れが存在していることが多く、この手ぶれによって映像酔いが引き起こされることが報告されている。このような映像を大画面ディスプレイで視聴する場合、臨場感が高い為より映像酔いを引き起こしやすい。また、視聴距離が近い場合には、映像の動きに対して視線の追従距離が大きいため、より映像酔いを引き起こす可能性が高まる。

手ぶれなどの揺れが存在する映像は、酔いを引き起こすだけでなく見づらい映像となるため、これを防ぐためにビデオカメラ側に手ぶれ補正装置を備えた機器が提案されている。しかし、この機器によって全ての手ぶれを防止することができるわけではなく、また、手ぶれ補正のない機器で撮影した画像を再生する場合には相変わらず映像酔いを引き起こす可能性は残っている。
そのため、再生／表示装置側で映像による生体影響を防止する方法が提案されている。

特許文献１に記載の表示装置では、ＭＰＥＧ符号化されたビットストリームに対して、復号を行う際に得られたマクロブロックごとの動きベクトルより、画像周縁部の動きベクトルを選択し、画像全体の動きベクトルを求め、画像全体の手ぶれベクトルを決定し、手ぶれベクトル分ずれた画像データを再生することにより、手ぶれの少ない安定した映像を表示している。
特開２０００−４１２２２号公報

上記のように、表示装置及び表示装置に接続される画像処理装置に関し、手ぶれなどに起因する揺れが生体に悪影響を及ぼすことを防止するために、画像データを手ぶれベクトル分ずらして表示するなどして、揺れを補正する方法が提案されている。しかし、補正を行う場合にはその分高い性能が求められ構成が複雑となる他、手ぶれの補正により外周部の画像がカットされてしまい、本来の映像とは異なるものとなることがある。

本発明は、上述のごとき実情に鑑みてなされたものであり、生体に影響を及ぼす映像を表示する際に、より簡易な構成で上記影響を軽減する画像処理装置及び表示装置を提供することを目的とする。

上記目的を達成するために、本発明の第１の技術手段は、画像の揺れの有無を判定する画像解析手段と、画像を縮小する画像縮小手段とを備え、前記画像解析手段により画像に揺れが有ると判定された場合に、前記画像縮小手段で縮小した画像を表示装置に出力することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記画像縮小手段による画像の縮小率を判定する画像処理判定手段を更に備え、該画像処理判定手段が、前記画像解析手段により画像に揺れが有ると判定された場合に、前記表示装置の表示画面サイズに基づいて、前記縮小率を判定することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記表示装置に関する情報を取得する表示装置情報取得手段をさらに備え、前記画像処理判定手段が、前記表示装置情報取得手段が取得した前記情報に基づいて、前記縮小率の判定を行うことを特徴としたものである。

第４の技術手段は、第１乃至第３のいずれか１の技術手段において、前記画像解析手段が、データ記憶手段に記憶された画像データを解析して画像の揺れを検出し、該検出結果に基づく前記画像の揺れの有無に関する情報を含む揺れ情報を、当該画像データと関連させて前記データ記憶手段に記録することを特徴としたものである。

第５の技術手段は、第４の技術手段において、前記画像解析手段が、前記データ記憶手段に記憶された画像データの解析を開始する際に前記揺れ情報の記録が検出された場合は、当該揺れ情報に基づいて、前記揺れの有無の判定を行うことを特徴としたものである。

第６の技術手段は、第１乃至第４のいずれか１の技術手段において、前記画像解析手段で解析した画像を一時保存するデータバッファ手段をさらに備えることを特徴としたものである。

第７の技術手段は、第１乃至第６のいずれか１の技術手段において、前記画像解析手段が画像に揺れが有ると判定した場合に、画像に揺れがある旨の警告画面を前記表示装置に表示する警告表示手段をさらに備えることを特徴としたものである。

第８の技術手段は、第２乃至第７のいずれか１の技術手段において、ユーザの入力による設定情報を記録する設定記憶手段をさらに備え、該設定記憶手段が、ユーザが設定した表示装置の画面サイズ、視聴距離、及び／または、前記画像縮小手段による画像の縮小の程度に関する情報を含む前記設定情報を記録し、前記画像処理判定手段が、前記設定記憶手段に記録された設定情報に基づいて、前記縮小率を判定することを特徴としたものである。

第９の技術手段は、第６の技術手段において、ユーザの入力による設定情報を記録する設定記憶手段をさらに備え、該設定記憶手段が表示画像の縮小を行わない旨の前記設定情報を記録した場合、前記画像解析手段における解析動作及び前記データバッファ手段におけるバッファ動作を停止し、画像をそのまま表示装置に表示することを特徴としたものである。

第１０の技術手段は、第７の技術手段においてユーザの入力による設定情報を記録する設定記憶手段をさらに備え、該設定記憶手段が前記警告表示手段による前記警告画面の表示をしない旨の前記設定情報を記録した場合、前記画像解析手段が画像の揺れを検出しても、前記警告手段が前記警告画面の表示をしないことを特徴としたものである。

第１１の技術手段は、第１乃至第１０のいずれか１の技術手段において、画像に揺れが存在する可能性があるかを、属性データに基づいて、判断する可能性判定手段をさらに備え、前記画像解析手段が、前記可能性判定手段が画像に揺れが存在する可能性があると判定した場合に、前記画像データの解析を行うことを特徴としたものである。

第１２の技術手段は、第４の技術手段において、前記画像解析手段が、前記画像データに基づく画像を前記表示装置に出力せずに、前記揺れ情報を当該画像データと関連させて前記データ記憶手段に記録することを特徴としたものである。

第１３の技術手段は、第１乃至第１２のいずれか１の技術手段において、前記画像解析手段が、画像の動きベクトルの方向が、一定時間をとおして画面全体に亘って所定の周期で変化する場合に揺れとして検知することを特徴としたものである。

第１４の技術手段は、第１乃至第１３のいずれか１の技術手段における画像処理装置を備える表示装置である。

本発明の画像処理装置及び表示装置によれば、画像解析手段により画像に揺れが存在すると判定された画像を、その画像自体に対して揺れの補正を行わずに、画像縮小手段によって縮小処理することにより、表示する映像が生体に悪影響を及ぼす可能性を簡易な構成で低減することが可能となる。

（第１の実施の形態）
本発明の第１の実施の形態による画像処理装置について、図１〜図９を参照しながら説明する。図１は、本実施の形態による画像処理装置が適用可能な表示システムの構成を示すブロック図である。図１に示す画像処理装置１００は、画像処理装置１００からの映像（画像）を表示する表示装置２００と接続されることにより表示システムを構成している。

画像処理装置１００は、動画像データを保存しておくためのデータ記憶手段１０１と、動画像データを解析し、画像内に手ぶれのような揺れが存在するかどうかを判定する判定手段である画像解析手段（以下、解析手段という）１０２と、画像に揺れが存在する場合に、揺れが存在することを示す情報を、また、画像に揺れが存在しない場合に、揺れが存在しないことを示す情報を、動画像データに付加するための付加情報記録手段１０３と、表示装置２００に関する情報を取得する表示装置情報取得手段１０４と、解析手段１０２での判定結果と表示装置情報取得手段１０４からの情報とに基づいて画像縮小処理を行うかどうかを判定する画像処理判定手段１０５と、同じく画像に揺れが存在する場合に画像を縮小して表示するための画像縮小手段１０６と、によって構成される。

動画像データは、画像処理装置１００に入力され、データ記憶手段１０１に保存される。ここでは、データ記憶手段１０１はＨＤＤ（ハードディスクドライブ）であるものとし、動画像データはＭＰＥＧ２方式により圧縮符号化されているものとする。動画像データには音声データやテキスト情報なども含まれることがあるが、ここでは画像データを中心として説明を行う。また、動画像データの入力の方法としては、ＨＤＭＩやｉＬＩＮＫなどの各種規格に沿って入力する方法があるが、ここではｉＬＩＮＫ接続によって外部機器から動画像データが入力され、データ記憶手段１０１に保存されるものとする。データ記憶手段１０１は、動画像データの再生指示があった場合や動画像データを新規に保存した際、保存した動画像データを解析手段１０２へと送る。

解析手段１０２は、送られてきた動画像データの解析を行い、動画像データに揺れが存在するかどうかの判定を行う。動画像データ（に基づく画像）に揺れが存在する場合、これを視聴した場合に視聴者が映像酔いを起こす可能性があることが指摘されている。

そこで、画像処理装置１００は、解析手段１０２で画像解析を行うことにより、動画像データ内の揺れを検知する。なお、動画像データは、後述するように、ヘッダ情報と符号化された画像データとから成る。本例の画像処理装置では、この画像データの画像解析を、動画像データを新規にデータ記憶手段１０１に記録した時に行い、そのヘッダ情報に、少なくとも、画像解析により画像データの再生画像内に揺れが検知されたか（すなわち、揺れの有無）を付加情報記録手段１０３により付加情報として記録しておく。動画像データの再生時には、解析手段１０２は、上記付加情報に基づいて、揺れの有無の判定等を行う。これにより、画像データを毎回解析する必要がなくなり、より効率的に揺れが存在する画像の管理を行うことができる。

図２は、解析手段１０２における処理の一例を説明するためのフローチャートである。
まず、動画像データが新規にデータ記憶手段１０１に記憶された時の処理について説明する。この時、解析手段１０２に対し、データ記憶手段１０１から、動画像データが送られてくる。
動画像データを受信した解析手段１０２は、その動画像データについて、ヘッダ情報の解析を行い（ステップＳ１）、付加情報である揺れに関する情報（揺れ情報）がヘッダ情報に記録されているか否か判断する（ステップＳ２）。

図３は、動画像データのファイル構成の一例を示す図である。動画像データ１０は、図示するように、動画像データ１０の画像データを再生するために必要となる画像サイズの情報など各種情報を持ったヘッダ情報と、符号化された画像データである符号化データが多重化されている。動画像データ１０のヘッダ情報には、少なくとも揺れの有無を示す揺れ情報の他、後述の画像作製装置情報を付加することができるようになっている。
動画像データの新規記録時には、ヘッダ情報に揺れ情報は記録されていないので、解析手段１０２は、図２のステップＳ２において、揺れ情報が記録されていない（ＮＯ）と判定し、画像データの復号処理を行い画像の解析を行う（ステップＳ３）。

ここで、画像の解析について説明する。動画像データの画像データを解析して画像内の揺れを検知する解析手段１０２は、画像データの復号処理を行う復号手段１１０を有する。図４は、解析手段１０２における画像の復号手段１１０の構成図である。ＭＰＥＧ２方式により圧縮された動画像データが、あらかじめ逆多重化手段（不図示）によりヘッダ情報が解析されており、揺れ情報がヘッダ情報に記録されていない場合、可変長復号手段１１１によって、可変長符号を復号して、フレーム間／フレーム内予測などの符号化モード情報、量子化係数や動きベクトルを算出する。動きベクトルは１６×１６のマクロブロック単位で算出される。

その後、逆量子化手段１１２によって、量子化係数をＤＣＴ係数に変換し、ＩＤＣＴ手段１１３によって逆離散コサイン変換（Inverse Discrete Cosine Transform）を行い、ブロックごとにそれぞれの画素値に戻す。但し、ＩＤＣＴ手段１１３によって得られた画素値は、フレーム内符号化画像では実際の画素値に、フレーム間順方向予測符号化画像や双方向予測符号化画像では対応する画素値間の差分値となる。動き補償手段１１４では、動きベクトルとフレームメモリ１１５に蓄積された前フレームの復号画像とに基づき、動き補償予測値を算出する。

符号化モードがフレーム内予測であるときは、スイッチ１１６が動き補償手段１１４と切断され、ＩＤＣＴ手段１１３からの出力に対し加算器１１７で加算するものがないので、ＩＤＣＴ手段１１３の出力である画素値を、そのまま（図１の画像処理判定手段１０５に）出力する。加算器１１７からの画素値は、フレームメモリ１１５に復号画像として蓄積する。

また、符号化モードがフレーム間予測であるときは、スイッチ１１６の出力が動き補償手段１１４の出力となるようにして、動き補償手段１１４からの動き補償予測値と、ＩＤＣＴ手段１１３からの上記差分値と、を加算器１１７で加算して、（図１の）画像処理判定手段１０５に出力する。この加算器１１７からの出力もフレームメモリ１１５に復号画像として蓄積する。

このように画像データを復号し画像処理判定手段１０５に出力する復号手段１１０は、揺れ検知手段１１８を用い、各フレームの動きベクトルに基づいて、画像内の揺れを検知することにより、画像に揺れがあるかどうかを判断する。その方法の一例としては、動きのある被写体は画像中央部にあることが多いので、本来動きの少ない画像周辺部の動きベクトルから平均を求め、その動きの方向を検出し、これをフレーム毎に順次検出していき、動きベクトルの方向の変化を見る。例えば左右方向にある一定の周波数で方向の変化が見られた場合には、揺れとして検知し、揺れが存在するものと判定する。上下、あるいは斜め方向にも同様である。

ここで、生体に影響を与える画像の揺れに関しては過去に様々な実験が行われており、０．５Ｈｚから２Ｈｚの時間周波数となるときに映像酔いの程度が大きいとの報告がある。そのため、少なくとも、揺れ検知手段１１８によって検出した揺れの時間周波数が０．５Ｈｚから２Ｈｚとなる場合には、揺れとして検知し、揺れが存在するものと判定する。

動画像データが新規にデータ記憶手段１０１に記憶された時の解析手段１０２における処理（図２）の説明に戻る。上記のような方法により、解析手段１０２は、画像データの復号の際に、動きベクトルに基づいて、揺れの存在を判断する（ステップＳ５）。ステップＳ５において、揺れが存在していた場合（ＹＥＳの場合）、解析手段１０２は、揺れが存在する旨を付加情報記録手段１０３（図１参照）に通知して（ステップＳ８）、処理を終了する。
また、揺れ検知手段１１８の判断の結果、揺れが存在していない場合（ステップＳ５、ＮＯ）、解析手段１０２は、揺れが存在しない旨を付加情報記録手段１０３に通知して（ステップＳ７）、処理を終了する。

揺れが存在する旨や存在しない旨の揺れ有無情報を解析手段１０２（の揺れ検知手段１１８）から受信した付加情報記録手段１０３は、その揺れの有無に関する情報をデータ記憶手段１０１の動画像データにおけるヘッダ情報に、揺れ情報として記録する。

このように、データ記憶手段１０１上に動画像データを保存した時に画像データを画像解析してヘッダ情報に揺れ情報を記録しておくことにより、画像解析は１度だけすればよく、画像解析後はヘッダ情報の解析だけで、当該画像に揺れが存在するかを判断することができる。これにより、再生時に解析のために処理時間がとられることもなくなる。

続いて、データ記憶手段に記憶済みの動画像データの再生指示があった時の解析手段１０２の処理について説明する。この時、解析手段１０２に対し、データ記憶手段１０１から、動画像データが送られてくる。
動画像データを受信した解析手段１０２は、その動画像データについて、ヘッダ情報の解析を行い（ステップＳ１）、付加情報である揺れに関する情報（揺れ情報）がヘッダ情報に記録されているか否か判断する（ステップＳ２）。

動画像データの新規記録時にヘッダ情報に揺れ情報が記録されているので、解析手段１０２は、ステップＳ２において、揺れ情報が記録されている（ＹＥＳ）と判定する。そして、解析手段１０２は、揺れ情報の解析をし、揺れの有無に関する情報を少なくとも含む揺れ関連情報を生成するとともに、画像データの復号処理を行い（ステップＳ４）、復号した画像データと揺れ関連情報とを画像処理判定手段１０５に送り（ステップＳ６）、処理を終了する。

復号した画像データなどを受信した画像処理判定手段１０５は、送られてきた画像データに揺れが存在しない場合（すなわち、揺れが存在しない旨の情報を受信した場合）には、そのまま表示装置２００へとデータを送り、画像が表示される。
一方、画像データに揺れが存在する場合（すなわち、揺れが存在する旨の情報を受信した場合）には、画像処理判定手段１０５は、表示装置情報取得手段１０４から表示装置２００の画面サイズに関する情報を取得し、復号された画像データを縮小処理するかどうかを判断する。例えば表示装置の画面サイズが小さく、縮小処理しないと判定した場合は、画像処理判定手段１０５は、上述の場合と同様に、復号された画像データをそのまま表示装置２００へと送り、表示装置２００にはその画像データに基づいた画像が表示される。

また、縮小処理すると判定された場合は、画像処理判定手段１０５は、例えば、上記画面サイズに関する情報に基づいて、表示装置２００に表示する表示画像の縮小率を決定し、縮小率を示す縮小率情報と復号された画像データとを画像縮小手段１０６に送信する。画像縮小手段１０６では、受信した縮小率情報に基づいて上記画像データの縮小処理を行い、縮小処理を行った画像データを表示装置２００へと送る。これにより、表示装置２００には、揺れがある画像を縮小した状態で表示することができる。
なお、画像縮小手段１０６が、画像処理判定手段１０５から画面サイズに関する情報を受信し、その情報に基づいて、画像の縮小率を決定してもよい。

次に、画像の縮小率に関して説明する。
画像による映像酔いには、画角が大きく関連しており、画角が大きくなるほど揺れが映像酔いを引き起こす可能性が高まる。ハイビジョン画像の規定策定にあたり、臨場感と画角、画面サイズの関係に関して様々な実験がこれまでに行われてきている。図５は、画角と臨場感の関係の一例を示す図である。半球状のスクリーンに、魚眼レンズによって撮影した風景画像を傾けて提示し、そのとき観察者が自分が傾いているように感じるかどうかを主観評価によって調査したものであり、横軸が提示画像の画角、縦軸がどの程度傾いて見えるかを示している。２０°以下の狭い画角の画像では映像が傾いて提示されると感じるだけで、１００°以上の広い画角の画像では傾いていると感じる度合いは飽和している。これらの結果に基づき、視聴時の画角は３０°程度が望ましいとされており、ハイビジョン画像でも考慮されている。

また、図６は、人間の目の視野の範囲を示す図であり、２１は誘導視野、２２は有効視野、２３は弁別視野を示している。誘導視野２１は、提示された情報の存在が判定できる程度の識別能力しかないが人の空間座標間隔に影響を与える範囲であり、弁別視野２３は、視力、色弁別などの視機能が優れ、高精度に情報受容可能な範囲である。また、有効視野２２は、眼球運動だけで情報注視し、瞬時に特定情報を受容できる範囲であり、これが３０°であることからも、３０°程度以上の画角を有する画像から臨場感が高まることが分かる。よって、画角を３０°以下にすることにより影響を軽微にできる。揺れを検知した場合には、例えば、後述するように、画角３０°の距離から視聴していると想定し、その距離時に２０°以下の画角となるよう縮小処理を行うことにより、揺れの存在する画像において映像酔いを引き起こすのを防止することが可能となる。

また、画面が大画面となるほど、つまり、画像の大きさが大きくなるほど、画角が同じであっても臨場感が増すことが知られている。図７は、画角３０°のときの画面の面積と臨場感との関係を示しており、また、視聴者の主観評価により調査したものである。図７は、横軸が面積で縦軸がスコアの高さを示しており、上にいくほど臨場感が高いことを示している。よって、画像を縮小処理する際、大画面であるほど縮小するように制御することで、より映像酔いの発生を防止することが可能となる。

以下に画像縮小処理における一例を示す。ここでは、表示装置２００が対角４２インチの液晶テレビであるとする。このとき、三平方の定理により画面の縦のサイズＨは約５２ｃｍ、横のサイズＷは約９３ｃｍとなる。図８に示すように、この横幅Ｗから画面の水平方向の画角Ａが３０°となるときの視聴者３０と画面４０との距離（視聴距離）を求めると、視聴距離Ｄは約１７３ｃｍ程度となる。この視聴距離のときに、画像の画角が２０°となる画像の大きさを前述のように三平方の定理により求めると、縮小後の表示部上の画像の横幅は６１ｃｍとなる。よって、縮小後の画像の横幅（６１ｃｍ）と画面の横幅Ｗ（９３ｃｍ）との比をとり、元の表示サイズの約０．６９倍に縮小すればよいこととなる。

上記例では４２インチの表示領域を有する表示装置（以下、４２インチの表示装置、などと省略する）で画角が２０°となるように画像を縮小する例を示したが、前述の大画面であるほど臨場感が高まる点を考慮し、たとえば３０インチの表示装置を基準に取り、サイズが１０インチ上がるごとに縮小の幅を増加させ、４０インチのものでは０．６９倍よりも小さく０．６４倍に、５０インチのものでは０．５９倍に、といったように画面サイズが大きくなるほど画像を縮小するように制御してもよい。これにより、大画面になり臨場感が高まった場合でも、効果的に映像酔いを防止することが可能となる。

なお、ここでの表示装置２００としては、液晶テレビに限らずＣＲＴや液晶ディスプレイ、ＰＤＰ（プラズマディスプレイパネル）等がある。また、画面サイズの取得方法としては、例えばＨＤＭＩ接続によって表示装置情報取得手段１０４と表示装置２００が接続されていたとすると、コントロール信号によって画面サイズの情報をやり取りする、あるいは機種情報をやり取りし、この情報から画面サイズを推定するなどの方法がある。また、これらの情報を手動で設定できるようにしても良い。また、ここでの画面サイズとは、表示装置側で表示エリアを変更可能な場合には、表示装置の画面サイズに限らず、その時設定されている表示エリアとしてもよい。
また、ここでは画面サイズに応じた縮小率の変化を１０インチ毎に０．６９倍、０．６４倍などとしたが、縮小率の変化はこれに限定されるものではない。
また、縮小率は、例えば、ユーザが設定する大，中，小，等の入力より縮小率の変化の度合いを変えることもできる。

以上のように、揺れの検知を行うと共に、表示装置の画面サイズに応じて縮小処理を画像に施すことにより、映像に映像酔いを引き起こすような揺れが含まれていた場合にも、生体への影響を未然に防止することが可能となる。また、画像自体に補正等を行うことがないため、補正により防止する場合に比べ構成が簡易であり、元々の画像自体が変えられてしまうこともなく、生体への影響を抑えながら本来の内容を確認できるといった利点がある。

さらに、本実施の形態の画像装置では、画像を表示する表示装置の情報を取得する表示装置情報取得手段を備えているので、表示装置の表示画面サイズが閾値以上である場合に、縮小処理を行うことにより、よりユーザの視聴環境に応じて柔軟に生体への影響防止を図ることができる。

また、本実施の形態の画像形成装置では、動きベクトルに基づいて揺れを検知しているが、この揺れの検知の際に、動きベクトルの大きさ、すなわち揺れの大きさも同時に検知し、この揺れの大きさに基づいて、縮小処理の際の縮小率を決定してもよい。
揺れの周波数が同じであっても、揺れの振幅が大きくなると映像を追従するときの目の追従距離が増えるため、生体への影響は増加する。そのため、例えば揺れの振幅が画素値で表現して５０画素、３０画素、１０画素のものがあったとすると、５０画素のものがもっとも影響度が高い。よって、揺れの振幅が５０画素以上のときは縮小の大きさを「大」とし、３０画素以上のときは「中」、１０画素以上のときは「小」とする。このように、振幅の度合いから生体への影響度を推測し、自動で縮小の大きさすなわち縮小度を変更することで、ユーザが特に設定すること無く、自動で生体への影響を防止できると共に、最小限の縮小度とすることができ、生体への影響を防止しながらできる限り大画面での視聴をすることが可能となる。

揺れの振幅に応じて画像の縮小度を変える場合の画像処理装置１００における処理の一例について説明する。
解析手段１０２は、動画像データがデータ記憶手段１０１に記録された時に、その画像データについて画像解析を行い、画像に揺れが検知された場合は、揺れ有りの旨と揺れの振幅とを付加情報記録手段１０３に送る。この場合、付加情報記録手段１０３では、揺れありの旨の情報及び揺れの振幅の情報を、揺れ情報として、動画像データのヘッダ情報に記録する。

この動画像データについて再生指示があった際には、解析手段１０２は、ヘッダ情報を解析し、揺れ有無情報及び揺れの振幅の情報を含む揺れ関連情報を生成すると共に、画像データを復号して、この揺れ関連情報と復号した画像データとを画像処理判定手段１０５に送る。
そして、画像処理判定手段１０５は、送られてきた揺れ関連情報に揺れが存在する旨の揺れ有無情報がある場合は、揺れ振幅情報（すなわち、揺れの振幅の大きさ）に基づいて、例えば、揺れの振幅が大きければ０．４倍、中程度であれば０．６倍、小さければ０．８倍というように、表示画像の縮小率を決定する。また、画像処理判定手段１０５は、縮小率を示す縮小率情報を、復号した画像データと共に、画像縮小手段１０６へ送る。画像縮小手段１０６は、受信した縮小率情報に基づいて、画像データの縮小処理を行う。

また、画像処理判定手段１０５が、揺れ関連情報に基づいて、縮小の程度（「大」，「中」，「小」）を決定し、縮小の程度を示す情報と復号した画像データを画像縮小手段１０６に送るようにしてもよい。この場合、画像縮小手段１０６は、例えば、送られてきた縮小の程度を示す情報を元に、縮小の程度が「大」であれば、０．４倍の縮小率の縮小処理を画像データに行い、「中」であれば０．６倍、「小」であれば０．８倍の縮小処理をもとの画像データに対し行い、表示装置２００へと送り、画像を表示させる。
ここでは、揺れにおける振幅の閾値として５０画素等に設定したが、これらの数値に限定されるものではない。

なお、振幅に代えて、周波数の速さに応じて、縮小率を決定してもよい。例えば、画像を解析し、０．５Ｈｚから２Ｈｚであった場合には縮小率を大きくし、それ以外の周波数ではあるが、揺れがあると判断された場合には縮小率は小さいものの縮小処理を行う。
また、空間周波数の解析を行い、空間周波数に応じて縮小率を変えるようにしてもよい。空間周波数とは、画像の複雑さを表すものであり、画像が複雑、すなわち画面内の相関が低い場合に空間周波数は高くなる。画像が複雑であるほど生体への影響も大きくなるので、空間周波数が高い場合に縮小率が大きくなるようにしてもよい。
上記の周波数の速さや空間周波数についても、揺れ情報としてヘッダ情報に記録しておくことが好ましい。

また、ここでは、処理時間の短縮のために揺れ情報を画像データと関連させて記憶する際に、揺れ情報を各動画像データのヘッダ情報に記録するようにしたが、別に管理用のデータファイル（以下、管理ファイルという）を準備し、そこに動画像データ毎に、揺れが存在するか否か等の揺れ情報を記録しておくようにしてもよい。この場合も、動画像データの新規記録時に、当該データに基づく再生画像の解析を行うことが好ましく、その解析結果を動画像データのタイトル等と共に管理ファイルに記録しておくとよい。

管理ファイルの一例を図９に示す。管理ファイル５０では、例えば、図示するように、各データを判別する為のデータＩＤと、各データのタイトル、揺れの有無を管理している。また、ここでは、フラグが１のとき揺れ有り、０の場合揺れなしとする。新たにヘッダ情報として記録する場合、対応していない機器等では問題を引き起こす可能性があるが、データ記憶手段１０１等の記憶手段上にこのようなデータファイルを別ファイルとして記録しておくことにより、このような問題を回避することが可能となる。なお、各データの判別と揺れの有無等の揺れに関する情報とが判断できればよく、データファイルの形式はここで示したものに限定されるものではない。

なお、このように、揺れの有無について記載した管理用のデータファイルを動画像データとは別にデータ記憶手段１０１に記録していた場合、揺れが存在するか否かの判断のために、例えば、解析手段１０２は、動画像データとともに、データＩＤ等の動画像データ情報を取得する。そして、解析手段１０２は、データ記憶手段１０１内の管理ファイルを参照して、取得した動画像データ情報について、その動画像データに揺れが存在するか判断する。

また、カメラなどの動画像データを作成する画像作成装置側でヘッダ情報に画像作成装置に関する情報（画像作成装置情報）を属性データとして記録しておくようにしておき、画像処理装置側のデータ記憶手段に画像作成装置情報一覧情報を保存するようにしてもよい。そして、画像処理装置を、画像に揺れが存在する可能性があるかを判断する可能性判定手段（不図示）を備えるような構成として、この可能性判定手段により、揺れの解析を行う前にヘッダ情報を解析し、画像作成装置情報と画像作成情報一覧情報とに基づいて、揺れが存在する可能性があるかどうかを判定することができる。この場合、例えば、動画像データを作成した機器が民生用ビデオカメラである場合、手ぶれが存在する可能性があるが、民生用のハードディスクレコーダ等で作成されたデータであれば、放送波を録画していると考えられ、放送波では手ぶれの可能性は低いため解析を行わないといった処理を行うことが可能となる。これにより無駄な解析を行う必要がなくなり、消費電力の削減等につながる効果がある。ヘッダ情報に画像作成装置に関する情報のかわりに、放送波かどうかを判定するフラグのみを記録するようにしてもよい。

また、ここでは動画像データ形式をＭＰＥＧ２としたが、動きベクトルを利用した任意の符号化データにおいても同様である。また、動画形式がＭＰＥＧ４であった場合には、マクロブロック単位での動き補償だけでなく、グローバル動き補償と呼ばれる、画面（画像）全体の動きをアフィン変換等によって表現して補償する方法が採用されている。この場合、この画面（画像）全体の動きであるグローバルモーションとして、パンやチルト、ズームといった揺れに関する情報を持っているため、パンあるいはチルトに関して時間周波数解析することにより、揺れを検出するようにしても良い。

また、ここでは揺れを検知する時間周波数を０．５Ｈｚから２Ｈｚとしたが、より安全性を高める為、これより広い時間周波数範囲で揺れを検知するように設定してもよい。前述のグローバルモーションを利用したものでは、０．１Ｈｚから３Ｈｚの範囲で生体に影響があるとの報告があり、この範囲に設定するようにしてもよい。

なお、本実施形態の画像処理装置を、後述する第２の実施の形態による画像処理装置と同様に、警告表示手段、設定記憶手段、入力手段及び距離情報取得手段の少なくともいずれか一つを備えるような構成として、各手段からの情報に基づいて、表示画像の縮小率を決定したり、表示画像の縮小処理を行うかを決定したりするようにしてもよい。

（第２の実施の形態）
本発明の第２の実施の形態による画像処理装置について、図１０〜図１２を参照しながら説明する。図１０は、本実施の形態による画像処理装置が適用可能な表示システムの構成を示すブロック図である。図１０に示す画像処理装置３００は、第１の実施の形態のものと同様な表示装置２００と接続されることにより表示システムを構成している。

画像処理装置３００は、図示するように、動画像データを解析し、画像内に手ぶれのような揺れが存在するかどうかを判定する画像解析手段（以下、解析手段という）３０１と、解析手段３０１からの画像データを一時保存しておくデータバッファ手段３０２と、画像縮小処理を行うかどうかを判断し、画像縮小サイズを判定する画像処理判定手段３０３と、画像に揺れが存在する場合に表示装置２００に警告表示させるための警告表示手段３０４と、画像の縮小処理を行う画像縮小手段３０５と、ユーザによる画像縮小処理に関する設定等の為の入力手段３０６と、上記設定の情報（設定情報）を保存しておく設定記憶手段３０７と、表示装置２００に関する情報を取得する表示装置情報取得手段１０４と、からなる。

画像処理装置３００に入力される動画像データは、第１の実施の形態の動画像データと同様に、ＭＰＥＧ２方式により圧縮符号化されているものとする。

動画像データが解析手段３０１に入力されると、解析手段３０１は、揺れを検知するために、第１の実施の形態の場合と同様な画像解析を開始する。
解析手段３０１は、復号した画像データをデータバッファ手段３０２に一時的に保存しておくとともに、解析結果の、少なくとも揺れの有無の情報を含む揺れ関連情報を、画像処理判定手段３０３へと送る。

画像処理判定手段３０３は、データバッファ手段３０２に保存されたある一定時間の画像データに揺れが存在しない場合（例えば、揺れが存在する旨の情報を一定時間受信しない場合）には、保存した画像データを時間的に早い位置から表示装置２００へと映像を送り、表示装置２００に表示させる。また、揺れが存在する旨の情報が送られてきた場合には、画像処理判定手段３０３は、記憶手段に記憶されている、または、表示装置情報取得手段１０４が取得している表示装置の表示領域の大きさ（画面サイズ）の情報を読み出す。このときに、入力手段３０６を介して縮小処理に関してユーザによりあらかじめ設定されている場合には、画像処理判定手段３０３は、設定記憶手段３０７から、設定情報（縮小設定情報）を呼び出し、設定されている縮小設定情報に基づいて、縮小するか否かや縮小の程度等を決定する。
なお、データバッファ手段３０２は、０．１Ｈｚの揺れを検知するために必要な時間以上のデータバッファ容量を有している。

図１１は、ユーザが縮小設定情報を設定するための設定画面の一例を示す図である。ユーザは、表示装置２００の表示部に表示される設定画面６０を介して、揺れが存在する場合に縮小処理を行うかどうか、縮小処理を行う際に警告を表示するかどうか、縮小処理を行う際にどの程度縮小するか、通常の視聴距離はどれくらいか、といった情報を設定する。ユーザは、この設定画面６０に対して、画像処理装置３００に備わるボタンやリモコンを操作することにより、入力手段３０６から縮小設定情報の設定を行うことができる。

縮小処理を行わないと縮小設定情報に設定されている場合には、画像処理判定手段３０３は、動画像データに揺れが存在しても、そのまま表示装置２００へと映像信号を送る。
縮小処理を行い、警告の表示は行わないと縮小設定情報に設定されている場合は、画像処理判定手段３０３は、設定情報と画面サイズの情報とに基づいて画像の縮小度を算出し、その縮小度を示す縮小度情報と動画像データとを画像縮小手段３０５へ送る。

縮小処理を行い、かつ警告を表示すると縮小設定情報に設定されている場合には、画像処理判定手段３０３は、例えば、表示装置２００への映像信号の送信を一時停止し、警告表示手段３０４に警告画面を表示するよう指示する。警告表示手段３０４は、警告画面のデータを、表示装置２００に送信し、表示装置２００に警告画面を表示させ、その後の再生画像に揺れが存在することをユーザに通知する。ユーザが、この警告画面に対し、例えば、画像処理装置３００に付属するリモコンなどのを介して、縮小処理を行うことを選択した場合には、画像処理判定手段３０３は、設定情報と画面サイズの情報とに基づいて画像の縮小度を算出し、その縮小度を示す縮小度情報と動画像データとを画像縮小手段３０５へ送る。

画像縮小手段３０５は、画像処理判定手段３０３からの縮小度情報に基づいて、送られてきた動画像データの縮小処理を行い、そのデータを表示装置２００へと送り、縮小した画像を表示させる。図１１で示したように、ユーザが設定できる縮小の大きさは、ここでは「大」、「中」、「小」と３段階となっており、通常の視聴距離がユーザによって設定されている。第１の実施の形態の説明で、画角が３０°以上となると臨場感が高くなっていくことを示した。そのため、あらかじめ設定されたユーザの視聴距離情報を元に、３０°以下となるように画像を縮小することで、映像酔いの可能性を低減できる。

縮小の大きさが「中」のときに３０°の画角となるよう縮小するとすると、例えば、視聴距離が１メートル、画面サイズが４０インチの場合、画面の横幅は約０．８９メートルであることから、１メートルの距離から画角３０°にするためには横幅約０．５４メートル、すなわち約０．６１倍に縮小することとなる。また、設定された縮小の大きさが「大」のときには、第１の実施の形態で示したとおり２０°以下にするものとすると、縮小率を約０．４０倍にして縮小することとなる。設定が「小」であれば、縮小率を０．８０倍にして縮小することとなる。生体への影響は個人差があり、人によって酔いやすいかどうか、また視聴者の年齢などによっても変わってくるが、ユーザによって設定された情報（縮小の大きさ、距離）を元に、縮小度（縮小率）を設定可能とすることで、ユーザの環境にあった適切な制御をすることが可能となる。

なお、ここで示した縮小率の倍率は一例であり、より生体への影響を防止するため縮小率を上げたり、各設定での縮小率を変更したりしても良く、より縮小率を細分化するようにしてもよい。

また、縮小処理を行わないと縮小設定情報に設定されている場合には、画像処理装置３００において、設定記憶手段３０７から縮小処理を行わない旨を受信するように解析手段３０１を構成し、解析手段３０１での画像解析、データバッファ手段３０２へのデータ保存も行わないようにしてもよい。これにより実際に入ってくる動画像データの表示までの遅延が防止できる。

また、図１１で示した設定項目は一例であり、このほかにも設定できるようにしてもよい。また、縮小処理をはじめとする設定の入力は、本体のボタン等を通して設定しても、画像処理装置３００に付属するリモコンを利用して行ってもよい。また、たとえ設定上で縮小処理を行うようになっていても、ユーザがそのときの状況に応じて縮小処理を行わないようにするなど、簡易な手段で切替が可能となるようリモコンから縮小処理を行うかどうかを瞬時に切り替え可能にしておいてもよい。これにより、複数のユーザが使う場合などに、瞬時にユーザに応じた条件に合わせることが可能となる。

また、ここではユーザによって視聴距離情報を入力するようにしたが、距離センサを用いて自動で距離を判別するようにしてもよい。図１２はそのときのブロック図を示している。このときの表示装置２００’は、表示装置２００’前方の物体に関する距離を測定する距離センサ２０１を備え、画像処理装置３００’は、表示装置２００’の画面と視聴者との間の距離を示す視聴距離情報を距離センサ２０１から取得する距離情報取得手段３０８を備えている。

ここでは、距離センサ２０１は、被写体の画像に加えて被写体までの距離も同時に計測するものとする。距離センサ２０１は、ＣＭＯＳセンサと赤外線ＬＥＤからなり、距離の測定にはＣＭＯＳセンサの周辺に装着されたＬＥＤから近赤外線を照射し、その反射光をＣＭＯＳセンサが受光するまでの時間を使用して算出する。この際、顔輪郭モデルと輪郭周辺の明るさの変化の規則に基づく方法によって顔を抽出し、そこまでの距離を視聴距離として使用する。視聴者が複数存在する場合には、もっとも近い人の距離を視聴距離情報として用いることで、視聴者全員が安全に映像を視聴することが可能となる。このように、距離センサを用いることでユーザが都度視聴距離情報を入力することなく自動で縮小処理に関する判断をすることが可能となる。ここでは、被写体の画像と距離により判別することで精度が高いが、コスト等を考慮し単純に付近の物体までの距離のみを測定するセンサを用いて簡易的に実現してもよい。

本実施の形態では、動画像データの再生時に常に揺れの検知を行うので、あらかじめ揺れの有無を検出していない動画像データについても直ちに再生することができる。
一般的に、ホームビデオカメラで撮像された動画像データは、データ全般に亘って揺れを伴っているものと推定されるので、再生開始に揺れが検知されれば直ちに画像を縮小処理して再生することになる。

また、本実施の形態の画像処理装置も、第１の実施の形態のものと同様に、画像に揺れが存在する可能性があるかを判断する可能性判定手段を備えるような構成としてもよい。

また、本実施の形態において、動画像データは、第１の実施の形態と同様に、ＭＰＥＧ２方式により圧縮符号化されているものとしたが、既にデコード処理が行われたアナログ信号が輝度信号Ｙ、色差信号Ｃｂ、色差信号Ｃｒとして入力されるものとしてもよい。この場合、解析手段３０１は、入力された画像信号をＭＰＥＧ２方式にエンコードする場合と同様の方法により、マクロブロック毎の動きベクトルを算出して、上述の方法と同様にして、揺れを検出することができる。

なお、データバッファ手段を備える本実施の形態の画像形成装置においても、第１の実施の形態のものと同様に、揺れの振幅の大きさや、揺れの周波数、空間周波数等に基づいて、表示画像の縮小率を決定してもよい。

本発明は、上述した実施の形態に限定されるものではなく、上述の実施の形態の画像処理装置が備える各手段の機能を有する表示装置も本発明を構成することになる。
また、本発明は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係る第１の実施の形態の画像処理装置が適用可能な表示システムの構成を示すブロック図である。 図１の解析手段１０２における処理の一例を説明するためのフローチャートである。 動画像データのファイル構成の一例を示す図である。 図１の解析手段１０２における画像の復号手段の構成図である。 画角と臨場感の関係の一例を示す図である。 人間の目の視野の範囲を示す図である。 画面の面積と臨場感との関係を示す図である。 視聴距離と画角の関係を示す図である。 管理ファイルの一例を示す図である。 本発明に係る第２の実施の形態の画像処理装置が適用可能な表示システムの構成を示すブロック図である。 ユーザが縮小設定情報を設定するための設定画面の一例を示す図である。 本発明に係る第２の実施の形態の画像処理装置の別の例を説明する図である。

符号の説明

１００…画像処理装置、１０１…データ記憶手段、１０２…画像解析手段、１０３…付加情報記録手段、１０４…表示装置情報取得手段、１０５…画像処理判定手段、１０６…画像縮小手段、１１０…復号手段、１１１…可変長復号手段、１１２…逆量子化手段、１１３…ＩＤＣＴ手段、１１４…補償手段、１１５…フレームメモリ、１１６…スイッチ、１１７…加算器、１１８…揺れ検知手段、２００…表示装置、２０１…距離センサ、３００…画像処理装置、３０１…解析手段、３０２…データバッファ手段、３０３…画像処理判定手段、３０４…警告表示手段、３０５…画像縮小手段、３０６…入力手段、３０７…設定記憶手段、３０８…距離情報取得手段。

Claims (14)

1. 画像の揺れの有無を判定する画像解析手段と、画像を縮小する画像縮小手段とを備え、
   前記画像解析手段により画像に揺れが有ると判定された場合に、前記画像縮小手段で縮小した画像を表示装置に出力することを特徴とする画像処理装置。
2. 前記画像縮小手段による画像の縮小率を判定する画像処理判定手段を更に備え、
   該画像処理判定手段は、前記画像解析手段により画像に揺れが有ると判定された場合に、前記表示装置の表示画面サイズに基づいて、前記縮小率を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示装置に関する情報を取得する表示装置情報取得手段をさらに備え、
   前記画像処理判定手段は、前記表示装置情報取得手段が取得した前記情報に基づいて、前記縮小率の判定を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像解析手段は、データ記憶手段に記憶された画像データを解析して画像の揺れを検出し、該検出結果に基づく前記画像の揺れの有無に関する情報を含む揺れ情報を、当該画像データと関連させて前記データ記憶手段に記録することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記画像解析手段は、前記データ記憶手段に記憶された画像データの解析を開始する際に前記揺れ情報の記録が検出された場合は、当該揺れ情報に基づいて、前記揺れの有無の判定を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像解析手段で解析した画像を一時保存するデータバッファ手段をさらに備えることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
7. 前記画像解析手段が画像に揺れが有ると判定した場合に、画像に揺れがある旨の警告画面を前記表示装置に表示する警告表示手段をさらに備えることを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
8. ユーザの入力による設定情報を記録する設定記憶手段をさらに備え、
   該設定記憶手段は、ユーザが設定した表示装置の画面サイズ、視聴距離、及び／または、前記画像縮小手段による画像の縮小の程度に関する情報を含む前記設定情報を記録し、
   前記画像処理判定手段は、前記設定記憶手段に記録された設定情報に基づいて、前記縮小率を判定することを特徴とする請求項２〜７のいずれかに記載の画像処理装置。
9. ユーザの入力による設定情報を記録する設定記憶手段をさらに備え、
   該設定記憶手段が表示画像の縮小を行わない旨の前記設定情報を記録した場合、前記画像解析手段における解析動作及び前記データバッファ手段におけるバッファ動作を停止し、画像をそのまま表示装置に表示することを特徴とする請求項６に記載の画像処理装置。
10. ユーザの入力による設定情報を記録する設定記憶手段をさらに備え、
    該設定記憶手段が前記警告表示手段による前記警告画面の表示をしない旨の前記設定情報を記録した場合、前記画像解析手段が画像の揺れを検出しても、前記警告手段は前記警告画面の表示をしないことを特徴とする請求項７に記載の画像処理装置。
11. 画像に揺れが存在する可能性があるかを、属性データに基づいて、判断する可能性判定手段をさらに備え、
    前記画像解析手段は、前記可能性判定手段が画像に揺れが存在する可能性があると判定した場合に、前記画像データの解析を行うことを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
12. 前記画像解析手段は、前記画像データに基づく画像を前記表示装置に出力せずに、前記揺れ情報を当該画像データと関連させて前記データ記憶手段に記録することを特徴とする請求項４に記載の画像処理装置。
13. 前記画像解析手段は、画像の動きベクトルの方向が、一定時間をとおして画面全体に亘って所定の周期で変化する場合に揺れとして検知することを特徴とする請求項１〜１２のいずれかに記載の画像処理装置。
14. 請求項１〜１３のいずれかに記載の画像処理装置を備える表示装置。

Images