JP2013135277A

JP2013135277A - 画像処理装置及び画像処理方法

Info

Publication number: JP2013135277A
Application number: JP2011283374A
Authority: JP
Inventors: Yoshiro Murakami; 芳郎村上
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2013-07-08
Anticipated expiration: 2031-12-26
Also published as: JP5899910B2

Abstract

【課題】２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、観察者の負担を減少させる。
【解決手段】切換点検出部２０１は、２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する。視差量導出部２０２は、切り換わり点以後の所定の３Ｄ画像データにおける視差量を導出する。視差量判定部２０３は、視差量が所定値を超えているか否かを判定する。奥行き推定データ生成部２０４が、切り換わり点より後の所定の３Ｄ画像データについて左右眼画像データの何れかから奥行き推定データを生成する。画像変換部１０３は、視差量が所定値を超えていると判断された場合は、切り換わり点より後の所定時間に亘って、３Ｄ画像データのかわりにその３Ｄ画像データの左右眼用画像データの何れかを、奥行き推定データから導出される視差量よりも小さい視差量を有する３Ｄ画像データに変換する。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、より詳細には２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、観察者の負担を減少させることができる画像処理装置及び画像処理方法に関する。

近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。

３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。

また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。

これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるように知覚されるかは、左眼用画像におけるその被写体画像と右眼用画像におけるその被写体画像との間の水平方向の視差（以下、単に「視差」と記載することもある。）によって決定される。

なお、以下では、３Ｄ画像において、被写体画像が観察者からみてディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、及びディスプレイ面に対しどの程度後方に引き込んでいるように知覚されるかを、立体感と呼ぶこととする。

また、以下では、上記の通り左眼用画像と右眼用画像との間の視差に立体感を有する視覚効果のある画像を３Ｄ画像というのに対し、このような立体感を有する視覚効果のない画像を２Ｄ画像という。

ここで、２Ｄ画像と３Ｄ画像とが混在している画像コンテンツがディスプレイ等で、順次再生表示されている場合、表示される画像が２Ｄ画像から３Ｄ画像に切り換わってすぐのタイミングで、その３Ｄ画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像、すなわち立体感の大き過ぎる画像が存在すると、観察者に負担を掛ける可能性があるという問題が有る。

それまで２Ｄ画像の観察に慣れていて、観察者がまだ３Ｄ画像の観察に慣れていない段階で立体感が大き過ぎる画像が表示されると、その観察者の目に負担を与える可能性があるからである。

上記問題を解決する手段として、例えば特許文献１には、２Ｄ画像を放送しているチャンネルから３Ｄ画像を放送しているチャンネルに切り換った場合に、３Ｄ画像を構成する左眼用画像と右眼用画像との間の視差量が、時間を掛けて順次大きくなるように制御することで、急激な変化を抑圧し、自然な切り換りを実現する立体映像表示装置が記載されている。

また、特許文献２には、２Ｄ画像と３Ｄ画像とが混在した画像を順次入力して再生する際に、入力された画像が２Ｄ画像であると判定されると、その入力された２Ｄ画像を所定の視差の大きさだけ一律に左右方向にシフトしてなる複数の視差画像を生成し、表示することで立体的な視覚的効果を有する画像のみを再生して観察者の疲労感を軽減することができる３次元画像表示装置が記載されている。

特開平１１−１６４３２８号公報特開２０１０−１８３２６７号公報

しかし、上記特許文献１には、立体映像表示装置が、如何にして時間をかけて順次視差量が増加していく３Ｄ画像を生成するかの詳細について具体的な開示がない。

一方で、単に３Ｄ画像を構成する左眼用画像と右眼用画像との間の視差量を順次増加させるだけでは、変化させている間の３Ｄ画像が違和感のある画像となる可能性がある。例えば、切り換わり後の本来の被写体画像の視差量が所定時間かけて減少する変化をするような場合に、上記立体映像表示装置では本来の３Ｄ画像と制御された３Ｄ画像との間で視差量の増減変化が逆になり、表示される３Ｄ画像が違和感を持ったものとなってしまうという問題が推察される。

また、上記特許文献２に記載の３次元画像表示装置では、本来２Ｄ画像として再生されるべき画像を全て擬似的な３Ｄ画像に変換しているため、観察者は全ての２Ｄ画像を３Ｄ画像としてしか観察できないという問題がある。

そこで、本発明は、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力して観察者の目を慣れさせることで、その観察者の負担を減少させることができることができる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するため、本発明は、２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出部（２０１）と、前記切換点検出部（２０１）が検出した切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部（２０２）と、前記視差量導出部（２０２）が導出した視差量が所定値を超えているか否かを判定する視差量判定部（２０３）と、前記切り換わり点検出部（２０１）が検出した切り換わり点より後の所定の前記３Ｄ画像データについて、その３Ｄ画像データにおける左眼用画像データ及び右眼用画像データのうちの少なくとも何れかから奥行き推定データを生成する奥行き推定データ生成部（２０４）と、前記視差量判定部（２０３）が、前記視差量導出部（２０２）が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部（２０１）が検出した切り換わり点より後の所定時間に亘って、前記３Ｄ画像データのかわりにその３Ｄ画像データにおける左眼用画像データ又は右眼用画像データの何れかを、前記奥行き推定データから導出される視差量よりも小さい視差量を有する３Ｄ画像データに変換する画像変換部（１０３）とを有することを特徴とする画像処理装置を提供する。

上記画像処理装置（１）において、上記画像変換部（１０３）は、上記切換点検出部（２０１）が検出した切り換わり点より後の所定時間に亘って、上記奥行き推定データから導出される視差量を一定の割合に減じた視差量を有するように前記左眼用画像データ又は右眼用画像データの何れかを３Ｄ画像データに変換するようにしても良い。

上記課題を解決するため、本発明はさらに、２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記切り換わり点検出ステップで検出された切り換わり点より後の所定の前記３Ｄ画像データについて、その３Ｄ画像データにおける左眼用画像データ及び右眼用画像データのうちの少なくとも何れかから奥行き推定データを生成する奥行き推定データ生成ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より後の所定時間に亘って、前記３Ｄ画像データのかわりにその３Ｄ画像データにおける左眼用画像データ又は右眼用画像データの何れかを、前記奥行き推定データから導出される視差量よりも小さい視差量を有する３Ｄ画像データに変換する画像変換ステップとからなる画像処理方法を提供する。

上記画像処理方法において、上記画像変換ステップは、上記切換点検出ステップで検出された切り換わり点より後の所定時間に亘って、上記奥行き推定データから導出される視差量を一定の割合に減じた視差量を有するように上記左眼用画像データ又は右眼用画像データの何れかを３Ｄ画像データに変換するようにしても良い。

本発明に係る画像処理装置及び画像処理方法によれば、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力して観察者の目を慣れさせることで、その観察者の負担を減少させることができる。

本発明の実施形態に係る画像処理装置１の概略的な内部構成を示すブロック図である。画像処理装置１の視差量導出部２０２による左眼用画像及び右眼用画像の視差ベクトルの導出について説明するための概念図である。左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。画像処理装置１の画像変換部１０３が元の画像データを３Ｄ画像データに変換する際に使用する基本奥行きモデルの模式図である。画像変換部１０３が各被写体画像データに係るテクスチャを配置する際に使用する視差量について説明するための図である。画像処理装置１が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。画像処理装置１の一時記憶部１０２が一時記憶する画像データの概念図である。表示される画像が２Ｄ画像から３Ｄ画像に切り換わる様子の模式図である。

以下に図面を参照しながら、本発明に係る画像処理装置及び画像処理方法の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（画像処理装置１）
本実施形態の画像処理装置１は、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力して観察者の目を慣れさせることで、その観察者の負担を減少させることができる。以下、このような画像処理装置１について詳述する。

図１は、画像処理装置１の概略的な内部構成を示すブロック図である。図１では、処理信号が実線で、データの流れが破線で示されている。

図１に示すように、画像処理装置１は、画像データ入力部１０１、一時記憶部１０２、画像変換部１０３、画像データ出力部１０４、操作部１１０、及び中央制御部２００を含んで構成される。

中央制御部２００は、ＣＰＵ（Central Processing Unit）、各種プログラム等が格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、画像データの入出力処理、２Ｄ画像データから３Ｄ画像データへの切り換わり点の検出処理、３Ｄ画像の視差の導出及び判定処理、及び左右眼画像データの何れかの画像データの３Ｄ画像データへの変換処理等を統括的に制御する。

操作部１１０は、電源スイッチ、操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受付ける。操作部１１０は、３Ｄ画像処理装置の本体に設けてもよいし、本体と赤外線通信等を行うリモコン等でもよい。

画像データ入力部１０１には、例えばＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の各種記録媒体、デジタルテレビチューナ、又は外部の撮像装置（デジタルカメラ）等から、２Ｄ画像データ及び３Ｄ画像データが混在した画像データが入力される。

画像データ入力部１０１は、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ１３９４規格に準拠した各種入力端子等で構成される。

画像データ入力部１０１に入力される画像データは、少なくとも２Ｄ画像データから３Ｄ画像データへの切り換わり点（以下、単に「切り換わり点」という。）が特定されるための、そのシーン（場面）が２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す情報である制御情報が含まれている。

画像データ入力部１０１に入力された画像データは、一時記憶部１０２に送られ、その一時記憶部１０２内で順次一時的に記憶される。一時記憶部１０２は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。

一時記憶部１０２に一時記憶された画像データは、画像変換部１０３が、後述する切り換わり点以後の所定の時間分の３Ｄ画像データのかわりに、その３Ｄ画像データを構成する左右眼画像データの何れかを３Ｄ画像データに変換する画像処理を行った場合は、その処理を施した３Ｄ画像データとして、当該画像処理を行わなかった場合は一時記憶された２Ｄ画像データ又は３Ｄ画像データとして、画像データ出力部１０４により所定の復号処理を施されて出力される。

画像データ出力部１０４は、画像データ入力部１０１と同様に、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ１３９４規格に準拠した各種出力端子等で構成される。

上記中央制御部２００はまた、２Ｄ画像データから３Ｄ画像データへの切り換わり点の検出を行う切換点検出部２０１、３Ｄ画像データの視差量を導出する視差量導出部２０２、導出された視差量が所定の大きさを上回るか否かを判定する視差量判定部２０３、及び左右眼画像データの何れかを３Ｄ画像データに変換する際のその何れかの画像データの奥行き推定データを生成する奥行き推定データ生成部２０４として機能する。各部の機能について、以下に説明する。

切換点検出部２０１は、一時記憶部１０２に一時記憶された画像データから、出力されることになる画像データが２Ｄ画像データから３Ｄ画像データへ切り換わる時点を切り換わり点として検出する。

画像データは上述の通り、各シーンが２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す制御情報を有している。切換点検出部２０１は、この制御情報に基づき画像データが２Ｄ画像データから３Ｄ画像データへ切り換わる時点を切り換わり点として検出する。

切換点検出部２０１はまた、画像データに上記制御情報がない場合、２Ｄ画像データ及び３Ｄ画像データ各々のデータ構造の相違から、２Ｄ画像データから３Ｄ画像データへ切り換わる切り換わり点を検出することもできる。

視差量導出部２０２は、３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する。

視差量導出部２０２による視差量の導出は既知の様々な手法を採用することができる。例えば、視差量導出部２０２は、左眼用画像のフレーム及び右眼用画像のフレームに対しパターンマッチングを実行し、両フレーム間における視差ベクトルを導出する。ここでフレームとは、左眼用画像データ及び右眼用画像データ各々の画像データを構成する時系列に並べられた静止画データをいう。

視差量導出部２０２によるパターンマッチングに基づく視差ベクトルの導出について図２を参照して説明する。図２は、画像処理装置１の視差量導出部２０２による左眼用画像及び右眼用画像の視差ベクトルの導出について説明するための概念図である。

視差量導出部２０２は、左眼用画像のフレーム及び右眼用画像のフレームの２つのフレームのうち一方のフレームを所定の大きさの領域のブロックに分割する。図２（ａ）では、１，９２０画素×１，０８０画素の左眼用画像のフレームＬ２００を、２４０画素×１３５画素のブロックＬ２０１に計６４分割している。

視差量導出部２０２は、分割した画像のフレームの各ブロックに関し、他方の画像のフレームの中から同一の大きさで相関値の高いブロックを抽出する。図２（ｂ）では、図２（ａ）のブロックＬ２０２（図中にハッチングで示したブロック）と同一の大きさで相関値の高いブロックとして、右眼用画像のフレームからＲ２０２が抽出されている。

視差量導出部２０２は、分割した画像のフレームのブロックと、そのブロックに対応する他方の画像のフレームのブロックとの位置関係から両者の差分ベクトルを視差ベクトルとして導出する。図２では、左眼用画像Ｌ２００中のブロックＬ２０２と、対応する右眼用画像中のブロックＲ２０２から、視差ベクトル２０３が算出されている。

上記のようなパターンマッチングの手法としては、例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等、既存の様々な手法を採用することが可能である。

ここで、導出された視差ベクトルは、原則として水平方向にのみ生じるため、その方向は単純に正負の符号（＋又は−）で表すことができる。ここでは、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているように知覚される場合の視差ベクトルの方向を正（＋）とし、被写体画像が観察者から見てディスプレイ面に対し後方に引き込んでいるように知覚される場合の視差ベクトルの方向を負（−）とする。

以上のようにして、視差量導出部２０２は画像のフレームを格子状に分割した複数のブロックから視差ベクトルを導出する。さらに視差量導出部２０２は、左眼用画像データ及び右眼用画像データの空間周波数等にかかるデータから、各画像からオブジェクト（被写体画像）データを特定し、特定したオブジェクト毎の視差ベクトルを導出する。

また、視差量導出部２０２は、左眼用画像データ及び右眼用画像データの空間周波数等からオブジェクトを特定し、特定したオブジェクトごとに直接パターンマッチングを実行して視差ベクトルを算出するようにしてもよい。

視差導出部２０２は、上記のようにして導出した視差ベクトルの大きさを、左眼用画像と右眼用画像との間の視差量として導出する。

図１に戻り、視差量判定部２０３は、視差量導出部２０２が導出した、３Ｄ画像における右眼用画像と左眼用画像との間の視差量が所定の大きさを上回っているかどうかを判定する。

ここで先ず、図３を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図３は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。

図３において、画像データ出力部１０４から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をＤＰ３０、観察者の左眼をＬＥ３０、観察者の右眼をＲＥ３０、及び観察者と表示面ＤＰ３０との間の距離をＤとする。

（前方へ飛び出しているように知覚される場合）
図３（ａ）において、表示面ＤＰ３０上の左眼用画像中の被写体画像の位置をＬ_f、右眼用画像中の被写体画像の位置をＲ_fとすると、観察者が左眼ＬＥ３０でＬ_f、右眼ＲＥ３０でＲ_fを観察した場合、被写体画像はＰ_fの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０に対して前方に飛び出しているかのように知覚されることになる。

ここで、観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離をＥ、像Ｌ_fとＲ_fの視差量をＶ_fとすると、表示面ＤＰ３０から結像位置までの距離Ｚ_fは以下の式（１）の通りとなる。

（Ｅ＋Ｖ_f）Ｚ_f＝Ｄ・Ｖ_f ・・・（１）

ここで、観察者は被写体画像を表示面Ｄ３０とは異なる位置Ｐ_fで知覚することになる。一方で、観察者の目のピントは表示面ＤＰ３０にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。

上記観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者から表示面ＤＰ３０までの視聴距離Ｄを標準観視距離である表示面の長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、例えば表示面の短辺（幅）の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」３Ｄコンソーシアム安全ガイドライン部会発行２０１０年４月２０日改訂版）。

そこで、視差量判定部２０３は、視差量導出部２０２が導出した視差量Ｖ_fが以下の式（２）で表される閾値ＶＳ_fを上回る場合に、前方への飛び出し方向の、すなわち正の方向の視差ベクトルの視差が観察者の目に負担をかける可能性がある大きさになっていると判定する。

ＶＳ_f＝０．０２９×ＤＷ・・・（２）

ここで、上記表示面の幅ＤＷには、操作部１１０からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、操作部１１０から、事前にその値や閾値ＶＳ_fを調整することでさらに好みの値として変更することができるようにしてもよい。

（表示面上にあるかのように知覚される場合）
図３（ｂ）において、表示面ＤＰ３０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面Ｄ３０上のＰ_cの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０上にあるかのように知覚されることになる。このとき、視差量導出部２０２が導出する視差量はゼロとなる。

（後方へ引き込んでいるかのように知覚される場合）
図３（ｃ）において、表示面ＤＰ３０上の左眼用画像中の被写体画像の位置をＬ_b、右眼用画像中の被写体画像の位置をＲ_bとすると、観察者が左眼ＬＥ３０でＬ_b、右眼ＲＥ３０でＲ_bを観察した場合、被写体はＰ_bの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０に対して後方に引き込んでいるかのように知覚されることになる。

ここで、観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離をＥ、像Ｌ_bとＲ_bの視差量をＶ_bとすると、表示面ＤＰ３０から結像位置までの距離Ｚ_bは以下の式（３）の通りとなる。

（Ｅ−Ｖ_b）Ｚ_b＝Ｄ・Ｖ_b ・・・（３）

ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面Ｄ３０とは異なる位置Ｐ_bで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。

そこで、視差量判定部２０３は、視差量導出部２０２が導出した視差量Ｖ_bが以下の式（４）で表される閾値ＶＳ_bを上回る場合に、後方への引き込み方向の、すなわち負の方向の視差ベクトルの視差が観察者の目に負担をかける可能性がある大きさになっていると判定する。

ＶＳ_b＝０．０２９×ＤＷ・・・（４）

ここで、上記表示面の幅ＤＷには、操作部１１０からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが操作部１１０を使用して、事前にその値や閾値ＶＳ_bを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。

また、表示面から後方に引き込んでいるかのように知覚される３Ｄ画像では、表示面上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」３Ｄコンソーシアム安全ガイドライン部会発行２０１０年４月２０日改訂版）。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。

そこで、上記式（４）で導き出されるＶＳ_bを５ｃｍに設定しても良い。ＶＳ_bが５ｃｍ以上かどうかの判定及び、５ｃｍとする設定は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。

以上のようにして、視差量判定部２０３は、３Ｄ画像における左眼用画像と右眼用画像との間の視差量が、観察者の目に負担をかける可能性のある所定の大きさを上回るか否かの判定を行う。

ここで、視差量判定部２０３は、切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出した、その時点における３Ｄ画像データに関し導出された視差の判定を行なう。または、切り替わり点から所定時間（例えば、５秒間）の３Ｄ画像データに関し導出された視差の判定を継続することもできる。以下では、この視差量判定部２０３が判定を行う所定時間を視差量判定時間という。

奥行き推定データ生成部２０４は、画像変換部１０３が左眼用画像データ又は右眼用画像データの少なくとも何れかを３Ｄ画像データに変換する画像変換を行う際に使用する奥行き推定データを生成する。

奥行き推定データ生成部２０４は、予め記録している複数の奥行き感を有する画像のモデル（以下、「基本奥行きモデル」という。）及び左右眼画像データのうちの何れかの画像データの輝度信号の高域成分に基づいて、各被写体画像の飛び出し及び引き込みの度合いに関する奥行き推定データを生成する。

上記基本奥行きモデルとして、図４に例示した３モデルが中央制御部２００のＲＯＭ又は画像処理装置１の図示しない記録部に記録されている。図４（ａ）に示した基本奥行きモデルａは、球面状の凹面による奥行きモデルである。図４（ｂ）に示した基本奥行きモデルｂは、基本奥行きモデルａの上部を球面状ではなくアーチ型の円筒面に置き換えたもので、上部を円筒面とし下部を凹面としたモデルである。図４（ｃ）に示した基本奥行きモデルｃは、上部を平面、下部をその平面から連続し、下に向かうほど手前側に向かう円筒面状をしたもので、上部を平面とし下部を円筒面としたモデルである。

奥行き推定データ生成部２０４は、左眼用画像データ又は右眼用画像データの何れかの画像データの輝度信号の高域成分を算出する。そして、算出された値から上記３種類の基本奥行きモデルの合成比率を決定し、その合成比率から奥行き推定データを生成する。

図１に戻り、画像変換部１０３は、奥行き推定データ生成部２０４が生成した奥行き推定データに基づき元の左眼用画像データ又は右眼用画像データの何れかの画像データ（以下、この画像データを「元の画像データ」という。）に対して視差を有する別の視点の２Ｄ画像データを生成する（以下、この別の視点の２Ｄ画像データを「別視点画像データ」という。）。

画像変換部１０３は、奥行き推定データに基づいて、元の画像データに含まれる各被写体画像データに係るテクスチャを左方向ないし右方向にシフトさせて配置していくことで、別視点画像データを生成する。

このとき、画像変換部１０３は、奥行き推定データから導出された視差量そのものを有するように各被写体画像データに係るテクスチャを配置するのではなく、奥行き推定データから導出された視差量よりも小さい視差量を有するように各テクスチャを配置する。以下に図５を参照して、画像変換部１０３が各被写体画像データに係るテクスチャを配置する際に使用する視差量について説明する。

図５は、元の画像データに含まれる所定の被写体画像データと、別視点画像データに含まれる対応する被写体画像データとの間の、奥行き推定データから導出された視差量Ｖ５０１及び、画像変換部１０３が元の画像データを変換して生成した３Ｄ画像データ中における視差量Ｖ５０２の時間ごとの変化を例示する図である。図５では、奥行き推定データから導出された視差量Ｖ５０１を破線で、画像変換部１０３が元の画像データを変換して生成した３Ｄ画像データ中における視差量Ｖ５０２を実線で示す。

図５に例示する被写体画像データでは、切換点検出部２０１が検出した切り換わり点であるｔ５０からｔ５１までの間、当該被写体画像データの奥行き推定データに基づく視差量Ｖ５０１はＶ５６となっている。そこで、画像変換部１０３は、視差量Ｖ５０２としてＶ５６を所定の割合に減じた大きさのＶ５３を算出し、この算出されたＶ５３を有するようにこの被写体画像のテクスチャを配置する。

図５では、視差量Ｖ５０１を５０％に減じた視差量Ｖ５０２が算出されている場合を例にあげて説明する。Ｖ５３はＶ５６の５０％の大きさとなっている。この所定の割合は、ユーザが操作部１１０を使用して、好みに合わせて設定することができるものとする。

次に、図５に例示する被写体画像データでは、ｔ５１からｔ５３までの間、視差量Ｖ５０１はＶ５６からＶ５４まで減少する変化をする。そこで、画像変換部１０３は、ｔ５１からｔ５３までの間、上記と同じ割合で視差量Ｖ５０１を減じた視差量Ｖ５０２を算出し、この算出された視差量Ｖ５０２の大きさの視差を有するように当該被写体画像のテクスチャを配置する。

すなわちｔ５１ではＶ５６の５０％の大きさのＶ５３、ｔ５２ではＶ５５の５０％の大きさのＶ５２、そしてｔ５３ではＶ５４の５０％の大きさのＶ５１の視差量を有するように上記被写体画像データに係るテクスチャが配置される。

そして、ｔ５３からｔ５４までの間、上記被写体画像データの視差量Ｖ５０１は、Ｖ５４からＶ５６まで増加する変化をする。そこで、画像変換部１０３は、ｔ５３からｔ５４までの間、視差量Ｖ５０１を同じく５０％に減じた視差量Ｖ５０２を算出し、各時点で上記被写体画像のテクスチャを配置する。

以上のようにして画像変換部１０３が元の画像データ中の各被写体画像データのテクスチャを、奥行き推定データに基づく視差を一定の割合に減じた視差を有するように、切り換わり点から所定時間の間にわたって配置する。以下、この所定時間を画像変換時間という。

上記のテクスチャの配置において、画像変換部１０３は奥行き推定データに基づく視差が、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているように知覚される方向のベクトルを有しているか、又は被写体画像が観察者から見てディスプレイ面に対し後方に引き込んでいるように知覚される方向のベクトルを有しているかを考慮して、テクスチャを左方向ないし右方向に上述の視差量に応じた配置を行う。

以上述べたように、画像変換部１０３は、元の画像データを、奥行き推定データに基づく視差量を減じた視差量を有する３Ｄ画像データに変換することで、立体感を抑え、それによって３Ｄ画像の観察に慣れていない観察者が３Ｄ画像の観察に慣れる為の画像を生成することができる。

また、画像変換部１０３は、画像変換時間に亘って、奥行き推定データに基づく視差量を一定の割合で減じた視差量を有する３Ｄ画像データに変換することで、上記観察者が慣れるための３Ｄ画像を違和感のない立体感を有するものとすることができる。

すなわち、本来の３Ｄ画像データにおける被写体画像の視差量が増加するときは変換された３Ｄ画像データにおける被写体画像の視差量も増加し、本来の３Ｄ画像データにおける被写体画像の視差量が減少するときは変換された３Ｄ画像データにおける被写体画像の視差量も減少するように画像変換を行うことができる。

従って、切り換り後の３Ｄ画像データにおける被写体画像の視差量が所定時間かけて減少する変化をするのに、変換された３Ｄ画像データにおける被写体画像の視差量は増加する変化をするといった、違和感のある画像が表示されてしまう事態の発生を抑制することができる。

以上のようにして生成された、元の画像データ、及び別視点画像データの２つの画像データが、画像変換部１０３によって左眼用画像データ又は右眼用画像データの何れかの画像データから変換された３Ｄ画像データとして画像データ出力部１０４に送られる。そして、画像データ出力部１０４からこの変換された３Ｄ画像データが外部のディスプレイ装置等に出力される。

以上に述べたように本発明の実施形態に係る画像処理装置１によれば、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力して観察者の目を慣れさせることで、その観察者の負担を減少させることができる。

（画像処理）
次に、本実施形態の画像処理装置１による、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力する画像処理の手順について説明する。

図６は、画像処理装置１が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。

操作部１１０の操作に応じて、各種記録媒体、デジタルテレビチューナ、又は撮像装置等から２Ｄ画像データと３Ｄ画像データとが混在した画像データが順次、画像データ入力部１０１に入力される（ステップＳ１０１）。

画像データ入力部１０１に画像データが入力されると、一時記憶部１０２が順次、その画像データを一時記憶する（ステップＳ１０２）。図７に一時記憶部１０２が一時記憶する画像データの概念図を示す。

図７には、時点ｔ７１までは２Ｄ画像データＤ７０１、時点ｔ７１以降で時点ｔ７２までは３Ｄ画像データＤ７０２、時点ｔ７２以降で時点ｔ７３までは２Ｄ画像データＤ７０３、そして時点ｔ７３以降は３Ｄ画像データＤ７０４が、一時記憶部１０２に一時記憶されている様子を示す。このように、一時記憶部１０２には、２Ｄ画像データと３Ｄ画像データとが混在した画像が順次、一時記憶される。

図６に戻り、ステップＳ１０２で画像データが一時記憶されると、切換点検出部２０１が、一時記憶されていく画像データが２Ｄ画像データから３Ｄ画像データに切り換わる時点を、切り換わり点として検出する（ステップＳ１０３）。

切換点検出部２０１は、画像データの有する、各シーンが２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す制御情報から切り換わり点を検出する。又は、２Ｄ画像データと３Ｄ画像データのデータ構造の相違から切り換わり点を検出する。

図７では、２Ｄ画像データＤ７０１が３Ｄ画像データＤ７０２に切り換わる時点ｔ７１が切り換わり点Ｐ１として検出される。同様に、２Ｄ画像データＤ７０３が３Ｄ画像データ７０４に切り換わる時点ｔ７３が切り換わり点Ｐ２として検出される。

なお、切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出しなかった場合（ステップＳ１０３でＮＯ）、一時記憶部１０２に一時記憶された画像データが、そのまま画像データ出力部１０４から復号等された後に、出力される（ステップＳ１０７）。

切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出した場合（ステップＳ１０３でＹＥＳ）、視差量導出部２０２は切り換わり点における、又は切り換わり点以降の視差量判定時間分の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する（ステップＳ１０４）。なお、この視差量の導出は、上述の通りテンプレートマッチングを利用した手法等により行われる。

図７では、視差量導出部２０２は、時点ｔ７１における又は時点ｔ７１から所定時間後までの間（例えば、５秒間）における３Ｄ画像データＤ７０２の視差量の導出を行なう。同様に、視差量導出部２０２は、ｔ７３における又はｔ７３から所定時間後までの間における３Ｄ画像データＤ７０４の視差量の導出を行なう。

図６のステップＳ１０４で、視差量導出部２０２が上記視差量の導出を行なうと、視差量判定部２０３が導出された視差量が所定の大きさを上回っているかどうかを判定する（ステップＳ１０５）。

切り換わり点直後に、又は切り換わり点から所定時間以内に表示される３Ｄ画像中に、観察者に負担を与える可能性のある視差量を有する被写体画像が含まれていた場合、そのままその３Ｄ画像が表示されると、それまで２Ｄ画像を観察していて、３Ｄ画像の観察に目が慣れていない観察者に負担を与える可能性がある。

図８に、表示される画像が２Ｄ画像から３Ｄ画像に切り換わる様子の模式図を示す。この図８では観察者の左眼をＬＥ３０及び右眼をＲＥ３０としている。

図８（ａ）は、時点ｔ７１まで２Ｄ画像であるＤ８１が表示され、時点ｔ７１で３Ｄ画像として左眼用画像ＬＤ８１及び右眼用画像ＲＤ８１が表示される様子を模式的に示している。

ここで観察者は、時点ｔ７１までは被写体画像Ｇ８１を２Ｄ画像として、表示画像Ｄ８１内に知覚している。ところが、時点ｔ７１で３Ｄ画像に切り換わり、左眼用画像ＬＤ８１と右眼用画像ＲＤ８１との間の視差に基づき、被写体画像ＴＧ８１を表示面からＺ_f８０１だけ飛び出して知覚している。

この被写体画像ＴＧ８１の飛び出しの大きさＺ_f８０１に係る視差量が、上述した閾値ＶＳ_fを上回っていた場合、まだ３Ｄ画像の知覚になれていない観察者の目に負担を掛ける可能性がある。

このとき、視差量判定部２０３は、３Ｄ画像に切り換わる時点ｔ７１において、左眼用画像と右眼用画像との間に、所定の閾値ＶＳ_fを上回る、すなわち観察者に負担を与える可能性のある視差量を有する被写体画像がある旨の判定を行う。

図８（ｂ）は、時点ｔ７３まで２Ｄ画像であるＤ８２が表示され、時点ｔ７３で３Ｄ画像として左眼用画像ＬＤ８２及び右眼用画像ＲＤ８２が表示され、そして時点ｔ７３から所定時間Δｔ後に、同じく３Ｄ画像として左眼用画像ＬＤ８３及びＲＤ８３が表示される様子を模式的に示している。

ここで、観察者は時点ｔ７３までは被写体画像Ｇ８２を２Ｄ画像として、表示画像Ｄ８２内に知覚している。そして、時点ｔ７３で３Ｄ画像に切り換わり、左眼用画像ＬＤ８２と右眼用画像ＲＤ８２との間の視差に基づき、被写体画像ＴＧ８２を表示面からＺ_f８０２だけ飛び出していると知覚している。

この切り換わり点である時点ｔ７３では、被写体画像ＴＧ８２の飛び出しの大きさＺ_f８０２に係る視差量が上述した閾値ＶＳ_fを下回っている場合、視差判定部２０３は、左眼用画像ＬＤ８２と右眼用画像ＲＤ８２との間に、観察者に負担を与える可能性のある視差量を有する被写体画像がある旨の判定は行わない。

一方で、時点ｔ７３からΔｔ経過して表示されることになる左眼像画像ＬＤ８３と右眼用画像ＲＤ８３との間では、被写体画像ＴＧ８３がＺ_f８０２よりも大きなＺ_f８０３だけ飛び出しているように知覚される。

この被写体画像ＴＧ８３の飛び出しの大きさＺ_f８０３に係る視差量が、上述した閾値ＶＳ_fを上回っていた場合、視差判定部２０３は観察者に負担を与える可能性のある視差量を有する被写体画像がある旨の判定を行う。

２Ｄ画像から３Ｄ画像に切り換わった時点では、観察者に負担を与える可能性がある視差量を有する被写体画像が含まれていない場合でも、それまで２Ｄ画像を観察していた観察者が３Ｄ画像の知覚に慣れる前に、上述した閾値ＶＳ_fを上回る視差量を有する被写体画像が表示されると、観察者の目に負担を掛ける可能性があるからである。

なお、視差判定部２０３が、切り換わり点直後に、又は視差量判定時間以内に表示される３Ｄ画像中に、観察者に負担を与える可能性のある視差量を有する被写体画像が含まれている旨の判定をしなかった場合（Ｓ１０５でＮＯ）、画像処理装置１は以降の処理を実施しない。

図６に戻り、ステップＳ１０５で視差判定部２０３が、左眼用画像と右眼用画像との間の視差量が所定の値を上回ると判定した場合（ステップＳ１０５でＹＥＳ）、画像変換部１０３は一時記憶部に一時記憶された画像データにおける３Ｄ画像データの左眼用画像データ又は右眼用画像データの何れかの画像データを、立体感を抑えた３Ｄ画像データに変換する（Ｓ１０６）。

画像変換部１０３は、上述の通り、奥行き推定データ生成部２０４が生成した奥行き推定データに基づき、その奥行き推定データから導出された視差量よりも小さい視差量を有するように、元の画像データを立体感を抑えた３Ｄ画像データに変換する。

ステップＳ１０６で、画像変換部１０３が元の画像データを３Ｄ画像データに変換すると、変換された３Ｄ画像データに係る左眼用画像データ及び右眼用画像データがそれぞれ、画像変換時間に亘って画像データ出力部１０４から外部のディスプレイ装置等に出力される（ステップＳ１０７）。

ここで、上記画像変換時間は、視差量判定部２０３が、３Ｄ画像データに観察者の目に負担をかける可能性のある所定の大きさを上回る視差量を有する被写体画像があると判断した時点までとしても良い。或は、視差量判定時間よりも長い時間としても良い。視差量判定時間及び画像変換時間は、操作部１１０を使用してユーザが好みに応じて設定することができる。

以上、本発明によれば、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり以後の所定時間について、違和感なく立体感を抑えた３Ｄ画像データを出力することができる。

これにより、２Ｄ画像データが３Ｄ画像データに切り換わってすぐのタイミングで、違和感なく立体感を抑えた３Ｄ画像データを観察させて、観察者の目を３Ｄ画像の観察になれさせ、その観察者の負担を減少することができる。

１画像処理装置
１０１画像データ入力部
１０２一時記憶部
１０３画像変換部
１０４画像データ出力部
１１０操作部
２００中央制御部
２０１切換点検出部
２０２視差導出部
２０３視差判定部
２０４奥行き推定データ生成部

Claims

２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出部と、
前記切換点検出部が検出した切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部と、
前記視差量導出部が導出した視差量が所定値を超えているか否かを判定する視差量判定部と、
前記切り換わり点検出部が検出した切り換わり点より後の所定の前記３Ｄ画像データについて、その３Ｄ画像データにおける左眼用画像データ及び右眼用画像データのうちの少なくとも何れかから奥行き推定データを生成する奥行き推定データ生成部と、
前記視差量判定部が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部が検出した切り換わり点より後の所定時間に亘って、前記３Ｄ画像データのかわりにその３Ｄ画像データにおける左眼用画像データ又は右眼用画像データの何れかを、前記奥行き推定データから導出される視差量よりも小さい視差量を有する３Ｄ画像データに変換する画像変換部とを有することを特徴とする画像処理装置。
前記画像変換部は、前記前記切換点検出部が検出した切り換わり点より後の所定時間に亘って、前記奥行き推定データから導出される視差量を一定の割合に減じた視差量を有するように前記左眼用画像データ又は右眼用画像データの何れかを３Ｄ画像データに変換することを特徴とする請求項１に記載の画像処理装置。
２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、
前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、
前記切り換わり点検出ステップで検出された切り換わり点より後の所定の前記３Ｄ画像データについて、その３Ｄ画像データにおける左眼用画像データ及び右眼用画像データのうちの少なくとも何れかから奥行き推定データを生成する奥行き推定データ生成ステップと、
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より後の所定時間に亘って、前記３Ｄ画像データのかわりにその３Ｄ画像データにおける左眼用画像データ又は右眼用画像データの何れかを、前記奥行き推定データから導出される視差量よりも小さい視差量を有する３Ｄ画像データに変換する画像変換ステップとからなる画像処理方法。
前記画像変換ステップは、前記切換点検出ステップで検出された切り換わり点より後の所定時間に亘って、前記奥行き推定データから導出される視差量を一定の割合に減じた視差量を有するように前記左眼用画像データ又は右眼用画像データの何れかを３Ｄ画像データに変換することを特徴とする請求項１に記載の画像処理方法。