JP2013172367A - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】３Ｄ画像を解析し、視差補正の際に適切な視差補正を適切な３Ｄ画像に対して実行することが可能な画像処理装置を提供する。
【解決手段】複数の３Ｄ画像が供給され、各３Ｄ画像に対して視差を検出する視差検出部と、各３Ｄ画像に対して視差検出部が検出した視差を用いて、各３Ｄ画像に対して視差の統計情報を生成する視差解析部と、各３Ｄ画像に対して所定の画像解析処理を実行する画像解析部と、画像解析部による所定の画像解析処理の結果および視差解析部が生成した視差の統計情報を用いて各３Ｄ画像の重要度を計算する重要度計算部と、各３Ｄ画像に対して視差解析部が生成した視差の統計情報及び重要度計算部が計算した各３Ｄ画像の重要度を用いて各３Ｄ画像の視差を変換する視差制御部と、を備える、画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。

画像を立体的に見せることが出来る３Ｄ画像の表示に関する技術が広く開発されている。また、複数の３Ｄ画像の合成表示に関する技術も提案されている（特許文献１参照）。特許文献１に記載された技術は、３Ｄの主画像に３Ｄの副画像を合成してその合成画像を表示する場合、３Ｄの主画像の画面に垂直な方向である奥行き方向における３Ｄ主画像の位置が、奥行き方向における副画像の位置から離れすぎたり、近づきすぎたりすることがあると、ユーザの目に疲労感を与えてしまうので、その疲労感を軽減するための技術である。

特開２０１１−１６６７６１号公報

特許文献１に記載された技術は、３Ｄの主画像と３Ｄの副画像とのそれぞれの統計情報を用いて、主画像および副画像の奥行き方向の位置間隔が所定範囲内になるように補正するものである。

しかし、特許文献１に記載された技術は、３Ｄの主画像と３Ｄの副画像とを同条件で視差補正しているので、例えばテキストやユーザインタフェースなどを３Ｄの副画像とした場合に、３Ｄの副画像があるブレンド値をもって３Ｄの主画像に合成されると、主画像に対して適切でない視差補正が行われるという問題があった。

そこで、本開示の目的とするところは、３Ｄ画像を解析し、視差補正の際に適切な視差補正を適切な３Ｄ画像に対して実行することが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。

本開示によれば、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析部と、前記画像解析部による前記所定の画像解析処理の結果および前記視差解析部が生成した視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算部と、各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報及び前記重要度計算部が計算した各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御部と、を備える、画像処理装置が提供される。

また本開示によれば、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、を備える、画像処理方法が提供される。

また本開示によれば、コンピュータに、複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、３Ｄ画像を解析し、視差補正の際に適切な視差補正を適切な３Ｄ画像に対して実行することが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することができる。

本開示の一実施形態にかかる画像処理装置の機能構成を示す説明図である。 本開示の一実施形態にかかる画像処理装置１００の動作を示す流れ図である。 ２つの３Ｄ画像の輝度分布の例を示す説明図である。 映像をブロック分割して、ブロック毎に解析データを計算する例を示す説明図である。 視差の統計情報の一例をグラフで示す説明図である。 解析データの補正例を示す説明図である。 ２つの３Ｄ画像を合成する際の、解析データ補正値の計算方法を示す説明図である。 ２つの３Ｄ画像を合成する際のブレンド値の違いによる出力結果の違いについて示す説明図である。 視差補正方法の一例をグラフで示す説明図である。 視差補正方法の一例をグラフで示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［画像処理装置の構成例］
［画像処理装置の動作］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［画像処理装置の構成例］
まず、本開示の一実施形態にかかる画像処理装置の機能構成例を説明する。図１は、本開示の一実施形態にかかる画像処理装置の機能構成を示す説明図である。以下、図１を用いて本開示の一実施形態にかかる画像処理装置の機能構成について説明する。

画像処理装置１００は、例えば、ＢＤ（Ｂｌｕ−Ｒａｙ（商標）Ｄｉｓｃ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信されたりした主画像データ、副画像データ等を受信する。なお、本明細書で使用されるとき、「主画像データ」という用語は一画面のための所定のサイズの３Ｄの主画像の画像データを指し、「副画像データ」という用語は一画面のための所定サイズの３Ｄの副画像の画像データを指す。主画像は、例えば３Ｄ画像のメインとなる画像であり、副画像はそのメインとなる画像に付随して表示される字幕、エフェクト等からなる画像である。また、主画像の中に一部に表示されるものを副画像としても良い。また副画像としては、他にもトランジションなどで合成される際の片方の映像であってもよい。

画像処理装置１００は、２つの３Ｄ画像を合成して、合成画像データを生成する。そして画像処理装置１００は、２つの３Ｄ画像を合成する際に、画像データを解析して、どちらの３Ｄ画像の視差を変更すべきかを判断する。これにより本実施形態にかかる画像処理装置１００は、３Ｄ画像を解析し、視差補正の際に適切な視差補正を適切な３Ｄ画像に対して実行することができる。以下の説明では、画像処理装置１００は、第１の３Ｄ画像と第２の３Ｄ画像とを合成して出力するものとする。

図１に示したように、本開示の一実施形態にかかる画像処理装置１００は、視差検出部１１０ａ、１１０ｂと、視差解析部１２０ａ、１２０ｂと、画像解析部１３０ａ、１３０ｂと、解析データ補正部１４０と、解析データ蓄積部１５０と、重要度計算部１６０と、画像補正部１７０ａ、１７０ｂと、画像合成部１８０と、表示部１９０と、を含んで構成される。

視差検出部１１０ａは、外部から入力された第１の３Ｄ画像データを構成する、左目用の画像の画像データと右目用の画像の画像データとを用いて、第１の３Ｄ画像の視差を画素ごとに検出する。視差の検出は、例えば、特開２０１１−０５５０２２号で開示されている技術を用いても良い。視差検出部１１０ａは、第１の３Ｄ画像の視差を画素毎に検出すると、検出した視差についてのデータを視差解析部１２０ａに供給する。なお、視差は、単一の画素からではなく、複数の画素を含むブロックから検出されてもよい。

同様に、視差検出部１１０ｂは、外部から入力された第２の３Ｄ画像データを構成する、左目用の画像データと右目用の画像データとを用いて、第２の３Ｄ画像の視差を画素ごとに検出する。視差検出部１１０ｂは、第２の３Ｄ画像の視差を画素毎に検出すると、検出した視差についてのデータを視差解析部１２０ｂに供給する。

なお、視差の情報が、３Ｄ画像データと共に送られてくる情報等によって既知である場合には、この視差検出部１１０ａ、１１０ｂの視差計算処理はスキップしても良い。

視差解析部１２０ａは、視差検出部１１０ａが検出した第１の３Ｄ画像の視差の情報を解析して、第１の３Ｄ画像の視差統計情報を生成する。視差解析部１２０ａは、視差の統計情報として、例えば、特開２０１１−０５５０２２号で開示されている技術を用いて視差分布を生成してもよく、または、第１の３Ｄ画像の各画素の視差を表す視差マップを生成してもよい。視差分布から取得できる解析データとしては、例えば、視差の最大値、最小値、最頻値、中央値、平均値などがある。視差マップの生成には、例えば、特開２００６−１１４０２３号公報に記載されている技術を用いても良い。視差解析部１２０ａは、第１の３Ｄ画像の視差統計情報を生成すると、生成した視差統計情報を解析データ補正部１４０に供給する。

同様に、視差解析部１２０ｂは、視差検出部１１０ｂが検出した第２の３Ｄ画像の視差の情報を解析して、視差の統計情報を生成する。視差解析部１２０ｂは、第２の３Ｄ画像の視差統計情報を生成すると、生成した視差統計情報を解析データ補正部１４０に供給する。

画像解析部１３０ａは、外部から入力された第１の３Ｄ画像データに対して画像解析処理を実行する。画像解析部１３０ａは、画像解析処理として、例えば、画像の輝度分布の計算、エッジ分布の検出等の解析処理を実行する。画像解析部１３０ａが実行する画像解析処理は、後述の重要度計算部１６０における重要度の計算処理の精度を高めるために利用する副次的なデータを計算するものである。必ずしも全ての画像解析を行う必要は無い。逆に言えば、この重要度に影響すると思われるデータなら、画像解析部１３０ａの画像解析処理に、輝度分布、エッジ分布に限らず様々な情報を出来る限り盛り込んでもよい。画像の輝度分布やエッジ分布から求められる解析データで重要度の計算に有用なものとしては、例えば、散布度を判断する標準偏差などがある。また、映像をブロック分割して、ブロック毎に解析データを計算し、重みをつけるようにしてもよい。画像解析部１３０ａは、第１の３Ｄ画像データに対する画像解析処理の結果を解析データ補正部１４０に供給する。

同様に、画像解析部１３０ｂは、外部から入力された第２の３Ｄ画像データに対して画像解析処理を実行する。画像解析部１３０ｂは、画像解析処理として、例えば、画像の輝度分布の計算、エッジ分布の検出等の解析処理を実行する。画像解析部１３０ｂは、第２の３Ｄ画像データに対する画像解析処理の結果を解析データ補正部１４０に供給する。

解析データ補正部１４０は、視差解析部１２０ａ、１２０ｂで求められた視差の解析データと、画像解析部１３０ａ、１３０で求めた画像解析データとを、３Ｄ画像の出力情報を基に補正する。３Ｄ画像の出力情報には、３Ｄ画像の出力サイズ、３Ｄ画像の貼り付け位置（画面上のどの領域を利用するか）、３Ｄ画像の拡大・縮小の情報が含まれていてもよい。解析データ補正部１４０は、これらの情報を基に、３Ｄ画像の利用領域を計算し、解析データを補正する。解析データ補正部１４０は、補正後の解析データを解析データ蓄積部１５０および重要度計算部１６０に供給する。

解析データ蓄積部１５０は、解析データ補正部１４０で補正された、第１の３Ｄ画像および第２の３Ｄ画像に対する解析データを蓄積する。解析データ蓄積部１５０が蓄積する解析データのフレーム数は、３Ｄ画像が静止画の場合は０であり、３Ｄ画像が動画の場合は、画像処理装置１００の記憶容量や性能に合わせて適宜増減させてもよい。解析データ蓄積部１５０で蓄積された解析データは、重要度計算部１６０によって適宜読み出される。

重要度計算部１６０は、解析データ補正部１４０で補正された現フレームの解析データと、過去の解析データとを基に、それぞれの３Ｄ画像の重要度を計算する。重要度計算部１６０は、それぞれの３Ｄ画像の重要度を計算するに際しては、それぞれの３Ｄ画像の解析データに重み付けを行って加算する。重要度計算部１６０による重要度の計算の詳細については、後に詳述する。重要度計算部１６０は、それぞれの３Ｄ画像の重要度を計算すると、重要度の情報を画像補正部１７０ａ、１７０に供給する。

画像補正部１７０ａは、重要度計算部１６０が求めた重要度の値に基づいて、第１の３Ｄ画像に対して視差補正処理や画像補正処理を行う。同様に、画像補正部１７０ｂは、重要度計算部１６０が求めた重要度の値に基づいて、第２の３Ｄ画像に対して視差補正処理や画像補正処理を行う。画像補正部１７０ａ、１７０ｂによる視差補正の方法には、例えば、重要度の低い映像だけを補正する方法や、重要度に応じてそれぞれの３Ｄ画像の補正量を変える方法等がある。画像補正部１７０ａ、１７０ｂは、それぞれ、補正後の３Ｄ画像を画像合成部１８０に供給する。

画像合成部１８０は、画像補正部１７０ａ、１７０ｂがそれぞれ出力する、補正後の第１の３Ｄ画像および第２の３Ｄ画像を合成する。画像合成部１８０は、合成時の情報（例えばブレンド値）を用いて合成を行い、最終出力映像を作成する。画像合成部１８０は、補正後の第１の３Ｄ画像および第２の３Ｄ画像を合成すると、最終出力映像を表示部１９０へ供給する。

表示部１９０は、３Ｄ画像を表示することが可能な３Ｄディスプレイで形成される。表示部１９０は、画像合成部１８０から供給される最終出力映像を用いて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着して表示部１９０に表示される画像を見る。ユーザは、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、第１の３Ｄ画像と第２の３Ｄ画像とが重畳された３Ｄ画像を見ることができる。

なお、表示部１９０は、ユーザに裸眼で３Ｄ画像として認識できるような３Ｄディスプレイで形成されていても良い。そのような３Ｄディスプレイとしては、例えばパララックスバリア方式（視差バリア方式）、レンティキュラ方式を用いたもの等がある。また、図１では、画像処理装置１００に表示部１９０が含まれる構成としたが、本開示はかかる例に限定されるものではない。表示部１９０は、画像処理装置１００とは別の装置であっても良い。すなわち、画像処理装置１００は複数の３Ｄ画像の合成までを行うように構成されていても良い。

以上、図１を用いて本開示の一実施形態にかかる画像処理装置１００の機能構成について説明した。続いて、本開示の一実施形態にかかる画像処理装置１００の動作について説明する。

［画像処理装置の動作］
図２は、本開示の一実施形態にかかる画像処理装置１００の動作を示す流れ図である。図２に示した流れ図は、画像処理装置１００において複数の３Ｄ画像の合成を行う際の動作について示したものである。以下、図２を用いて本開示の一実施形態にかかる画像処理装置１００の動作について説明する。

画像処理装置１００に複数の３Ｄ画像が供給されると、画像処理装置１００は、供給された３Ｄ画像の画像解析を行う（ステップＳ１０１）。本実施形態では、画像処理装置１００には２つの３Ｄ画像（第１の３Ｄ画像および第２の３Ｄ画像）が供給されるものとする。ステップＳ１０１の画像解析として、例えば、供給された３Ｄ画像の輝度分布の計算やエッジ分布の検出等の処理が実行される。そして、ステップＳ１０１の画像解析は、本実施形態では画像解析部１３０ａ、１３０ｂが実行する。

このステップＳ１０１で実行される画像解析処理は、後述の重要度の計算処理の精度を高めるために利用する副次的なデータを計算するものである。必ずしも全ての画像解析を行う必要は無い。逆に言えば、この重要度に影響すると思われるデータなら、ステップＳ１０１で実行される画像解析処理に、輝度分布、エッジ分布に限らず様々な情報を出来る限り盛り込んでもよい。画像の輝度分布やエッジ分布から求められる解析データで重要度の計算に有用なものとしては、例えば、散布度を判断する標準偏差などがある。

図３は、２つの３Ｄ画像の輝度分布の例を示す説明図である。２つの３Ｄ画像に対して、ステップＳ１０１の画像解析処理の結果、図３に示すような輝度分布が得られたとする。画像Ａの輝度分布と画像Ｂの輝度分布とを比較した場合、画像Ａの方が輝度分布の標準偏差が大きい。このような場合に、標準偏差の大きい画像のほうが、より重要度が高いとして、後述の重要度の計算処理に反映されても良い。

また、画像解析部１３０ａ、１３０ｂは、映像をブロック分割して、ブロック毎に解析データを計算し、各ブロックに対して重みをつけるようにしてもよい。図４は、映像をブロック分割して、ブロック毎に解析データを計算する例を示す説明図である。図４に示した例は、画像を９つの領域に分割し、視差分布をそれぞれ求める場合についての例である。このように、ブロック毎に解析データを計算し、例えば、人間の注視する部分が概ね中央に来ることを考慮して中央の解析データに重み付けをつけるようにしてもよい。

また、ステップＳ１０１における画像解析と並行して、画像処理装置１００は、供給された３Ｄ画像の視差検出を行う（ステップＳ１０２）。視差の検出は、例えば、特開２０１１−０５５０２２号で開示されている技術を用いても良い。ステップＳ１０２の視差検出は、本実施形態では視差検出部１１０ａ、１１０ｂが実行する。なお、画像処理装置１００に供給される３Ｄ画像の視差の情報が、３Ｄ画像に付随して送られてくるなどして予め分かっている場合は、画像処理装置１００は、このステップＳ１０２の処理をスキップしてもよい。

ステップＳ１０２における３Ｄ画像の視差検出が完了すると、続いて画像処理装置１００は、ステップＳ１０２で得られる視差情報を解析して、視差の統計情報を生成する（ステップＳ１０３）。ステップＳ１０３の統計情報の生成は、本実施形態では視差解析部１２０ａ、１２０ｂが実行する。画像処理装置１００は、視差の統計情報として、例えば、特開２０１１−０５５０２２号で開示されている技術を用いて視差分布を生成してもよく、または、各３Ｄ画像の各画素の視差を表す視差マップを生成してもよい。視差分布から取得できる解析データとしては、例えば、視差の最大値、最小値、最頻値、中央値、平均値などがある。また画像処理装置１００は、視差マップの生成に、例えば、特開２００６−１１４０２３号公報に記載されている技術を用いても良い。

図５は、上記ステップＳ１０３で得られる視差の統計情報の一例をグラフで示す説明図である。画像処理装置１００は、図５に示したように、視差の統計情報として、視差の最大値、最小値、最頻値、中央値、平均値などの情報を得るようにしても良い。

上記ステップＳ１０１で３Ｄ画像の解析を行い、上記ステップＳ１０３で視差の統計情報を生成すると、続いて画像処理装置１００は、これらの処理で得られる情報を基に、上記ステップＳ１０１で得られる解析データの補正を行う（ステップＳ１０４）。ステップＳ１０４の解析データの補正は、本実施形態では解析データ補正部１４０が実行する。解析データ補正部１４０は、３Ｄ画像の出力情報を基に解析データを補正する。３Ｄ画像の出力情報には、３Ｄ画像の出力サイズ、３Ｄ画像の貼り付け位置（画面上のどの領域を利用するか）、３Ｄ画像の拡大・縮小の情報が含まれていてもよい。解析データ補正部１４０は、これらの情報を基に、３Ｄ画像の利用領域を計算し、解析データを補正する。

図６は、上記ステップＳ１０４における解析データの補正例を示す説明図である。図６に示したのは、補正前の視差の統計情報を、３Ｄ画像の表示部１９０における表示位置や、３Ｄ画像の拡大・縮小の情報を用いて補正する場合の例である。このように、３Ｄ画像の表示部１９０における表示位置や、３Ｄ画像の拡大・縮小の情報を用いて、上記ステップＳ１０３で得られる視差の統計情報を、表示部１９０に表示する際の３Ｄ画像の視差の統計情報に変換する。表示部１９０に表示する際の３Ｄ画像の視差の統計情報を得ることで、画像処理装置１００は、複数の３Ｄ画像間で視差の範囲が重なりあう領域を把握できる。従って、視差の範囲が重ならないように、複数の３Ｄ画像の内の少なくともいずれか１つについて視差を補正すれば良いことになる。

上記ステップＳ１０４で解析データを補正すると、続いて画像処理装置１００は、複数の３Ｄ画像を合成する際の合成情報と、上記ステップＳ１０４での補正後の解析データとを基に、各３Ｄ画像の重要度を計算する（ステップＳ１０５）。ステップＳ１０５の重要度の計算処理は、本実施形態では重要度計算部１６０が実行する。ステップＳ１０５における重要度の計算に際しては、解析データ蓄積部１５０に蓄積された過去フレームの解析データを用いても良い。画像処理装置１００は、ステップＳ１０５で３Ｄ画像の重要度を計算することで、重要度の高低によって、視差の補正対象となる画像を適切に決定することができる。

まず、現フレームの解析データのみを用いて重要度を計算する例を説明する。フレームの解析データのみを用いて重要度を計算する際には、重要度計算部１６０は、まず視差解析データを用いた重要度計算の中間値を計算する。本実施形態では、重要度計算部１６０は、視差解析部１２０ａ、１２０ｂが生成した視差の統計情報における最大値、最小値、最頻値、中央値、平均値の少なくともいずれか１つの値を用いて重要度の中間値を算出する。重要度計算部１６０は、この中間値を１次元の変数ｄ（０〜１．０の範囲の値を取り、値が大きいほど重要度への寄与が高いものとする）で表すと、ｄの計算式は、例えば最大値、最小値、最頻値、中央値、平均値の値を用いた場合に、視差の最大値を１００、最小値を０、その間の値を取る最頻値、中央値、平均値の値をそれぞれ、ｄｘ、ｄｙ、ｄｚとして、以下の数式１で表すことが出来る。

数式１において、α，β，γは、それぞれ解析データを補正する値で、これらの値は、映像の合成する対象によって自動で設定してもよいし、ユーザが任意に設定してもよい。

映像の合成する対象によってα，β，γの値を自動で設定する場合の例を説明する。図７は、２つの３Ｄ画像を合成する際の、解析データ補正値の計算方法を示す説明図である。図７に示した例は、テキストで構成される画像Ａと、通常の映像で構成される画像Ｂとを合成する場合について示したものである。

図７に示したように、テキストと通常の映像とを合成する場合は、テキストの映像の視差分布は１箇所に集中していることが多いので、外れ値の影響を受けにくい最頻値、中央値の重みを大きくし、平均値の重みを小さくするようにしてもよい。

同様に、重要度計算部１６０は、画像解析データを用いた重要度計算の中間値を計算する。重要度計算部は、各３Ｄ画像に対して画像解析部１３０ａ、１３０ｂが取得した各３Ｄ画像の輝度分布、エッジ分布の少なくともいずれかの標準偏差の値を用いて重要度の中間値を算出する。この中間値を１次元の変数ｉ（０〜１．０の範囲の値を取り、値が大きいほど重要度への寄与が高いものとする）で表すと、ｉの計算式は、輝度分布やエッジ分布の標準偏差の値をｉｘ，ｉｙとして、以下の数式２で表すことが出来る。

数式２において、δ，εは解析データを補正する値で、上述した視差解析データを用いた重要度計算の中間値の計算の時と同様に、映像の合成対象によって自動で設定してもよく、ユーザが任意に設定してもよい。

さらに、重要度計算部１６０は、重要度を算出するに際して、合成時の合成情報を利用してもよい。この合成時の合成情報とは、例えば０〜１．０の範囲の値を取るブレンド値であり、このブレンド値の値が１．０であれば非透過の画像であることを示す。

図８は、２つの３Ｄ画像を合成する際のブレンド値の違いによる出力結果の違いについて示す説明図である。図８に示したのは、２つの３Ｄ画像を、ブレンド値０．４で合成する場合と、ブレンド値１．０で合成する場合の例である。ブレンド値が０．４であれば、画像Ａと画像Ｂとを合成する際に、画像Ｂが透けて見える様に画像Ａを合成し、ブレンド値が１．０であれば、画像Ｂが透けて見えない様に画像Ａを合成する。

重要度計算部１６０は、このブレンド値をｋとして、上述したように求められるｄ、ｉ、ｋを用いて重要度ｆを計算する。重要度ｆの計算式は、例えば以下の数式３の様に表すことが出来る。

数式３において、μ，θは重要度ｆを補正するための値である。これらの値も、映像の合成対象によって自動で設定してもよく、ユーザが任意に設定してもよい。重要度計算部１６０は、このように視差解析データを用いた重要度計算の中間値、画像解析データを用いた重要度計算の中間値およびブレンド値を用いて、各３Ｄ画像の重要度ｆを算出することができる。

次に、過去のフレームの解析データも用いて重要度を計算する例を説明する。重要度計算部１６０において重要度ｆの計算式を求める際に、現フレームの重要度をｆ（ｔ）、過去フレームの重要度をｆ（ｔ１），ｆ（ｔ２），．．．とすると、重要度計算部１６０において計算される重要度ｆは、例えば以下の数式４で算出することができる。

数式４において、α、βは過去フレームの重要度を補正する値で、例えば、現フレームから遠くなるほど値が小さくなるようにしてもよい。そして、重要度計算部１６０は全ての３Ｄ画像について重要度ｆの値を計算する。全ての３Ｄ画像について重要度ｆの値が求められることで、各３Ｄ画像の重要度の値の比較が可能となる。

もちろん、ここに挙げたものは重要度の計算の一例であり、重要度の計算はかかる例に限定されるものではない。

上記ステップＳ１０５で、複数の３Ｄ画像を合成する際の合成情報と、上記ステップＳ１０４での補正後の解析データとを基に、各３Ｄ画像の重要度ｆを計算すると、続いて画像処理装置１００は、上記ステップＳ１０５で求めた重要度ｆの値を基に、各３Ｄ画像に対して視差補正や画像補正を行う（ステップＳ１０６）。各３Ｄ画像に対する視差補正や画像補正は、画像補正部１７０ａ、１７０ｂが実行する。

上記ステップＳ１０６における視差補正方法として、例えば、重要度の低い３Ｄ画像だけを補正するようにしてもよく、重要度に応じてそれぞれの３Ｄ画像の補正量を変えるようにしてもよい。

図９は、上記ステップＳ１０６における視差補正方法の一例をグラフで示す説明図である。図９に示した視差補正方法は、重要度の低い３Ｄ画像に対してのみ視差を補正する例についてのものである。

図９には、画像Ａと画像Ｂの２つの３Ｄ画像の視差の統計情報がグラフで示されている。そして、画像Ａと画像Ｂには視差が被る領域が存在する。この画像Ａ及び画像Ｂに対してそれぞれ重要度ｆｘ、ｆｙが計算された結果、画像Ａの重要度が画像Ｂの重要度に比べて低い場合（すなわちｆｘ＜ｆｙの場合）、画像補正部１７０ａ、１７０ｂは、重要度の低い３Ｄ画像である画像Ａについてのみ視差を補正する。そして、視差の補正量がｃであれば、画像補正部１７０ａ、１７０ｂは、画像Ａについて、画像Ｂの視差の範囲と重ならないように、手前側に補正量ｃだけ視差を補正する。

図１０は、上記ステップＳ１０６における視差補正方法の一例をグラフで示す説明図である。図１０に示した視差補正方法は、重要度に応じてそれぞれの３Ｄ画像の補正量を変える例についてのものである。

図１０には、画像Ａと画像Ｂの２つの３Ｄ画像の視差の統計情報がグラフで示されている。そして、画像Ａと画像Ｂには視差が被る領域が存在する。この画像Ａ及び画像Ｂに対してそれぞれ重要度ｆｘ、ｆｙが計算されると、画像補正部１７０ａ、１７０ｂは、その重要度に応じて補正量を変更する。図１０に示した例では、手前側をマイナス方向として、画像Ａの補正量は−ｃ×ｆｘ／（ｆｘ＋ｆｙ）、画像Ｂの補正量はｃ×ｆｙ／（ｆｘ＋ｆｙ）とする。

また上記ステップＳ１０６における画像補正に関しては、例えば、画像データのデコード処理にフィードバックするようにしてもよい。例えば、重要度を計算した結果、重要度の低いと算出された映像については、デコードの際のデコード品質を下げるようにしてもよい。

上記ステップＳ１０６で、重要度ｆの値を基に、各３Ｄ画像に対して視差補正や画像補正を行うと、続いて画像処理装置１００は、３Ｄ画像を合成する際の合成情報に基づいて３Ｄ画像の合成を行う（ステップＳ１０７）。このステップＳ１０７の３Ｄ画像の合成処理は、画像合成部１８０が、３Ｄ画像を合成する際の合成情報を用いて実行する。このステップＳ１０７において合成された３Ｄ画像は、表示部１９０に供給されて、合成された３Ｄ画像として表示部１９０で表示される。

以上、図２を用いて本開示の一実施形態にかかる画像処理装置１００の動作について説明した。なお、図２に示した流れ図において、ステップＳ１０１における３Ｄ画像の解析処理と、ステップＳ１０２における３Ｄ画像の視差検出処理およびステップＳ１０３における３Ｄ画像の視差解析処理とは並行して実行されても良い。

＜２．まとめ＞
以上説明したように本開示の一実施形態に係る画像処理装置１００は、複数の３Ｄ画像を合成して表示する際に、視差が重なり合わないように少なくとも１つの３Ｄ画像の視差を補正する。そして３Ｄ画像の視差を補正する際には、各３Ｄ画像の重要度を、画像解析の結果に基づいて算出し、その重要度の情報を用いて、補正対象の３Ｄ画像の決定及び視差の補正量の決定を行う。

このように、各３Ｄ画像の重要度を決定し、重要度に基づいて補正対象の３Ｄ画像の決定及び視差の補正量の決定を行うことで、本開示の一実施形態に係る画像処理装置１００は、視差補正の際に、適切な視差補正を適切な３Ｄ画像に対して実行することが可能となり、視差補正には適切ではない３Ｄ画像に対する視差補正を防ぐことができる。

なお、上記各実施形態では、２つの３Ｄ画像を合成する際の処理について例示したが、本開示はかかる例に限定されない。３つ以上の３Ｄ画像を、ユーザの目に疲労感を与えないように合成する場合にも同様に適用できることは言うまでもない。

また上記各実施形態では、画像処理装置１００に表示部１９０が含まれている場合について説明したが、本開示はかかる例に限定されない。画像処理装置は３Ｄ画像の合成までを実行し、３Ｄ画像の表示は別装置が実行してもよい。また、画像処理装置１００が実行した処理は、３Ｄ画像を表示する３Ｄディスプレイとネットワークで接続されたサーバ群が実行し、３Ｄ画像を合成して得られる画像データを、３Ｄディスプレイがネットワークを通じて該サーバ群から受信するようにしても良い。

また上記各実施形態で示した処理は、ハードウェアによって行われるようにしても良く、ソフトウェアによって行われるようにしても良い。上記各実施形態で示した処理をソフトウェアによって実行する場合には、画像処理装置１００に内蔵されたＣＰＵ等の制御装置が、ＲＯＭ、ＨＤＤ、ＳＳＤその他の記録媒体に格納されたコンピュータプログラムを順次読みだして実行するようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、
各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、
各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析部と、
前記画像解析部による前記所定の画像解析処理の結果および前記視差解析部が生成した視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算部と、
各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報及び前記重要度計算部が計算した各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御部と、
を備える、画像処理装置。
（２）
前記重要度計算部は、各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報における最頻値、中央値、平均値の値を用いて重要度の中間値を算出する、前記（１）に記載の画像処理装置。
（３）
前記重要度計算部は、各前記３Ｄ画像に対して前記画像解析部が取得した輝度分布およびエッジ分布の標準偏差の値を用いて重要度の中間値を算出する、前記（１）または（２）に記載の画像処理装置。
（４）
前記重要度計算部は、各前記３Ｄ画像の合成時の情報を用いて重要度の中間値を算出する、前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記画像解析部は、各前記３Ｄ画像を複数の領域に分割して領域ごとに重み付けを行なって前記所定の画像解析処理を実行する、前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記重要度計算部は、前記画像解析部が取得した前記複数の３Ｄ画像の現フレームの前記所定の画像解析処理の結果を用いて各前記３Ｄ画像の重要度を計算する、前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記重要度計算部は、前記画像解析部が取得した前記複数の３Ｄ画像の過去のフレームの前記所定の画像解析処理の結果を用いて各前記３Ｄ画像の重要度を計算する、前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、
各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、
各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、
前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、
各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、
を備える、画像処理方法。
（９）
コンピュータに、
複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、
各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、
各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、
前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、
各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、
を実行させる、コンピュータプログラム。

１００ ：画像処理装置
１１０ａ ：視差検出部
１１０ｂ ：視差検出部
１２０ａ ：視差解析部
１２０ｂ ：視差解析部
１３０ａ ：画像解析部
１３０ｂ ：画像解析部
１４０ ：解析データ補正部
１５０ ：解析データ蓄積部
１６０ ：重要度計算部
１７０ａ ：画像補正部
１７０ｂ ：画像補正部
１８０ ：画像合成部
１９０ ：表示部

Claims (9)

1. 複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出部と、
   各前記３Ｄ画像に対して前記視差検出部が検出した視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析部と、
   各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析部と、
   前記画像解析部による前記所定の画像解析処理の結果および前記視差解析部が生成した視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算部と、
   各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報及び前記重要度計算部が計算した各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御部と、
   を備える、画像処理装置。
2. 前記重要度計算部は、各前記３Ｄ画像に対して前記視差解析部が生成した視差の統計情報における最大値、最小値、最頻値、中央値、平均値の少なくともいずれかの値を用いて重要度の中間値を算出する、請求項１に記載の画像処理装置。
3. 前記重要度計算部は、各前記３Ｄ画像に対して前記画像解析部が取得した各前記３Ｄ画像の輝度分布、エッジ分布の少なくともいずれかの標準偏差の値を用いて重要度の中間値を算出する、請求項１に記載の画像処理装置。
4. 前記重要度計算部は、各前記３Ｄ画像の合成時の情報を用いて重要度の中間値を算出する、請求項１に記載の画像処理装置。
5. 前記画像解析部は、各前記３Ｄ画像を複数の領域に分割して領域ごとに重み付けを行なって前記所定の画像解析処理を実行する、請求項１に記載の画像処理装置。
6. 前記重要度計算部は、前記画像解析部が取得した前記複数の３Ｄ画像の現フレームの前記所定の画像解析処理の結果を用いて各前記３Ｄ画像の重要度を計算する、請求項１に記載の画像処理装置。
7. 前記重要度計算部は、前記画像解析部が取得した前記複数の３Ｄ画像の過去のフレームの前記所定の画像解析処理の結果を用いて各前記３Ｄ画像の重要度を計算する、請求項１に記載の画像処理装置。
8. 複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、
   各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、
   各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、
   前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、
   各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、
   を備える、画像処理方法。
9. コンピュータに、
   複数の３Ｄ画像が供給され、各前記３Ｄ画像に対して視差を検出する視差検出ステップと、
   各前記３Ｄ画像に対して前記視差検出ステップで検出された視差を用いて、各前記３Ｄ画像に対して視差の統計情報を生成する視差解析ステップと、
   各前記３Ｄ画像に対して所定の画像解析処理を実行する画像解析ステップと、
   前記画像解析ステップによる前記所定の画像解析処理の結果および前記視差解析ステップで生成された視差の統計情報を用いて各前記３Ｄ画像の重要度を計算する重要度計算ステップと、
   各前記３Ｄ画像に対して前記視差解析ステップで生成された視差の統計情報及び前記重要度計算ステップで計算された各前記３Ｄ画像の重要度を用いて各前記３Ｄ画像の視差を変換する視差制御ステップと、
   を実行させる、コンピュータプログラム。
   
   

Images