JP2015154101A - 画像処理方法、画像処理装置及び電子機器 - Google Patents
画像処理方法、画像処理装置及び電子機器 Download PDFInfo
- Publication number
- JP2015154101A JP2015154101A JP2014023608A JP2014023608A JP2015154101A JP 2015154101 A JP2015154101 A JP 2015154101A JP 2014023608 A JP2014023608 A JP 2014023608A JP 2014023608 A JP2014023608 A JP 2014023608A JP 2015154101 A JP2015154101 A JP 2015154101A
- Authority
- JP
- Japan
- Prior art keywords
- attention
- parallax
- parallax value
- image
- attention level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000001965 increasing effect Effects 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 18
- 238000007619 statistical method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000010244 region-of-interest analysis Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】立体画像表示において、視聴者が注目する領域の立体感を強調する。
【解決手段】本開示の画像処理方法は、立体視可能な入力画像に対する視聴者の注目度を取得することと、入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、を備える。
【選択図】図1
【解決手段】本開示の画像処理方法は、立体視可能な入力画像に対する視聴者の注目度を取得することと、入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、を備える。
【選択図】図1
Description
本開示は、画像処理方法、画像処理装置及び電子機器に関する。
近年、コンテンツを立体的に表示することが可能な立体視表示装置が普及しつつある。立体視表示装置では、ディスプレイ上に右目用画像及び左目用画像を水平方向にずらして表示し、そのずれの程度で視差量を調整し、これにより、奥行き方向の任意の距離にコンテンツを表示する。
例えば特許文献1に記載されているように、視差分布がディスプレイ面に対して一方に偏っている場合に、ディスプレイ面の前後の視差表示範囲内を有効利用する技術が知られている。この技術は、画像のコントラスト強調技術として広く使われているヒストグラム平滑化(ヒストグラム均等法)を視差マップに適用し、限られた視差範囲内で分布の偏りを低減するように視差のレイアウトを変換するものである。
しかしながら特許文献1に記載された技術では、コンテンツの視差が画一的に変換されるため、視聴者が注目しやすいオブジェクト(例えば人物の顔など)の視差分布が必ずしも拡大されるとは限らない。従って、特許文献1の技術をそのまま適用したとしても、人の目につきやすい領域(注目度又は誘目度の高い領域)の視差がつぶれてしまい、視聴者は自然で快適な立体画像を視聴することが出来なかった。
そこで、立体画像表示において、視聴者が注目する領域の立体感を強調することが求められていた。
本開示によれば、立体視可能な入力画像に対する視聴者の注目度を取得することと、入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、を備える、画像処理方法が提供される。
前記重み付けにより入力視差値を出力視差値へ変換する変換テーブルを生成し、前記変換テーブルにより前記注目度が高い画素の視差値を増加するものであっても良い。
また、前記視差値と前記注目度との関係として、前記視差値に応じた前記注目度のヒストグラムを取得するものであっても良い。
また、前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記重み付けを行い、前記帯域の注目度をゲイン倍することで重み付けヒストグラムを生成し、前記重み付けヒストグラムをヒストグラム均等化して前記変換テーブルを生成するものであっても良い。
また、前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記変換テーブルの前記入力視差値に対する前記出力視差値の傾きを増大させることで、前記重み付けを行うものであっても良い。
また、前記入力画像の画像特徴量に基づいて、前記入力画像に対する視聴者の注目度を取得するものであっても良い。
また、前記入力画像を視認する視認者の視線の方向に基づいて、前記入力画像に対する視聴者の注目度を取得するものであっても良い。
また、本開示によれば、立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、を備える、画像処理装置が提供される。
また、本開示によれば、立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、前記視差増加部が増加させた視差値に基づいて、立体画像を表示する表示部と、を備える、電子機器が提供される。
以上説明したように本開示によれば、視聴者が注目する領域の立体感を強調することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.画像処理装置の構成例
1.2.視差変換テーブルの例
1.3.注目度のヒストグラムに複数の極大値が存在する例
2.第2の実施形態
2.1.画像処理装置の構成例
3.第3の実施形態
3.1.画像処理装置の構成例
3.2.視差変換テーブルの例
1.第1の実施形態
1.1.画像処理装置の構成例
1.2.視差変換テーブルの例
1.3.注目度のヒストグラムに複数の極大値が存在する例
2.第2の実施形態
2.1.画像処理装置の構成例
3.第3の実施形態
3.1.画像処理装置の構成例
3.2.視差変換テーブルの例
<1.第1の実施形態>
[1.1.画像処理装置の構成例]
まず、図1を参照して、本開示の第1の実施形態に係る画像処理装置100の構成について説明する。図1に示すように、本実施形態の画像処理装置100は、注目度(顕著性)マップ生成部110、注目度マップ統計解析部120、視差ヒストグラム形成部130、変換テーブル生成部140、を有して構成されている。
[1.1.画像処理装置の構成例]
まず、図1を参照して、本開示の第1の実施形態に係る画像処理装置100の構成について説明する。図1に示すように、本実施形態の画像処理装置100は、注目度(顕著性)マップ生成部110、注目度マップ統計解析部120、視差ヒストグラム形成部130、変換テーブル生成部140、を有して構成されている。
注目度マップ生成部110には、入力画像の情報が入力される。本開示の各実施形態において、入力画像は立体画像であり、画像の奥行き位置に応じた視差が設定される。立体視表示装置では、ディスプレイ上に右目用画像及び左目用画像を水平方向にずらして表示し、そのずれの程度で視差量を調整し、これにより、奥行き方向の任意の距離にコンテンツを表示する。画像処理装置100は、入力画像の視差量を視聴者の注目度に応じて調整することで、視聴者が注目する領域の立体感を強調し、より臨場感のある立体画像を提供する。なお、入力画像は立体画像に限定されるものではなく、多視点画像を構成する画像であっても良い。
注目度マップ生成部110は、入力画像のコントラスト、輝度レベル、色あい(RGB)、エッジ強度やエッジの方向などの画像特徴量に基づいて、入力画像の注目度マップを算出する。注目度マップは、入力画像の各画素に対して視聴者による注目度を示す情報を付加したものである。注目度マップ生成部110は、画像のコントラストが高い場合、輝度が高い場合、画像のエッジに定常性がある場合、画像の空間周波数が高い場合、等の場合は、注目度が高いと判定する。なお、画像のエッジに定常性がある場合とは、コントラスト、輝度の変化に規則性があり、エッジが人の顔の輪郭などのオブジェクトを表している場合が該当する。また、コントラストは、空間周波数の振幅に相当する。例えば、中央に人物の顔が写っており、背景が特徴の無い画像の場合、中央の人物の顔の注目度が高くなる。また、注目度マップの算出方法としては、例えば入力画像の輝度レベル、色(RGB)、エッジ強度やエッジの方向などの画像特徴量に基づいて、入力画像の顕著性(誘目度)のマップを算出する手法等を用いることができる。また、注目度マップ生成部110は、入力画像からブロックマッチング等の手法を用いて画像の動きベクトルを求め、動きベクトルから注目度を算出しても良いし、動きベクトル情報も加味した注目度マップを算出してもよい。
注目度マップ統計解析部120には、視差マップの情報が入力される。視差マップ情報は、入力画像の各画素の視差を示す情報である。注目度マップ統計解析部120は、各画素の視差量毎に注目度マップ生成部110が算出した注目度マップを解析し、注目度の高い視差に対する重みパラメータを設定する。つまり、注目度マップ統計解析部120は、どの帯域の視差の注目度が高いか(目立ちやすいか)を統計的に解析し、これに基づいて重み付け処理を行う。
図2は、注目度マップ統計解析部120が形成した、視差量毎に各画素の注目度のスコアを累積したヒストグラムを示す模式図である。図2に示すように、注目度マップ統計解析部120は、各画素の視差と注目度を示す情報とに基づいて、視差に対する注目度の度数を示すヒストグラムを作成する。例えば、中央に人物の顔が写っており、背景が特徴の無い画像の場合、中央の人物の顔の注目度が高くなるため、人物の顔に対応する画素の視差値dにおいて、注目度の度数(図2の縦軸)が高くなる。
そして、注目度マップ統計解析部120は、ヒストグラムのモード値から注目度が高い視差帯域を推定し、重みパラメータを設定する。具体的には、図2において視差値dの注目度が最も高いため、視差値dの近辺の帯域aに対して重み付けが高くなるように重みパラメータを設定する。
視差ヒストグラム形成部130は、注目度マップ統計解析部120が解析した視差に対応する重みパラメータを用いて重み付け視差ヒストグラムを形成する。図3は、視差ヒストグラム形成部130が形成した重み付け視差ヒストグラムを示す模式図である。図3に示すヒストグラムは、視差値dの近辺の帯域aで図2の度数が重みパラメータ(重み付け係数(1.3倍))によって増加されている。図3の帯域aにおいて、斜線のハッチングを付した部分が重みパラメータによる増加分に相当する。視差値dの近辺の帯域a以外では、重みパラメータが1.0とされ、図2と同一のヒストグラムとされる。なお、帯域a以外の重みパラメータを1.0未満としても良い。
変換テーブル生成部140は、図3に示す重み付け視差ヒストグラムの累積ヒストグラムから視差変換テーブルを作成する。視差変換テーブルの作成は、画像のコントラスト強調技術として使われるヒストグラム平滑化(ヒストグラム均等法)と同様に行うことができる。そして、変換テーブル生成部140は、生成したテーブルに基づいて、視差マップの視差を変換して出力する。
[1.2.視差変換テーブルの例]
図4は、変換テーブル生成部140が作成した視差変換テーブルを示す模式図である。視差変換テーブルは、入力された視差値(入力視差;横軸)に対して出力する視差値(出力視差)の関係を規定する。図4に示す視差変換テーブルの実線の特性は、図3に示す重み付け視差ヒストグラムの度数を視差値と対応付けて累積することによって生成される。例えば、視差値dの入力視差に対応する出力視差eの値は、図3に示す視差値0からdまでの度数を累積した値である。つまり、出力視差e=度数f1+f2+f3+f4+f5+f6である。
図4は、変換テーブル生成部140が作成した視差変換テーブルを示す模式図である。視差変換テーブルは、入力された視差値(入力視差;横軸)に対して出力する視差値(出力視差)の関係を規定する。図4に示す視差変換テーブルの実線の特性は、図3に示す重み付け視差ヒストグラムの度数を視差値と対応付けて累積することによって生成される。例えば、視差値dの入力視差に対応する出力視差eの値は、図3に示す視差値0からdまでの度数を累積した値である。つまり、出力視差e=度数f1+f2+f3+f4+f5+f6である。
同様に、図4に示す一点鎖線の特性は、図2に示すヒストグラムの度数を視差値と対応付けて累積することによって生成される特性であり、実線の特性との比較のために示したものである。また、図4に示す破線の特性は、入力視差に対して変換を行うことなく出力視差を出力する場合を示している(入力視差=出力視差)。
図4に示す実線の特性と一点鎖線の特性を比較すると、実線の特性は、重みパラメータによって帯域aの度数が増加された重み付け視差ヒストグラムから作成されるため、帯域aにおいて破線の特性よりも傾きが急峻になっている。
変換テーブル生成部140には、視差マップの視差値が入力される。変換テーブル生成部140は、入力された視差値(入力視差)を図4の実線の特性を用いて変換し、出力視差として出力する。これにより、注目度の高い視差値dの近辺の帯域aでは、重みパラメータによる重み付けにより実線の特性が急峻になっているため、入力視差に対して出力視差が一転鎖線又は破線の特性よりもより大きく増大する。従って、注目度の高い画素の視差値が増大されることになり、注目度が高い領域の立体感を強調することが可能となる。
裸眼で立体画像を認識させる場合、ディスプレイにスリットを設けて視聴者の左右の目に左目用画像と右目用画像のそれぞれを視認させる。このような裸眼による立体表示では、クロストークが発生するため、視差値を大きくするには限界がある。従って、視聴者による注目度の高い領域の視差値を増大させることで、クロストークを最小限に抑えて立体感を強調することが可能となる。同様に、眼鏡を用いるタイプの立体画像表示では、視聴者がシッター眼鏡を装着することで視聴者の左右の目に左目用画像と右目用画像のそれぞれを視認させる。このようなシャッター眼鏡を用いる立体表示では、視差値を大きくすると立体表示により視聴者の気分が害されるなどの弊害がある(いわゆる3D酔い)。従って、視聴者による注目度の高い領域の視差値を増大させることで、視聴者の気分を害することなく、立体感を強調することが可能となる。
なお、本実施形態では、視聴者の注目度に応じて視差を調整することとしたが、注目度に応じて他のパラメータを変更するようにしても良い。例えば、注目度に応じて画像のコントラスト、空間周波数、色相彩度などを変更するなど、画素が有する他のパラメータを変更することも可能である。
[1.3.注目度のヒストグラムに複数の極大値が存在する例]
図5は、注目度マップ統計解析部120が形成した視差量毎に注目度のスコアを累積したヒストグラムを示す模式図であって、ヒストグラムに2つの極大値が存在する場合を示す模式図である。図5に示すように、ヒストグラムの極大値が複数ある場合には、ヒストグラムから複数の極大値を度数順に検出して、複数の視差帯域に対して重みパラメータを設定する。図5に示す例では、2つの極大値に対応する視差値d1,d2を中心とする帯域a1,a2について、重みパラメータを1.3とし、それ以外の帯域の重みパラメータを1.0(又は1.0以下)とし、図3と同様に重み付け視差ヒストグラムを生成する。そして、生成した重み付け視差ヒストグラムの度数を視差値の増加に伴って累積することで、図6の実線の特性に示す視差変換テーブルを生成する。あるいは、画像から動きベクトルを検出して、動き量の大きさに応じて、拡大させたい視差帯域の優先順位を設定してもよい。
図5は、注目度マップ統計解析部120が形成した視差量毎に注目度のスコアを累積したヒストグラムを示す模式図であって、ヒストグラムに2つの極大値が存在する場合を示す模式図である。図5に示すように、ヒストグラムの極大値が複数ある場合には、ヒストグラムから複数の極大値を度数順に検出して、複数の視差帯域に対して重みパラメータを設定する。図5に示す例では、2つの極大値に対応する視差値d1,d2を中心とする帯域a1,a2について、重みパラメータを1.3とし、それ以外の帯域の重みパラメータを1.0(又は1.0以下)とし、図3と同様に重み付け視差ヒストグラムを生成する。そして、生成した重み付け視差ヒストグラムの度数を視差値の増加に伴って累積することで、図6の実線の特性に示す視差変換テーブルを生成する。あるいは、画像から動きベクトルを検出して、動き量の大きさに応じて、拡大させたい視差帯域の優先順位を設定してもよい。
従って、図6に示す変換テーブルにより各画素の視差値を変換することにより、注目度の高い複数の領域の視差を強調することが可能となる。なお、図6に示す破線の特性は、図4と同様に入力視差に対して変換を行うことなく出力視差を出力する場合の特性を示している。
以上説明したように第1の実施形態によれば、入力画像の注目度を考慮し、注目度の大きい画素ほど視差値が大きくなるように視差値を変換するようにした。これにより、注目度の高い画素の視差値が増大されることになり、注目度が高い領域の立体感を強調することが可能となる。従って、コンテンツの視差分布がディスプレイ面に対して偏っている場合などにおいても、視聴者の注目度に応じた視差変換によりコンテンツの視差分布の偏りを低減できるため、視聴者は注目度に応じてより立体感が増強された映像を楽しむことができる。画像の注目度を反映させた視差変換テーブルを作成することで、視聴者が注目しやすい領域の視差量が拡大されるので、視聴者は快適に立体映像を楽しむことができる。
<2.第2の実施形態>
次に、本開示の第2の実施形態について説明する。第1の実施形態では入力画像を解析して入力画像の注目度を判定したが、第2の実施形態では視聴者の視線の方向から入力画像の注目度を判定する。
次に、本開示の第2の実施形態について説明する。第1の実施形態では入力画像を解析して入力画像の注目度を判定したが、第2の実施形態では視聴者の視線の方向から入力画像の注目度を判定する。
[2.1.画像処理装置の構成例]
図7は、第2の実施形態に係る画像処理装置200の構成を示す模式図である。図7に示すように、第2の実施形態のシステム200は、カメラ210、視線検出部220、注目領域解析部230、視差ヒストグラム形成部130、変換テーブル生成部140、を有して構成されている。図7において、視差ヒストグラム形成部130及び変換テーブル生成部140の構成は、基本的に第1の実施形態と同様である。
図7は、第2の実施形態に係る画像処理装置200の構成を示す模式図である。図7に示すように、第2の実施形態のシステム200は、カメラ210、視線検出部220、注目領域解析部230、視差ヒストグラム形成部130、変換テーブル生成部140、を有して構成されている。図7において、視差ヒストグラム形成部130及び変換テーブル生成部140の構成は、基本的に第1の実施形態と同様である。
カメラ210は、視聴者の顔、特に眼を撮像する。視線検出部220は、カメラ210が撮像した画像から視聴者の視線方向を検出する。注目領域解析部230は、視線検出部220が検出した視聴者の視線方向から、入力画像内で視聴者が注目している領域の位置情報を検出し、その領域における各画素の視差マップの解析を行い、視差量毎に視聴者の注目度のスコアを累積したヒストグラムを生成する。このヒストグラムは、第1の実施形態で説明した図2のヒストグラムと同様に生成される。そして、注目領域解析部230は、注目領域の視差の帯域a付近の視差値が拡大されるように、視差ヒストグラムに対して重みパラメータを設定する。重みパラメータの設定は、第1の実施形態と同様である。
視差ヒストグラム形成部130、及び変換テーブル生成部140による処理は第1の実施形態と同様に行うことができる。視差ヒストグラム形成部130は、注目領域解析部230が解析した視差に対応する重みパラメータを用いて重み付け視差ヒストグラムを形成する。例えば、第1の実施形態と同様に、視聴者が注目している画像位置の視差量dを含む帯域aのヒストグラムの度数にゲインを乗算して増大させ、重み付け視差ヒストグラムを形成する。変換テーブル生成部140は、重み付け視差ヒストグラムの累積ヒストグラムから視差変換テーブルを作成する。
従って、変換テーブル生成部140が生成した重み付け視差ヒストグラムは、視聴者の視線に応じた注目領域の視差が重みパラメータによって増大されることになる。これにより、視聴者の視線から求まる注目領域の立体感を強調することが可能となる。
以上説明したように第2の実施形態によれば、視聴者の視線方向に基づいて各画素の注目度が判定される。そして、第1の実施形態と同様、注目度の高い帯域の視差値が重み付けパラメータによって増加される。従って、注目度の高い画像領域の立体感を強調することが可能となる。
<3.第3の実施形態>
[3.1.画像処理装置の構成例]
次に、本開示の第3の実施形態について説明する。図8は、第3の実施形態に係る画像処理装置の構成を示す模式図である。図8に示すように、第3の実施形態の画像処理装置300は、カメラ210、視線検出部220、注目領域解析部230、変換テーブル生成部310、を有して構成されている。
[3.1.画像処理装置の構成例]
次に、本開示の第3の実施形態について説明する。図8は、第3の実施形態に係る画像処理装置の構成を示す模式図である。図8に示すように、第3の実施形態の画像処理装置300は、カメラ210、視線検出部220、注目領域解析部230、変換テーブル生成部310、を有して構成されている。
第2の実施形態と同様、視線検出部220は、カメラ210で撮像した画像から視聴者の視線方向を検出する。注目領域解析部230は、視線検出部220が検出した視聴者の視線方向から、入力画像内で視聴者が注目している領域の位置情報を検出し、その領域の位置における各画素の視差マップの解析を行い、視差量毎に視聴者の注目度のスコアを累積したヒストグラムを生成する。このヒストグラムは、第1の実施形態で説明した図2のヒストグラムと同様に生成される。そして、注目領域解析部230は、注目領域の視差dの近辺を含む帯域aの視差値が拡大されるように、視差ヒストグラムに対して重みパラメータを設定する。
[3.2.視差変換テーブルの例]
変換テーブル生成部310は、注目領域解析部230が設定した重みパラメータを用いて変換テーブルを生成する。図9は、第3の実施形態の変換テーブル生成部240が生成する変換テーブルを示す模式図である。変換テーブル生成部310は、重みパラメータに基づいて、注目領域解析部230が作成したヒストグラムにおける注目度に極大値が生じる視差値dの近辺(d+th1〜d+th2)の帯域aにおいて、入力視差に対する出力視差の変化量をゲイン倍して、入力視差に対して出力視差を増大させる。これにより、重み付け視差ヒストグラムを生成することなく、図9に示す変換テーブルを生成することができる。
変換テーブル生成部310は、注目領域解析部230が設定した重みパラメータを用いて変換テーブルを生成する。図9は、第3の実施形態の変換テーブル生成部240が生成する変換テーブルを示す模式図である。変換テーブル生成部310は、重みパラメータに基づいて、注目領域解析部230が作成したヒストグラムにおける注目度に極大値が生じる視差値dの近辺(d+th1〜d+th2)の帯域aにおいて、入力視差に対する出力視差の変化量をゲイン倍して、入力視差に対して出力視差を増大させる。これにより、重み付け視差ヒストグラムを生成することなく、図9に示す変換テーブルを生成することができる。
上述したように第1及び第2の実施形態では重み付け視差ヒストグラムからヒストグラム均等法を用いて変換テーブルを作成した。第3の実施形態によれば、図9に示すように、入力視差=出力視差の特性(破線)に対して、帯域aで特性の傾きに係数を乗算して傾きをより急峻にすることで変換テーブルを生成することができる。従って、変換テーブルの生成をより簡素に行うことが可能となる。また、数学的な曲線関数(例えばシグモイド関数)やルックアップテーブルを用いて変換テーブルを作成することも可能である。
[3.3.電子機器の構成例]
本開示の各実施形態に係る画像処理装置100で処理された視差値を用いて、入力画像は、図10に示す液晶表示装置(LCD)等の電子機器1000の表示部1100によって表示される。このため、本実施形態に係る電子機器1000は、画像処理装置100と表示部1100とを備える。電子機器1000は、例えばテレビ受像機、携帯電話、スマートフォン等のモバイル機器、デジタルカメラ等の機器である。画像処理装置100で画像処理された入力画像を表示部に表示することで、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが可能となる。
本開示の各実施形態に係る画像処理装置100で処理された視差値を用いて、入力画像は、図10に示す液晶表示装置(LCD)等の電子機器1000の表示部1100によって表示される。このため、本実施形態に係る電子機器1000は、画像処理装置100と表示部1100とを備える。電子機器1000は、例えばテレビ受像機、携帯電話、スマートフォン等のモバイル機器、デジタルカメラ等の機器である。画像処理装置100で画像処理された入力画像を表示部に表示することで、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 立体視可能な入力画像に対する視聴者の注目度を取得することと、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、
を備える、画像処理方法。
(2) 前記重み付けにより入力視差値を出力視差値へ変換する変換テーブルを生成し、前記変換テーブルにより前記注目度が高い画素の視差値を増加する、前記(1)に記載の画像処理方法。
(3) 前記視差値と前記注目度との関係として、前記視差値に応じた前記注目度のヒストグラムを取得する、前記(2)に記載の画像処理方法。
(4) 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記重み付けを行い、前記帯域の注目度をゲイン倍することで重み付けヒストグラムを生成し、
前記重み付けヒストグラムをヒストグラム均等化して前記変換テーブルを生成する、前記(3)に記載の画像処理方法。
(5) 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記変換テーブルの前記入力視差値に対する前記出力視差値の傾きを増大させることで、前記重み付けを行う、前記(3)に記載の画像処理方法。
(6) 前記入力画像の画像特徴量に基づいて、前記入力画像に対する視聴者の注目度を取得する、前記(1)に記載の画像処理方法。
(7) 前記入力画像を視認する視認者の視線の方向に基づいて、前記入力画像に対する視聴者の注目度を取得する、前記(1)に記載の画像処理方法。
(8) 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
を備える、画像処理装置。
(9) 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
前記視差増加部が増加させた視差値に基づいて、立体画像を表示する表示部と、
を備える、電子機器。
(1) 立体視可能な入力画像に対する視聴者の注目度を取得することと、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、
を備える、画像処理方法。
(2) 前記重み付けにより入力視差値を出力視差値へ変換する変換テーブルを生成し、前記変換テーブルにより前記注目度が高い画素の視差値を増加する、前記(1)に記載の画像処理方法。
(3) 前記視差値と前記注目度との関係として、前記視差値に応じた前記注目度のヒストグラムを取得する、前記(2)に記載の画像処理方法。
(4) 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記重み付けを行い、前記帯域の注目度をゲイン倍することで重み付けヒストグラムを生成し、
前記重み付けヒストグラムをヒストグラム均等化して前記変換テーブルを生成する、前記(3)に記載の画像処理方法。
(5) 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記変換テーブルの前記入力視差値に対する前記出力視差値の傾きを増大させることで、前記重み付けを行う、前記(3)に記載の画像処理方法。
(6) 前記入力画像の画像特徴量に基づいて、前記入力画像に対する視聴者の注目度を取得する、前記(1)に記載の画像処理方法。
(7) 前記入力画像を視認する視認者の視線の方向に基づいて、前記入力画像に対する視聴者の注目度を取得する、前記(1)に記載の画像処理方法。
(8) 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
を備える、画像処理装置。
(9) 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
前記視差増加部が増加させた視差値に基づいて、立体画像を表示する表示部と、
を備える、電子機器。
100,200,300 画像処理装置
110 注目度マップ生成部
120 注目度マップ統計解析部
130 視差ヒストグラム形成部
140,310 変換テーブル生成部
220 視線検出部
230 注目領域解析部
1000 電子機器
110 注目度マップ生成部
120 注目度マップ統計解析部
130 視差ヒストグラム形成部
140,310 変換テーブル生成部
220 視線検出部
230 注目領域解析部
1000 電子機器
Claims (9)
- 立体視可能な入力画像に対する視聴者の注目度を取得することと、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得することと、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加することと、
を備える、画像処理方法。 - 前記重み付けにより入力視差値を出力視差値へ変換する変換テーブルを生成し、前記変換テーブルにより前記注目度が高い画素の視差値を増加する、請求項1に記載の画像処理方法。
- 前記視差値と前記注目度との関係として、前記視差値に応じた前記注目度のヒストグラムを取得する、請求項2に記載の画像処理方法。
- 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記重み付けを行い、前記帯域の注目度をゲイン倍することで重み付けヒストグラムを生成し、
前記重み付けヒストグラムをヒストグラム均等化して前記変換テーブルを生成する、請求項3に記載の画像処理方法。 - 前記ヒストグラムにおいて前記注目度にピークが生じる視差値を含む帯域で前記変換テーブルの前記入力視差値に対する前記出力視差値の傾きを増大させることで、前記重み付けを行う、請求項3に記載の画像処理方法。
- 前記入力画像の画像特徴量に基づいて、前記入力画像に対する視聴者の注目度を取得する、請求項1に記載の画像処理方法。
- 前記入力画像を視認する視認者の視線の方向に基づいて、前記入力画像に対する視聴者の注目度を取得する、請求項1に記載の画像処理方法。
- 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
を備える、画像処理装置。 - 立体視可能な入力画像に対する視聴者の注目度を取得する注目度取得部と、
入力画像の各画素において、立体視のための視差値と前記注目度との関係を取得する解析部と、
前記視差値と前記注目度との関係に基づき、前記注目度が高い画素の視差値に重み付けを行い、前記注目度が高い画素の視差値を増加する視差増加部と、
前記視差増加部が増加させた視差値に基づいて、立体画像を表示する表示部と、
を備える、電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023608A JP2015154101A (ja) | 2014-02-10 | 2014-02-10 | 画像処理方法、画像処理装置及び電子機器 |
US14/612,519 US9565417B2 (en) | 2014-02-10 | 2015-02-03 | Image processing method, image processing device, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023608A JP2015154101A (ja) | 2014-02-10 | 2014-02-10 | 画像処理方法、画像処理装置及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015154101A true JP2015154101A (ja) | 2015-08-24 |
Family
ID=53776098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014023608A Pending JP2015154101A (ja) | 2014-02-10 | 2014-02-10 | 画像処理方法、画像処理装置及び電子機器 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9565417B2 (ja) |
JP (1) | JP2015154101A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016005018A (ja) * | 2014-06-13 | 2016-01-12 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP2019205023A (ja) * | 2018-05-22 | 2019-11-28 | Eizo株式会社 | 立体画像表示装置、立体画像表示方法及びプログラム |
WO2021124680A1 (ja) * | 2019-12-18 | 2021-06-24 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5397190B2 (ja) | 2009-11-27 | 2014-01-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2015095779A (ja) | 2013-11-12 | 2015-05-18 | ソニー株式会社 | 画像処理装置、画像処理方法及び電子機器 |
JP2015154091A (ja) | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 画像処理方法、画像処理装置、及び電子機器 |
JP2015162718A (ja) * | 2014-02-26 | 2015-09-07 | ソニー株式会社 | 画像処理方法、画像処理装置及び電子機器 |
CN108537837B (zh) * | 2018-04-04 | 2023-05-05 | 腾讯科技(深圳)有限公司 | 一种深度信息确定的方法及相关装置 |
CN110060291B (zh) * | 2019-04-04 | 2023-01-31 | 长春理工大学 | 一种考虑人因的立体视在距离解算方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004084560A1 (ja) * | 2003-03-20 | 2004-09-30 | Seijiro Tomita | 立体映像撮影表示システム |
CN101682794B (zh) | 2007-05-11 | 2012-05-02 | 皇家飞利浦电子股份有限公司 | 用于处理深度相关信息的方法、装置和系统 |
WO2009149413A1 (en) * | 2008-06-06 | 2009-12-10 | Real D | Blur enhancement of stereoscopic images |
JP5556394B2 (ja) * | 2010-06-07 | 2014-07-23 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
US8488870B2 (en) * | 2010-06-25 | 2013-07-16 | Qualcomm Incorporated | Multi-resolution, multi-window disparity estimation in 3D video processing |
JP5627498B2 (ja) * | 2010-07-08 | 2014-11-19 | 株式会社東芝 | 立体画像生成装置及び方法 |
JP2012044383A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013005259A (ja) * | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP6094863B2 (ja) * | 2011-07-01 | 2017-03-15 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、プログラム、集積回路 |
JP2013046082A (ja) * | 2011-08-22 | 2013-03-04 | Sony Corp | 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム |
KR101960844B1 (ko) * | 2011-11-01 | 2019-03-22 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8605993B2 (en) * | 2011-11-21 | 2013-12-10 | Robo-team Ltd. | Methods and systems of merging depth data from a plurality of disparity maps |
KR20130084850A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전자주식회사 | 시차 값을 생성하는 영상 처리 방법 및 장치 |
US20140198977A1 (en) * | 2012-03-21 | 2014-07-17 | Texas Instruments Incorporated | Enhancement of Stereo Depth Maps |
KR20130120730A (ko) * | 2012-04-26 | 2013-11-05 | 한국전자통신연구원 | 변이 공간 영상의 처리 방법 |
US9571818B2 (en) * | 2012-06-07 | 2017-02-14 | Nvidia Corporation | Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device |
KR101364860B1 (ko) * | 2012-09-03 | 2014-02-20 | 강원대학교산학협력단 | 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체 |
US20150294470A1 (en) * | 2012-11-27 | 2015-10-15 | Thomson Licensing | Method and system for disparity visualization |
-
2014
- 2014-02-10 JP JP2014023608A patent/JP2015154101A/ja active Pending
-
2015
- 2015-02-03 US US14/612,519 patent/US9565417B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016005018A (ja) * | 2014-06-13 | 2016-01-12 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP2019205023A (ja) * | 2018-05-22 | 2019-11-28 | Eizo株式会社 | 立体画像表示装置、立体画像表示方法及びプログラム |
WO2019225361A1 (ja) * | 2018-05-22 | 2019-11-28 | Eizo株式会社 | 立体画像表示装置、立体画像表示方法及びプログラム |
US11509885B2 (en) | 2018-05-22 | 2022-11-22 | Eizo Corporation | Stereoscopic image display device, stereoscopic image display method, and program |
WO2021124680A1 (ja) * | 2019-12-18 | 2021-06-24 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US9565417B2 (en) | 2017-02-07 |
US20150229904A1 (en) | 2015-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015154101A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
Ryu et al. | No-reference quality assessment for stereoscopic images based on binocular quality perception | |
US8885922B2 (en) | Image processing apparatus, image processing method, and program | |
JP6027034B2 (ja) | 立体映像エラー改善方法及び装置 | |
US8447141B2 (en) | Method and device for generating a depth map | |
US20130038606A1 (en) | Image processing apparatus, image processing method, and program | |
WO2014083949A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP2015156607A (ja) | 画像処理装置、画像処理装置、及び電子機器 | |
JP5665135B2 (ja) | 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラム | |
JP2013527646A5 (ja) | ||
JP2010200213A (ja) | 画像処理装置、画像処理方法、プログラム、および立体画像表示装置 | |
JP2013172190A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TW201330589A (zh) | 基於顯著性之像差映射 | |
JP2011113363A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5178876B2 (ja) | 立体映像表示装置及び立体映像表示方法 | |
US20120013603A1 (en) | Depth Map Enhancing Method | |
JP2012029168A (ja) | 視差画像生成方法及び装置 | |
Didyk et al. | Apparent stereo: The cornsweet illusion can enhance perceived depth | |
US8908994B2 (en) | 2D to 3d image conversion | |
Tam et al. | Three-dimensional TV: A novel method for generating surrogate depth maps using colour information | |
JP2015012429A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2015095779A (ja) | 画像処理装置、画像処理方法及び電子機器 | |
WO2012133286A1 (ja) | 立体画像生成装置及び立体画像生成方法 | |
US20120038743A1 (en) | Method and Apparatus for Adjusting 3D Video Images | |
KR20120119173A (ko) | 3d 영상처리장치 및 그 입체감 조정방법 |