JP2014030103A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2014030103A JP2014030103A JP2012169563A JP2012169563A JP2014030103A JP 2014030103 A JP2014030103 A JP 2014030103A JP 2012169563 A JP2012169563 A JP 2012169563A JP 2012169563 A JP2012169563 A JP 2012169563A JP 2014030103 A JP2014030103 A JP 2014030103A
- Authority
- JP
- Japan
- Prior art keywords
- arrangement
- parallax
- determined
- image
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能な画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】表示画面の画素を構成するサブピクセルの配置が、サブピクセルの短手方向が表示画面における水平方向となるように配置される第1の配置であるか、または、サブピクセルの長手方向が表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、角度情報とサブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、決定された視差と画像信号とに基づいて他の視点の画像を生成する画像生成部とを備え、視差決定部は、第1の配置と判定された場合に決定する視差よりも、第2の配置と判定された場合に決定する視差を大きくする、画像処理装置が提供される。
【選択図】図8
【解決手段】表示画面の画素を構成するサブピクセルの配置が、サブピクセルの短手方向が表示画面における水平方向となるように配置される第1の配置であるか、または、サブピクセルの長手方向が表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、角度情報とサブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、決定された視差と画像信号とに基づいて他の視点の画像を生成する画像生成部とを備え、視差決定部は、第1の配置と判定された場合に決定する視差よりも、第2の配置と判定された場合に決定する視差を大きくする、画像処理装置が提供される。
【選択図】図8
Description
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
表示画面に表示された画像を立体画像としてユーザに認識させる方式としては、例えば、パララックスバリア方式(視差バリア方式)や、レンティキュラ方式など、ユーザの視差を利用してユーザに立体画像を視認させる方式が知られている。上記のような方式を用いることによって、偏光メガネや液晶シャッターメガネなどの外部装置を用いることなく、ユーザに立体画像を視認させることが可能となる。
また、近年、例えば表示画面が回転された場合に、表示画面に表示されている画像も併せて回転させることが可能な装置の普及が進んでいる。上記装置では、例えば表示画面が90[度]回転された場合に、表示画面に表示されている画像も併せて90[度]回転させることによって、例えば、表示画面における長手方向と画像の水平方向とが一致する状態(以下、「横置き状態」と示す。)と、表示画面における短手方向と画像の水平方向とが一致する状態(以下、「縦置き状態」と示す。)とを切り替えることが可能となる。
このような中、異なる2つの表示画面の状態それぞれにおいて立体画像をユーザに認識させるための技術が開発されている。パララックスバリア方式において、異なる2つの表示画面の状態それぞれで立体画像をユーザに認識させる技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
例えば特許文献1に記載の技術を用いる場合には、例えば横置き状態と縦置き状態との双方で立体画像をユーザに認識させることが可能である。ここで、上記横置き状態および上記縦置き状態それぞれは、表示画面の画素を構成するサブピクセルの配置の状態に対応する。
しかしながら、例えば特許文献1に記載の技術では、例えば横置き状態と縦置き状態とが切り替えられた場合においてユーザが感じうる視差の変化について、特段の考慮がなされていない。よって、例えば特許文献1に記載の技術を用いる場合には、例えば横置き状態と縦置き状態とが切り替えられたときに、ユーザが視差の変化に起因する違和感を覚える恐れがある。
本開示では、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第1の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する画像生成部と、を備え、上記視差決定部は、上記第1の配置と判定された場合に決定する視差よりも、上記第2の配置と判定された場合に決定する視差を大きくする、画像処理装置が提供される。
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第1の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、を備え、上記第1の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、上記第2の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置が提供される。
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第1の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップと、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップと、を有し、上記視差を決定するステップでは、上記第1の配置と判定された場合に決定する視差よりも、上記第2の配置と判定された場合に決定する視差を大きくする、画像処理方法が提供される。
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第1の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップ、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップ、をコンピュータに実行させ、上記視差を決定するステップでは、上記第1の配置と判定された場合に決定する視差よりも、上記第2の配置と判定された場合に決定する視差を大きくする、プログラムが提供される。
本開示によれば、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る画像処理方法
2.本実施形態に係る画像処理装置
3.本実施形態に係るプログラム
1.本実施形態に係る画像処理方法
2.本実施形態に係る画像処理装置
3.本実施形態に係るプログラム
(本実施形態に係る画像処理方法)
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。
[1]ユーザが視差の変化に起因する違和感を覚えうる理由
上述したように、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、ユーザが視差の変化に起因する違和感を覚える恐れがある。本実施形態に係る画像処理方法に係る処理を示す前に、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが視差の変化に起因する違和感を覚えうる理由について説明する。
上述したように、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、ユーザが視差の変化に起因する違和感を覚える恐れがある。本実施形態に係る画像処理方法に係る処理を示す前に、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが視差の変化に起因する違和感を覚えうる理由について説明する。
図1は、表示画面の画素を構成するサブピクセルの配置とパララックス素子の配置との一例を示す説明図である。図1では、表示画面の画素が、R(Red)、G(Green)、B(Blue)の3つのサブピクセルで構成される例を示している。また、図1は、9視点(複数視点の一例)の画像が表示画面に表示される場合を示している。図1の各サブピクセルに表される“1”は、1番目の視点の画像が表示されるサブピクセルを示しており、図1の各サブピクセルに表される“2”〜“9”は、それぞれ2番目〜9番目の視点の画像が表示されるサブピクセルを示している。
図1に示すように、表示画面の画素を構成するサブピクセルには、1視点の画像〜9視点の画像が斜めに繰り返し表示される。また、図1のAに示すRGBの3つのサブピクセルが、1画素を構成する(なお、図1では、画素の一例として、2視点の画像が表示される画素を符号Aで示しており、他の画素についても同様である。)。
また、パララックスバリアを構成するパララックス素子は、表示画面の基準方向(例えば、横置き状態における水平方向、または、縦置き状態における水平方向)に対して角度θを有するように配置される。
ここで、角度θとしては、画質の低下を防止する観点から、例えば、表示画面の基準方向と1画素を構成するサブピクセルの並び方向とがなす角度と一致する角度が挙げられる。なお、角度θと、表示画面の基準方向と1画素を構成するサブピクセルの並び方向とがなす角度とは、一致することに限られず、異なっていてもよい。また、角度θには、横置き状態と縦置き状態との双方において視差を生じさせるという観点から、例えば0[度]と90[度]とが除かれる。
以下では、表示画面の基準方向が、横置き状態における水平方向であり、角度θと、表示画面の基準方向と1画素を構成するサブピクセルの並び方向とがなす角度とが一致する場合を例に挙げて説明する。
図2は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合に、ユーザが視差の変化に起因する違和感を覚えうる理由を説明するための説明図である。図2に示すAは、横置き状態の表示画面に表示される画像をみるユーザを示しており、また、図2に示すBは、縦置き状態の表示画面に表示される画像をみるユーザを示している。また、図2に示す角度θは、図1と同様に、表示画面の基準方向に対してパララックス素子が設けられる角度を示している。
また、図2では、下記の数式1で示されるユーザの眼間gap視点数が、図2のAに示すユーザにおいて“2”である場合を示している。ここで、下記の数式1で示される眼間gap視点数は、ユーザが知覚する視差に対応する指標である。表示画面に表示されている画像をみるユーザに、立体画像をより正常に知覚させるためには、例えば、ユーザの眼間gap視点数が0.5以上であることが望ましい。なお、ユーザの眼間gap視点数が0.5未満であっても、表示画面に表示されている画像をみるユーザに、立体画像を正常に知覚させることは可能である。
眼間gap視点数=(ユーザの両眼間隔)/(隣接視点結像点距離)
・・・(数式1)
・・・(数式1)
図2のA、図2のBに示すように、例えば横置き状態と縦置き状態とが切り替えられた場合(表示画面が90[度]回転された場合)には、理想的な状態で立体画像をみるための視距離(以下、「最適視距離」または「設計視距離」と示す。)は変化せずに、眼間gap視点数が変化する。より具体的には、図2のAに示す横置き状態における眼間gap視点数と、図2のBに示す縦置き状態における眼間gap視点数とには、例えば下記の数式2に示す関係が成立する。ここで、数式2に示す“ngap_h”は、横置き状態における眼間gap視点数を示し、数式2に示す“ngap_v”は、縦置き状態における眼間gap視点数を示している。
ngap_h=ngap_v×(1/tanθ)
・・・(数式2)
・・・(数式2)
例えば数式2に示すtanθが“3”である場合(例えば、角度θが、図1に示すような一般的なRGB配列のサブピクセルの並び方向とがなす角度と一致する場合)、図2に示す例では、図2のAにおける眼間gap視点数が“2”であるのに対して、図2のBにおける眼間gap視点数は、約“0.67”となる。
図3は、表示画面の基準方向に対してパララックス素子が設けられる角度の一例を説明するための説明図である。図3は、表示画面の基準方向が横置き状態における水平方向である場合における、表示画面の基準方向に対してパララックス素子が設けられる角度θを示している。図3に示すAは、角度θが0[度]および90[度]ではない場合の一例を示している。また、図3に示すBは、角度θが90[度]である場合を示しており、図3に示すCは、角度θが0[度]である場合を示している。
ここで、図3のBに示すように角度θが90[度]である場合には、縦置き状態において視差が生じない。また、図3のCに示すように角度θが0[度]である場合には、横置き状態において視差が生じない。よって、上述したように、表示画面の基準方向に対してパララックス素子が設けられる角度θには、横置き状態と縦置き状態との双方において視差を生じさせるという観点から、例えば0[度]と90[度]とが除かれる。
上記のように、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、最適視距離は変化せずに眼間gap視点数が変化することから、視差が変化する。したがって、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、ユーザが視差の変化に起因する違和感を覚える恐れがある。
[2]本実施形態に係る画像処理方法に係る処理の概要
次に、本実施形態に係る画像処理方法に係る処理の概要について説明する。
次に、本実施形態に係る画像処理方法に係る処理の概要について説明する。
上記数式2に示すように、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における眼間gap視点数は、表示画面の基準方向に対してパララックス素子が設けられる角度θの正接関数に依存する。よって、例えば、角度θが45[度]となるようにパララックス素子が設けられれば、数式2より横置き状態における眼間gap視点数と縦置き状態における眼間gap視点数とは一致するので、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合の視差の変化をなくすことが可能である。
しかしながら、例えば図1に示すように、一般的な表示画面の画素を構成する各サブピクセルには、短手方向(図1における水平方向に対応)と、長手方向(図1における垂直方向に対応)とが存在する。よって、表示画面が図1に示す画素で構成されるときに、角度θが45[度]となるようにパララックス素子が設けられる場合には、表示画面に表示される画像の画質の低下が生じてしまう。
また、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合の視差の変化をなくすと共に、表示画面に表示される画像の画質の低下を防止するための一の方策としては、例えば、角度θが45[度]となるようにパララックス素子を設け、かつ、表示画面の画素を構成する各サブピクセルを、正方サブピクセルとすることが考えられる。上記一の方策を用いることによって、例えば、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合においても、設計視距離および眼間視点数が変わらず、かつ奥行感も不変とすることが可能であるため、より自然な立体画像表示を実現することができる。
しかしながら、一般的な表示画面の画素を構成する各サブピクセルは、図1に示すように、正方サブピクセルではない。そのため、正方サブピクセルの画素構造を作製することは、コストの増加を招いてしまう。
そこで、本実施形態に係る画像処理装置は、表示画面の画素を構成する各サブピクセルが図1に示すように正方ピクセルではない場合において、例えば、下記に示す(1)判定処理、(2)視差決定処理、および(3)視点画像生成処理、を行うことによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感の低減を図る。
(1)判定処理
本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置が、第1の配置であるか、または、第2の配置であるかを判定する。ここで、本実施形態に係る表示画面としては、例えば、本実施形態に係る画像処理装置が備える表示部(後述する)の表示画面が挙げられるが、本実施形態に係る表示画面は、上記に限られない。例えば、本実施形態に係る表示画面は、本実施形態に係る画像処理装置の外部装置が備える表示パネルの表示画面であってもよい。
本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置が、第1の配置であるか、または、第2の配置であるかを判定する。ここで、本実施形態に係る表示画面としては、例えば、本実施形態に係る画像処理装置が備える表示部(後述する)の表示画面が挙げられるが、本実施形態に係る表示画面は、上記に限られない。例えば、本実施形態に係る表示画面は、本実施形態に係る画像処理装置の外部装置が備える表示パネルの表示画面であってもよい。
図4は、本実施形態に係る第1の配置と、本実施形態に係る第2の配置とを説明するための説明図である。図4に示すAは、本実施形態に係る第1の配置を示しており、図4に示すBは、本実施形態に係る第2の配置を示している。また、図4では、表示画面の画素が、R(Red)、G(Green)、B(Blue)の3つのサブピクセルで構成される例を示している。
図4のAに示すように、本実施形態に係る第1の配置とは、表示画面の画素を構成するサブピクセルの短手方向が表示画面における水平方向となるように配置される、サブピクセルの配置である。また、図4のBに示すように、本実施形態に係る第2の配置とは、サブピクセルの長手方向が表示画面における水平方向となるように配置される、サブピクセルの配置である。ここで、本実施形態に係る第1の配置は、例えば上記横置き状態が実現される配置に該当し、また、本実施形態に係る第2の配置は、例えば上記縦置き状態が実現される配置に該当する。
より具体的には、本実施形態に係る画像処理装置は、例えば、加速度センサや角速度センサ、地磁気センサなどの表示画面の状態を検出することが可能な1または2以上のセンサの検出結果を示す検出信号に基づいて、サブピクセルの配置が、第1の配置(横置き状態に対応する配置)であるか、または、第2の配置(縦置き状態に対応する配置)であるかを判定する。本実施形態に係る画像処理装置は、例えば、自装置(本実施形態に係る画像処理装置)が備える各種センサから伝達される検出信号や、外部表示装置などの表示画面に対応する外部装置から送信される検出信号に基づいて、処理を行う。
なお、本実施形態に係る画像処理装置における判定処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、外部装置から送信された、表示画面の状態(例えば、横置き状態、または縦置き状態)を示す状態情報(データ)に基づいて、サブピクセルの配置が、第1の配置(横置き状態に対応する配置)であるか、または、第2の配置(縦置き状態に対応する配置)であるかを判定してもよい。
(2)視差決定処理
本実施形態に係る画像処理装置は、表示画面の基準方向に対してパララックス素子が設けられる角度θを示す角度情報と、上記(1)の処理(判定処理)の判定結果とに基づいて、上記(1)の処理(判定処理)において判定されたサブピクセルの配置における視差を決定する。
本実施形態に係る画像処理装置は、表示画面の基準方向に対してパララックス素子が設けられる角度θを示す角度情報と、上記(1)の処理(判定処理)の判定結果とに基づいて、上記(1)の処理(判定処理)において判定されたサブピクセルの配置における視差を決定する。
ここで、本実施形態に画像処理装置は、例えば、記憶部(後述する)に記憶されている角度情報を読み出すことや、接続されている外部記録媒体から角度情報を読み出すこと、外部装置(例えば、外部表示装置や、サーバなど)から送信された角度情報を受信することによって、角度情報を取得する。本実施形態に画像処理装置は、例えば、角度情報の送信をさせる送信命令を含む角度情報送信要求を外部装置へ送信することによって、外部装置から角度情報を取得する。
また、本実施形態に係る画像処理装置は、第1の配置(横置き状態に対応する配置)と判定された場合に決定する視差よりも、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差を大きくする。別の観点から示すと、本実施形態に係る画像処理装置が上記のように視差を決定することによって、第1の配置(横置き状態に対応する配置)と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、第2の配置(縦置き状態に対応する配置)と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きくなる。
上記数式2に示すように、第1の配置に対応する横置き状態の配置における眼間gap視点数は、第2の配置に対応する縦置き状態の配置における眼間gap視点数よりも、“1/tanθ”倍小さくなる。よって、本実施形態に係る画像処理装置は、上記のように、第1の配置(横置き状態に対応する配置)と判定された場合に決定する視差よりも、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差を大きくすることによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における視差の変化を小さくすることが可能である。
したがって、上記のように、第1の配置(横置き状態に対応する配置)と判定された場合に決定する視差よりも、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差を大きくすることによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感の低減を図ることができる。
(2−1)視差決定処理の第1の例
より具体的には、本実施形態に係る画像処理装置は、例えば、下記の数式3に示すように、“第1の配置と判定される場合の視差を示す値、および角度情報が示す角度の正接関数の絶対値を乗算した値”と、“第2の配置と判定される場合の視差を示す値”とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する。
より具体的には、本実施形態に係る画像処理装置は、例えば、下記の数式3に示すように、“第1の配置と判定される場合の視差を示す値、および角度情報が示す角度の正接関数の絶対値を乗算した値”と、“第2の配置と判定される場合の視差を示す値”とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する。
ここで、数式3に示す“Dispv”は、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差の値を示しており、数式3に示す“Disph”は、第1の配置(横置き状態に対応する配置)と判定される場合の視差を示す値を示している。本実施形態に係る視差の値としては、例えば、隣り合う視点の画像間における位相差が挙げられる。ここで、本実施形態に係る位相差とは、例えば、立体画像構成する左目用画像(以下、「L image」と示す場合がある。)と、立体画像構成する右目用画像(以下、「R image」と示す場合がある。)との視差量を“1.0”とおいた場合における、隣り合う視点の画像間における視差量を示す指標である。
なお、本実施形態に係る視差の値は、位相差に限られない。例えば、本実施形態に係る視差の値は、隣り合う視点の画像間における視差量を、画素換算した値であってもよい。以下では、本実施形態に係る視差の値が、位相差である場合を例に挙げて説明する。
また、数式3に示す“θ”は、角度情報が示す表示画面の基準方向に対してパララックス素子が設けられる角度である。
本実施形態に係る画像処理装置は、例えば、処理対象の画像信号に基づき推定された視差の値や、予め設定されている視差の値、ユーザ操作に基づき設定された視差の値を用いて、上記数式3の演算を選択的に行うことによって、上記(1)の処理(判定処理)において判定されたサブピクセルの配置における視差を決定する。ここで、処理対象の画像信号に基づき推定された視差の値としては、例えば、処理対象の画像信号が示す画像が平面画像である場合における奥行(Depth)推定の結果を示す値や、処理対象の画像信号が示す画像が立体画像である場合における視差(Disparity)推定の結果を示す値が挙げられる。
例えば、第1の配置と判定される場合の視差を示す値が推定または設定されており、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と判定された場合には、本実施形態に係る画像処理装置は、設定されている視差を示す値を、第1の配置と判定される場合の視差を示す値として決定する。また、例えば、第2の配置と判定される場合の視差を示す値が推定または設定されており、上記(1)の処理(判定処理)において第2の配置(縦置き状態に対応する配置)と判定された場合には、本実施形態に係る画像処理装置は、設定されている視差を示す値を、第2の配置と判定される場合の視差を示す値として決定する。
つまり、例えば、推定または設定されている視差を示す値に対応するサブピクセルの配置と、上記(1)の処理(判定処理)において判定されたサブピクセルの配置とが一致する場合には、本実施形態に係る画像処理装置は、上記数式3に示す演算を行わない。
また、例えば、第1の配置(横置き状態に対応する配置)と判定される場合の視差を示す値が推定または設定されており、上記(1)の処理(判定処理)において第2の配置(縦置き状態に対応する配置)と判定された場合には、本実施形態に係る画像処理装置は、上記数式3により第2の配置と判定される場合の視差を示す値を算出することによって、第2の配置と判定される場合の視差を示す値を決定する。また、例えば、第2の配置と判定される場合の視差を示す値が推定または設定されており、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と判定された場合には、本実施形態に係る画像処理装置は、上記数式3により第1の配置と判定される場合の視差を示す値を算出することによって、第1の配置と判定される場合の視差を示す値を決定する。
つまり、例えば、推定または設定されている視差を示す値に対応するサブピクセルの配置と、上記(1)の処理(判定処理)において判定されたサブピクセルの配置とが一致しない場合には、本実施形態に係る画像処理装置は、上記数式3に示す演算を行う。ここで、上記数式3に示す演算を行う場合には、本実施形態に係る画像処理装置は、第1の配置(横置き状態に対応する配置)と判定される場合の視差を示す値、または、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差の値のうちの、一方の視差の値が設定されれば、他方の視差の値を決定することが可能である。
上記のように、本実施形態に係る画像処理装置は、例えば、予め設定されている視差の値、または、ユーザ操作に基づき設定された視差の値を用いて、上記数式3の演算を選択的に行うことによって、上記(1)の処理(判定処理)において判定されたサブピクセルの配置における視差を決定する。例えば上記数式3に示すように、“第1の配置と判定される場合の視差を示す値、および角度情報が示す角度の正接関数の絶対値を乗算した値”と、“第2の配置と判定される場合の視差を示す値”とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定することによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における視差の変化をなくすことが可能である。
したがって、本実施形態に係る画像処理装置は、上記数式3が満たされるように、上記(1)の処理(判定処理)において判定されたサブピクセルの配置における視差を決定することによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感をなくすことができる。
なお、本実施形態に係る画像処理装置における視差決定処理は、上記数式3を用いる処理に限られない。
(2−2)視差決定処理の第2の例
図5は、本実施形態に係る画像処理装置における視差決定処理の他の例を説明するための説明図である。図5に示すA1は、第1の配置(横置き状態に対応する配置)において表示画面に表示される画像の一例を示しており、図5に示すA2は、図5のA1における視差の一例を示している。図5に示すB1は、第2の配置(縦置き状態に対応する配置)において表示画面に表示される画像の第1の例を示しており、図5のA1に示す画像の解像度が維持された状態で、図5のA1に示す画像が表示画面に表示されている例を示している。また、図5に示すB2は、図5のB1における視差の一例を示している。図5に示すC1は、第2の配置(縦置き状態に対応する配置)において表示画面に表示される画像の第2の例を示しており、図5のA1に示す画像がスケーリングによって全画面表示された状態で表示画面に表示されている例を示している。また、図5に示すC2は、図5のC1における視差の一例を示している。
図5は、本実施形態に係る画像処理装置における視差決定処理の他の例を説明するための説明図である。図5に示すA1は、第1の配置(横置き状態に対応する配置)において表示画面に表示される画像の一例を示しており、図5に示すA2は、図5のA1における視差の一例を示している。図5に示すB1は、第2の配置(縦置き状態に対応する配置)において表示画面に表示される画像の第1の例を示しており、図5のA1に示す画像の解像度が維持された状態で、図5のA1に示す画像が表示画面に表示されている例を示している。また、図5に示すB2は、図5のB1における視差の一例を示している。図5に示すC1は、第2の配置(縦置き状態に対応する配置)において表示画面に表示される画像の第2の例を示しており、図5のA1に示す画像がスケーリングによって全画面表示された状態で表示画面に表示されている例を示している。また、図5に示すC2は、図5のC1における視差の一例を示している。
例えば図5のB1に示すように、図5のA1に示す画像の解像度が維持された状態で、図5のA1に示す画像が表示画面に表示される場合には、本実施形態に係る画像処理装置は、上記数式3を選択的に用いることによって、上記(1)の処理(判定処理)において判定された配置に対応する視差を示す値を決定する。
また、例えば図5のC1に示すように、図5のA1に示す画像がスケーリングによって全画面表示された状態で表示画面に表示される場合には、本実施形態に係る画像処理装置は、上記数式3を選択的に用いることによって決定された視差を示す値と、図5のA1に示す画像の解像度に応じた値(図5の例では、“720/1280”)を乗算することによって、上記(1)の処理(判定処理)において判定された配置に対応する視差を示す値を決定する。例えば図5のC1に示すように、図5のA1に示す画像がスケーリングによって全画面表示された状態で表示画面に表示される場合において、上記のように視差を示す値を決定することによって、本実施形態に係る画像処理装置は、スケーリングを考慮した立体画像をユーザに提供することができる。
(2−3)視差決定処理の第3の例
また、表示画面において画像が拡大表示された場合において、何らの視差の調整がされない場合には、両眼視差角が増大する。よって、本実施形態に係る画像処理装置は、表示画面において画像が拡大表示された場合には、視差量(上記(2−1)に示す第1の例に係る処理、または、上記(2−2)に示す第2の例に係る処理によって決定された視差の値、または当該視差の値に対応する量)を調整してもよい。
また、表示画面において画像が拡大表示された場合において、何らの視差の調整がされない場合には、両眼視差角が増大する。よって、本実施形態に係る画像処理装置は、表示画面において画像が拡大表示された場合には、視差量(上記(2−1)に示す第1の例に係る処理、または、上記(2−2)に示す第2の例に係る処理によって決定された視差の値、または当該視差の値に対応する量)を調整してもよい。
ここで、本実施形態に係る画像処理装置における視差量の調整としては、例えば、両眼視差角が、3Dコンソーシアムから発行されているガイドラインに規定されている基準である1度(60分)を超えないように視差量を調整することが挙げられる。なお、本実施形態に係る画像処理装置が視差量の調整に用いる基準が、1度(60分)に限られないことは、言うまでもない。
(3)視点画像生成処理
本実施形態に係る画像処理装置は、上記(2)の処理(視差決定処理)において決定された視差と、処理対象の画像信号とに基づいて、画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する。
本実施形態に係る画像処理装置は、上記(2)の処理(視差決定処理)において決定された視差と、処理対象の画像信号とに基づいて、画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する。
ここで、本実施形態に係る処理対象の画像信号としては、例えば、平面画像を示す画像信号、または、立体画像を示す画像信号(右目用画像信号、左目用画像信号)が挙げられる。また、本実施形態に係る処理対象の画像信号が示す画像は、例えば、静止画像であってもよいし、複数のフレーム画像から構成される動画像であってもよい。
また、本実施形態に係る処理対象の画像信号としては、例えば、本実施形態に係る画像処理装置が、記憶部(後述する)や外部記録媒体から読み出した画像データに対応する信号が挙げられる。なお、本実施形態に係る処理対象の画像信号は、上記に限られない。例えば、本実施形態に係る処理対象の画像信号は、通信部(後述する)が受信した信号であってもよいし、撮像部(後述する)によって撮像された画像を示す信号であってもよい。
図6は、本実施形態に係る画像処理装置における視点画像生成処理の一例を説明するための説明図である。図6に示すAは、処理対象の画像信号が示す画像の一例を示しており、立体画像構成する左目用画像と立体画像構成する右目用画像とを示している。また、図6に示すBは、上記(2)の処理(視差決定処理)において決定された視差の値である位相差が“0.125”である場合における、本実施形態に係る視点画像生成処理によって生成される他の視点の画像の一例を示している。また、図6に示すCは、上記(2)の処理(視差決定処理)において決定された視差の値である位相差が“0.200”である場合における、本実施形態に係る視点画像生成処理によって生成される他の視点の画像の他の例を示している。また、図6のB、Cでは、本実施形態に係る画像処理装置が、視点画像生成処理によって、視点1の画像(図6に示すView1)〜視点9の画像(図6に示すView9)の9つの視点の画像を得る例を示している。
本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す1または2の画像を基準画像とし、上記(2)の処理(視差決定処理)において決定された位相差分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。なお、本実施形態に係る画像処理装置における他の視点の画像を生成する方法は、上記に限られない。本実施形態に係る画像処理装置は、例えば、他の視点の画像を生成することが可能な、任意の視点画像生成技術に係る処理(例えば、多視点生成処理)を行うことによって、他の視点の画像を生成することが可能である。
ここで、本実施形態に係る画像処理装置は、例えば、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と判定された場合と、上記(1)の処理(判定処理)において第2の配置(縦置き状態に対応する配置)と判定された場合とで、同一の数の他の視点の画像を生成する。本実施形態に係る画像処理装置は、例えば、予め設定された数、または、ユーザにより設定された数分、他の視点の画像を生成する。
なお、本実施形態に係る画像処理装置における視点画像生成処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、上記(1)の処理(判定処理)において第2の配置(縦置き状態に対応する配置)と判定された場合には、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成してもよい。
一般に、縦置き状態における表示画面の水平方向の長さは、横置き状態における表示画面の水平方向の長さよりも短い。よって、本実施形態に係る画像処理装置が、第2の配置(縦置き状態に対応する配置)と判定されたときに生成する他の視点の画像よりも少ない数の他の視点の画像を、第1の配置(横置き状態に対応する配置)と判定されたときに生成したとしても、表示画面に表示される画像を見るユーザが、違和感を覚える可能性は低い。また、第2の配置と判定されたときに生成する他の視点の画像よりも少ない数の他の視点の画像を、第1の配置と判定されたときに生成することによって、本実施形態に係る画像処理装置は、視点画像生成処理の処理量をより低減することができる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記(1)の処理(判定処理)、上記(2)の処理(視差決定処理)、および上記(3)の処理(視点画像生成処理)を行う。本実施形態に係る画像処理装置は、上記(2)の処理(視差決定処理)において、上記(1)の処理(判定処理)において判定された判定されたサブピクセルの配置における視差を決定し、また、第1の配置(横置き状態に対応する配置)と判定された場合に決定する視差よりも、第2の配置(縦置き状態に対応する配置)と判定された場合に決定する視差を大きくする。そして、本実施形態に係る画像処理装置は、上記(3)の処理(視点画像生成処理)において、上記(2)の処理(視差決定処理)において決定された視差と、処理対象の画像信号とに基づいて、1または2以上の他の視点の画像を生成する。
ここで、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置が第1の配置(横置き状態に対応する配置)と第2の配置(縦置き状態に対応する配置)との間で変化した場合には、設計視距離は変わらないが、眼間視点数が変わる。本実施形態に係る画像処理装置は、上記のように、上記(2)の処理(視差決定処理)において、眼間視点数の変化分に対応するように視差を決定し、上記(3)の処理(視点画像生成処理)において上記(2)の処理(視差決定処理)において決定された視差に基づく他の視点の画像を生成する。よって、本実施形態に係る画像処理装置は、横置き状態においてユーザが感じる立体感と、縦置き状態においてユーザが感じる立体感とを、近づけることができ、また、合わせることもできる。
したがって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
また、本実施形態に係る画像処理装置は、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と第2の配置(縦置き状態に対応する配置)とを判定して、上記(2)の処理(視差決定処理)、および上記(3)の処理(視点画像生成処理)を行う。よって、例えば図1に示すように、表示画面の画素を構成するサブピクセルが正方サブピクセルではない場合であっても、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能である。
したがって、本実施形態に係る画像処理装置が用いられる場合には、正方サブピクセルの画素構造を作製することによるコストの増加を招くことがないので、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。
なお、本実施形態に係る画像処理方法に係る処理は、上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)に限られない。
例えば、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像と、上記(3)の処理(視点画像生成処理)において生成した画像とを、表示画面に表示させてもよい(表示制御処理)。
ここで、外部装置における表示画面に画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像および生成した画像を示す画像信号(または、画像データ)と、外部装置に表示に係る処理を行わせるための処理命令とを、通信部(図示せず)を介して外部装置に対して送信することによって、画像を表示画面に表示させる。また、表示部(後述する)の表示画面に画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像および生成した画像を示す画像信号(または、画像データ)を、表示部(図示せず)に伝達することによって、画像を表示画面に表示させる。
なお、本実施形態に係る表示制御処理は、例えば、本実施形態に係る画像処理装置と通信可能な外部装置により行われてもよい。本実施形態に係る表示制御処理が外部装置により行われる場合には、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像と、上記(3)の処理(視点画像生成処理)において生成した画像とを、当該外部装置へ送信する。
[3]本実施形態に係る画像処理方法に係る処理の具体例
次に、上述した本実施形態に係る画像処理方法に係る処理の一例について、より具体的に説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
次に、上述した本実施形態に係る画像処理方法に係る処理の一例について、より具体的に説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
図7は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。ここで、図7では、例えば、ステップS102の処理が、上記(1)の処理(判定処理)に該当し、ステップS104〜S110の処理が、上記(2)の処理(視差決定処理)に該当する。また、図7では、例えば、ステップS112の処理が、上記(3)の処理(視点画像生成処理)に該当し、ステップS114の処理が、上記表示制御処理に該当する。
本実施形態に係る画像処理装置は、処理対象の画像信号が検出されたか否かを判定する(S100)。ステップS100において処理対象の画像信号が検出されたと判定されない場合には、本実施形態に係る画像処理装置は、処理対象の画像信号が検出されたと判定されるまで、処理を進めない。
ステップS100において処理対象の画像信号が検出されたと判定された場合には、本実施形態に係る画像処理装置は、サブピクセルの配置を判定する(S102)。本実施形態に係る画像処理装置は、例えば、表示画面の状態を検出することが可能な1または2以上のセンサの検出結果を示す検出信号や、表示画面の状態(例えば、横置き状態、または縦置き状態)を示す状態情報に基づいて、サブピクセルの配置が、第1の配置(横置き状態に対応する配置)であるか、または、第2の配置(縦置き状態に対応する配置)であるかを判定する。
本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像が平面画像であるか否かを判定する(S104)。本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が、立体画像を示す画像信号(右目用画像信号、左目用画像信号)ではない場合に、処理対象の画像信号が示す画像が、平面画像であると判定する。
ステップS104において、処理対象の画像信号が示す画像が平面画像であると判定された場合には、本実施形態に係る画像処理装置は、当該画像信号に基づいて、奥行推定を行う(S106)。ここで、本実施形態に係る画像処理装置は、例えば、時間軸上で連続する複数の画像を用いた動き検出処理の結果や、画像から特定のオブジェクト(例えば、人や物)を検出するオブジェクト検出処理の結果などの画像に対する処理の結果の1または2以上を用いて、処理対象の画像信号が示す画像に対する奥行推定を行う。なお、本実施形態に係る画像処理装置は、奥行推定を行うことが可能な任意の技術を用いて、ステップS106の処理を行うことが可能である。
また、ステップS104において、処理対象の画像信号が示す画像が平面画像であると判定されない場合には、本実施形態に係る画像処理装置は、当該画像信号(右目用画像、左目用画像)に基づいて、視差推定を行う(S108)。ここで、本実施形態に係る画像処理装置は、例えば、右目用画像と左目用画像とをブロックマッチングなどによって比較して、右目用画像と左目用画像との間の視差量を算出することによって、視差推定を行う。なお、本実施形態に係る画像処理装置は、視差推定を行うことが可能な任意の技術を用いて、ステップS108の処理を行うことが可能である。
なお、図7では、ステップS102の処理の後に、ステップS104〜S108の処理が行われる例を示しているが、本実施形態に係る画像処理装置は、ステップS102の処理と、ステップS104〜S108の処理とを独立に行うことが可能である。よって、本実施形態に係る画像処理装置は、例えば、ステップS104〜S108の処理の後に、ステップS102の処理を行ってもよいし、ステップS102の処理と、ステップS104〜S108の処理とを同期して行ってもよい。
ステップS102の処理と、ステップS104〜S108の処理とが完了すると、本実施形態に係る画像処理装置は、ステップS102における配置に関する判定結果と、ステップS106またはステップS108における推定結果とに基づいて、ステップS102において判定されたサブピクセルの配置における視差を決定する(S110)。本実施形態に係る画像処理装置は、例えば、上記数式3の演算を選択的に行うことによって、ステップS102において判定されたサブピクセルの配置における視差を決定する。
ステップS110において視差が決定されると、本実施形態に係る画像処理装置は、決定された視差と、処理対象の画像信号とに基づいて、他の視点の画像を生成する(S112)。本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す1または2の画像を基準画像とし、ステップS110において決定された視差の値(例えば、位相差)分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。
ステップS112の処理が完了すると、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像と、ステップS112において生成した画像とを、表示画面に表示させる(S114)。
本実施形態に係る画像処理装置は、画像処理方法に係る処理として、例えば図7に示す処理を行う。図7に示す処理によって、上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)、および上記表示制御処理が実現される。したがって、例えば図7に示す処理を行うことによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、例えば図7に示す処理を行うことによって、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。なお、本実施形態に係る画像処理装置における画像処理方法に係る処理が、図7に示す処理に限られないことは、言うまでもない。
(本実施形態に係る画像処理装置)
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
図8は、本実施形態に係る画像処理装置100の構成の一例を示すブロック図である。画像処理装置100は、例えば、通信部102と、制御部104とを備える。
また、画像処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。画像処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、画像処理装置100から着脱可能であってもよい。また、操作部(図示せず)としては、後述する操作入力デバイスが挙げられ、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[画像処理装置100のハードウェア構成例]
図9は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す説明図である。画像処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、画像処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
図9は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す説明図である。画像処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、画像処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)や各種処理回路などで構成され、画像処理装置100全体を制御する制御部104として機能する。また、MPU150は、画像処理装置100において、例えば、後述する配置判定部110、視差決定部112、および画像生成部114の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、画像処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、画像処理装置100上に備えられ、画像処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、画像処理装置100上に備えられ、画像処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、表示装置や、サーバ、撮像装置などの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN;Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
画像処理装置100は、例えば図9に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置100のハードウェア構成は、図9に示す構成に限られない。例えば、画像処理装置100は、静止画像または動画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置100は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
また、画像処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、画像処理装置100は、操作デバイス160や表示デバイス162を備えない構成をとることも可能である。
再度図8を参照して、画像処理装置100の構成の一例について説明する。通信部102は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、表示装置や、サーバ、撮像装置などの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、画像処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、配置判定部110と、視差決定部112と、画像生成部114とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。
配置判定部110は、上記(1)の処理(判定処理)を主導的に行う役目を果たし、表示画面の画素を構成するサブピクセルの配置が、第1の配置(横置き状態に対応する配置)であるか、または、第2の配置(縦置き状態に対応する配置)であるかを判定する。より具体的には、配置判定部110は、例えば、表示画面の状態を検出することが可能な1または2以上のセンサの検出結果を示す検出信号や、表示画面の状態(例えば、横置き状態、または縦置き状態)を示す状態情報に基づいて、サブピクセルの配置が、第1の配置であるか、または、第2の配置であるかを判定する。
視差決定部112は、上記(2)の処理(視差決定処理)を主導的に行う役目を果たし、角度情報と、配置判定部110から伝達されるサブピクセルの配置の判定結果とに基づいて、配置判定部110において判定されたサブピクセルの配置における視差を決定する。より具体的には、視差決定部112は、例えば、上記(2−1)〜上記(2−3)に示すいずれかに示す処理を行うことによって、配置判定部110において判定されたサブピクセルの配置における視差を決定する。
画像生成部114は、上記(3)の処理(視点画像生成処理)を主導的に行う役目を果たし、視差決定部112において決定された視差と、処理対象の画像信号とに基づいて、画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する。
より具体的には、画像生成部114は、例えば、処理対象の画像信号が示す1または2の画像を基準画像とし、視差決定部112において決定された視差の値(例えば、位相差)分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。ここで、画像生成部114は、例えば、配置判定部110から伝達されるサブピクセルの配置の判定結果に基づいて、生成する他の視点の画像の数を変えてもよいし、当該サブピクセルの配置の判定結果によらずに、他の視点の画像を所定の数分生成してもよい。また、上記所定の数は、例えば、予め設定されていてもよいし、ユーザにより設定されてもよい。
制御部104は、例えば、配置判定部110、視差決定部112、および画像生成部114を備えることによって、本実施形態に係る画像処理方法に係る処理(例えば、上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理))を主導的に行う。
なお、本実施形態に係る制御部の構成は、図8に示す構成に限られない。例えば、本実施形態に係る制御部は、上記表示制御処理を行う表示制御部(図示せず)をさらに備えていてもよい。
画像処理装置100は、例えば図8に示す構成によって、本実施形態に係る画像処理方法に係る処理(例えば、上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理))を行う。したがって、画像処理装置100は、例えば図8に示す構成によって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、画像処理装置100は、例えば図8に示す構成によって、表示画面における画素構造に係るコストの増加を抑えることができる。
なお、本実施形態に係る画像処理装置の構成は、図8に示す構成に限られない。
例えば、本実施形態に係る画像処理装置は、図8に示す配置判定部110、視差決定部112、および画像生成部114や、表示制御部(図示せず)を個別に備える(例えば、それぞれを個別の処理回路で実現する)ことができる。
また、本実施形態に係る画像処理装置は、例えば、上記(3)の処理(視点画像生成処理)を主導的に行う画像生成部114を備えない構成をとることも可能である。画像生成部114を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、上記(3)の処理(視点画像生成処理)を行うことが可能な外部装置と連携して処理を行うことによって、本実施形態に係る画像処理方法に係る処理(例えば、上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理))を行うことができる。より具体的には、本実施形態に係る画像処理装置が、上記(1)の処理(判定処理)および上記(2)の処理(視差決定処理)を行って、決定された視差を示す視差情報(データ)を、上記外部装置へ送信する。そして、視差情報を受信した外部装置が、上記(3)の処理(視点画像生成処理)を行う。
また、本実施形態に係る画像処理装置は、例えば、撮像部(図示せず)を備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る画像処理装置は、撮像部(図示せず)における撮像により生成された撮像画像を処理することが可能となる。撮像部(図示せず)としては、例えば、上述した本実施形態に係る撮像デバイスが挙げられる。
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部102を備えていなくてもよい。
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記(1)の処理(判定処理)、上記(2)の処理(視差決定処理)、および上記(3)の処理(視点画像生成処理)を行う。ここで、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置が第1の配置(横置き状態に対応する配置)と第2の配置(縦置き状態に対応する配置)との間で変化した場合には、設計視距離は変わらないが、眼間視点数が変わる。本実施形態に係る画像処理装置は、上記(2)の処理(視差決定処理)において、眼間視点数の変化分に対応するように視差を決定し、上記(3)の処理(視点画像生成処理)において上記(2)の処理(視差決定処理)において決定された視差に基づく他の視点の画像を生成する。よって、本実施形態に係る画像処理装置は、横置き状態においてユーザが感じる立体感と、縦置き状態においてユーザが感じる立体感とを、近づけることができ、また、合わせることもできる。
したがって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
また、本実施形態に係る画像処理装置は、上記(1)の処理(判定処理)において第1の配置(横置き状態に対応する配置)と第2の配置(縦置き状態に対応する配置)とを判定して、上記(2)の処理(視差決定処理)、および上記(3)の処理(視点画像生成処理)を行う。よって、例えば図1に示すように、表示画面の画素を構成するサブピクセルが正方サブピクセルではない場合であっても、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能である。
したがって、本実施形態に係る画像処理装置が用いられる場合には、正方サブピクセルの画素構造を作製することによるコストの増加を招くことがないので、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(Personal Computer)などのコンピュータ、デジタルカメラやデジタルビデオカメラなどの撮像装など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)”や、“上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)、および上記表示制御処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいて実行されることによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、コンピュータを、本実施形態に係る画像処理装置として機能させるための当該プログラムが、コンピュータにおいて実行されることによって、表示画面における画素構造に係るコストの増加を抑えることができる。
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)”や、“上記(1)の処理(判定処理)〜上記(3)の処理(視点画像生成処理)、および上記表示制御処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいて実行されることによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、コンピュータを、本実施形態に係る画像処理装置として機能させるための当該プログラムが、コンピュータにおいて実行されることによって、表示画面における画素構造に係るコストの増加を抑えることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する画像生成部と、
を備え、
前記視差決定部は、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理装置。
(2)
前記視差決定部は、前記第1の配置と判定される場合の視差を示す値、および前記角度情報が示す角度の正接関数の絶対値を乗算した値と、前記第2の配置と判定される場合の視差を示す値とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する、(1)に記載の画像処理装置。
(3)
前記視差決定部は、下記の数式の関係を満たすように、判定されたサブピクセルの配置における視差を決定する、(1)に記載の画像処理装置。
(4)
前記画像生成部は、前記第1の配置と判定された場合と、前記第2の配置と判定された場合とで、同一の数の他の視点の画像を生成する、(1)〜(3)のいずれか1つに記載の画像処理装置。
(5)
前記画像生成部は、前記第2の配置と判定された場合には、前記第1の配置と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成する、(1)〜(3)のいずれか1つに記載の画像処理装置。
(6)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
を備え、
前記第1の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、前記第2の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置。
(7)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップと、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップと、
を有し、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理方法。
(8)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップ、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップ、
をコンピュータに実行させ、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、プログラム。
(1)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する画像生成部と、
を備え、
前記視差決定部は、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理装置。
(2)
前記視差決定部は、前記第1の配置と判定される場合の視差を示す値、および前記角度情報が示す角度の正接関数の絶対値を乗算した値と、前記第2の配置と判定される場合の視差を示す値とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する、(1)に記載の画像処理装置。
(3)
前記視差決定部は、下記の数式の関係を満たすように、判定されたサブピクセルの配置における視差を決定する、(1)に記載の画像処理装置。
前記画像生成部は、前記第1の配置と判定された場合と、前記第2の配置と判定された場合とで、同一の数の他の視点の画像を生成する、(1)〜(3)のいずれか1つに記載の画像処理装置。
(5)
前記画像生成部は、前記第2の配置と判定された場合には、前記第1の配置と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成する、(1)〜(3)のいずれか1つに記載の画像処理装置。
(6)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
を備え、
前記第1の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、前記第2の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置。
(7)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップと、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップと、
を有し、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理方法。
(8)
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップ、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップ、
をコンピュータに実行させ、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、プログラム。
100 画像処理装置
102 通信部
104 制御部
110 配置判定部
112 視差決定部
114 画像生成部
102 通信部
104 制御部
110 配置判定部
112 視差決定部
114 画像生成部
Claims (8)
- 表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成する画像生成部と、
を備え、
前記視差決定部は、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理装置。 - 前記視差決定部は、前記第1の配置と判定される場合の視差を示す値、および前記角度情報が示す角度の正接関数の絶対値を乗算した値と、前記第2の配置と判定される場合の視差を示す値とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する、請求項1に記載の画像処理装置。
- 前記視差決定部は、下記の数式の関係を満たすように、判定されたサブピクセルの配置における視差を決定する、請求項1に記載の画像処理装置。
- 前記画像生成部は、前記第1の配置と判定された場合と、前記第2の配置と判定された場合とで、同一の数の他の視点の画像を生成する、請求項1に記載の画像処理装置。
- 前記画像生成部は、前記第2の配置と判定された場合には、前記第1の配置と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成する、請求項1に記載の画像処理装置。
- 表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
を備え、
前記第1の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、前記第2の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置。 - 表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップと、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップと、
を有し、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、画像処理方法。 - 表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第1の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第2の配置であるかを判定するステップ、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、1または2以上の他の視点の画像を生成するステップ、
をコンピュータに実行させ、
前記視差を決定するステップでは、前記第1の配置と判定された場合に決定する視差よりも、前記第2の配置と判定された場合に決定する視差を大きくする、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012169563A JP2014030103A (ja) | 2012-07-31 | 2012-07-31 | 画像処理装置、画像処理方法、およびプログラム |
CN201310311244.7A CN103581644A (zh) | 2012-07-31 | 2013-07-23 | 图像处理装置、图像处理方法及程序 |
US13/951,706 US20140036045A1 (en) | 2012-07-31 | 2013-07-26 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012169563A JP2014030103A (ja) | 2012-07-31 | 2012-07-31 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014030103A true JP2014030103A (ja) | 2014-02-13 |
Family
ID=50025095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012169563A Pending JP2014030103A (ja) | 2012-07-31 | 2012-07-31 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140036045A1 (ja) |
JP (1) | JP2014030103A (ja) |
CN (1) | CN103581644A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103823A (ja) * | 2014-11-26 | 2016-06-02 | 深▲セン▼超多▲維▼光▲電▼子有限公司 | 立体画像表示方法及び携帯端末 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160089600A (ko) * | 2015-01-19 | 2016-07-28 | 삼성디스플레이 주식회사 | 표시 장치 |
WO2018223318A1 (zh) * | 2017-06-07 | 2018-12-13 | 深圳市柔宇科技有限公司 | 360度全景图像及360度全景视频的识别方法及电子装置 |
-
2012
- 2012-07-31 JP JP2012169563A patent/JP2014030103A/ja active Pending
-
2013
- 2013-07-23 CN CN201310311244.7A patent/CN103581644A/zh active Pending
- 2013-07-26 US US13/951,706 patent/US20140036045A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103823A (ja) * | 2014-11-26 | 2016-06-02 | 深▲セン▼超多▲維▼光▲電▼子有限公司 | 立体画像表示方法及び携帯端末 |
US9826225B2 (en) | 2014-11-26 | 2017-11-21 | Superd Co. Ltd. | 3D image display method and handheld terminal |
Also Published As
Publication number | Publication date |
---|---|
US20140036045A1 (en) | 2014-02-06 |
CN103581644A (zh) | 2014-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5149435B1 (ja) | 映像処理装置および映像処理方法 | |
US20140333739A1 (en) | 3d image display device and method | |
US20150189260A1 (en) | Electronic Device and Recording Medium | |
EP2833638B1 (en) | Image processing device, imaging device, and image processing method | |
US9277201B2 (en) | Image processing device and method, and imaging device | |
WO2014046039A1 (ja) | 撮像装置及び合焦確認表示方法 | |
KR20110096494A (ko) | 전자 장치 및 입체영상 재생 방법 | |
US9167153B2 (en) | Imaging device displaying split image generated from interpolation pixel data based on phase difference pixel | |
JP6667981B2 (ja) | 不均衡設定方法及び対応する装置 | |
TW201125355A (en) | Method and system for displaying 2D and 3D images simultaneously | |
US20150009294A1 (en) | Image processing device and method, and imaging device | |
EP2582144A2 (en) | Image processing method and image display device according to the method | |
WO2014046038A1 (ja) | 撮像装置及び合焦確認表示方法 | |
US20150054926A1 (en) | Image processing device and method, and image capturing device | |
US20130050416A1 (en) | Video processing apparatus and video processing method | |
JP2014030103A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5117613B1 (ja) | 映像処理装置および映像処理方法ならびに記憶媒体 | |
JP6377155B2 (ja) | 多視点映像処理装置及びその映像処理方法 | |
WO2012120880A1 (ja) | 立体画像出力装置及び立体画像出力方法 | |
JP2013201688A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2016027527A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
KR20150039463A (ko) | 3d 디스플레이장치 및 3d영상처리방법 | |
US9532040B2 (en) | Virtual viewpoint interval determination sections apparatus and method | |
US8928586B2 (en) | Stereoscopic display device |