JP5720561B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5720561B2 JP5720561B2 JP2011283373A JP2011283373A JP5720561B2 JP 5720561 B2 JP5720561 B2 JP 5720561B2 JP 2011283373 A JP2011283373 A JP 2011283373A JP 2011283373 A JP2011283373 A JP 2011283373A JP 5720561 B2 JP5720561 B2 JP 5720561B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- parallax amount
- switching point
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、より詳細には2D画像データと3D画像データとが混在した画像データを出力する際に、観察者の負担を減少させることができる画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus , an image processing method, and an image processing program , and more specifically, an image that can reduce the burden on an observer when outputting image data in which 2D image data and 3D image data are mixed. The present invention relates to a processing device , an image processing method, and an image processing program .
近年、水平方向に視差を有する2つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる3D画像に関する技術の開発が盛んに行われている。 In recent years, two images having a parallax in the horizontal direction are displayed on the same display as a left-eye image and a right-eye image, and an observer uses the left-eye image as the left eye and the right-eye image as the right eye. Development of technologies relating to 3D images that can be perceived as if the images displayed on the display exist three-dimensionally by observing them independently has been actively conducted.
3D画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。 As a 3D image display and observation method, a left-eye image and a right-eye image having linearly polarized light that are orthogonal to each other are displayed on the same display, and each image is displayed by an observer using glasses with a polarization filter. A method of independently observing the image with the left and right eyes is well known.
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。 In addition, the left-eye image and the right-eye image are alternately displayed on the display, and the viewer uses the glasses with liquid crystal shutters that alternately shield the left and right fields of view to make each image independent with the left and right eyes. The observation method is well known.
これらの3D画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるように知覚されるかは、左眼用画像におけるその被写体画像と右眼用画像におけるその被写体画像との間の水平方向の視差(以下、単に「視差」と記載することもある。)によって決定される。 In these 3D image technologies, it is perceived as if the subject image is projected forward from the display surface when viewed by the observer, or how far the subject image is viewed from the display surface when viewed from the viewer. The parallax in the horizontal direction between the subject image in the left-eye image and the subject image in the right-eye image (hereinafter sometimes simply referred to as “parallax”). .)
なお、以下では、上記の通り左眼用画像と右眼用画像との間の視差により被写体画像が飛び出している、又は後方に引き込んでいるように知覚される立体的な視覚効果のある画像を3D画像というのに対し、このような立体的な視覚効果のない画像を2D画像という。 Hereinafter, as described above, an image having a stereoscopic visual effect that is perceived as if the subject image is popped out or pulled back due to the parallax between the left eye image and the right eye image. In contrast to a 3D image, an image without such a three-dimensional visual effect is called a 2D image.
ここで、2D画像と3D画像とが混在している画像コンテンツがディスプレイ等で、順次再生表示されている場合、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在すると、観察者に負担を掛ける可能性があるという問題が有る。 Here, when image content in which 2D images and 3D images are mixed is sequentially reproduced and displayed on a display or the like, the 3D image is displayed immediately after the displayed image is switched from the 2D image to the 3D image. If there is an image in the image that is perceived as being projected too far from the viewer, or an image that is perceived as being pulled in too much, there is a problem that the viewer may be burdened.
それまで2D画像の観察に慣れていて、観察者がまだ3D画像の観察に慣れていない段階で過度に飛び出して知覚される3D画像、又は過度に引き込んで知覚される3D画像、つまり立体感が強すぎる画像が表示されると、その観察者の目に負担を与える可能性があるからである。 Until then, 3D images that are used to observation of 2D images and perceived by popping out excessively when the observer is not used to viewing 3D images, or 3D images that are perceived by being drawn too much, that is, a stereoscopic effect. This is because if an image that is too strong is displayed, the observer's eyes may be burdened.
上記問題を解決する手段として、例えば特許文献1には、2D画像を放送しているチャンネルから3D画像を放送しているチャンネルに切り換った場合に、3D画像を構成する左眼用画像と右眼用画像との間の視差量が、時間を掛けて順次大きくなるように制御することで、急激な変化を抑圧し、自然な切り換りを実現する立体映像表示装置が記載されている。 As means for solving the above problem, for example, in Patent Document 1, when switching from a channel that broadcasts a 2D image to a channel that broadcasts a 3D image, an image for the left eye that configures the 3D image and There is described a stereoscopic video display device that suppresses a sudden change and realizes natural switching by controlling the amount of parallax with the right-eye image to increase sequentially over time. .
また、特許文献2には、2D画像と3D画像とが混在した画像を順次入力して再生する際に、入力された画像が2D画像であると判定されると、その入力された2D画像を所定の視差の大きさだけ一律に左右方向にシフトしてなる複数の視差画像を生成し、表示することで立体的な視覚的効果を有する画像のみを再生して観察者の疲労感を軽減することができる3次元画像表示装置が記載されている。 Further, in Patent Document 2, when an image in which 2D images and 3D images are mixed is sequentially input and reproduced, and it is determined that the input image is a 2D image, the input 2D image is displayed. Generate and display multiple parallax images that are uniformly shifted in the left-right direction by a predetermined amount of parallax, and reproduce only images that have a three-dimensional visual effect to reduce observer fatigue. A three-dimensional image display device is described.
しかし、上記特許文献1に記載の立体映像表示装置では、2D画像から3D画像に切り換った際に、3D画像の視差量を所定時間掛けて増加させることで、本来の3D画像の視差量に戻している。従って、例えば、切り換わり後の本来の3D画像の視差量が所定時間かけて減少する変化をするような場合には、本来の3D画像と制御された3D画像の視差の大きさの増減変化が逆になる等、本来の3D画像の視差量の変化の仕方によっては、表示される3D画像が違和感を持ったものとなってしまうという問題が推察される。 However, in the stereoscopic image display device described in Patent Literature 1, when the 2D image is switched to the 3D image, the parallax amount of the original 3D image is increased by increasing the parallax amount of the 3D image over a predetermined time. It has returned to. Therefore, for example, when the parallax amount of the original 3D image after switching changes so as to decrease over a predetermined time, the change in the parallax magnitude between the original 3D image and the controlled 3D image changes. Depending on how the parallax amount of the original 3D image changes, such as the reverse, there is a problem that the displayed 3D image becomes uncomfortable.
また、上記特許文献2に記載の3次元画像表示装置では、本来2D画像として再生されるべき画像を全て擬似的な3D画像に変換しているため、観察者は全ての2D画像を3D画像としてしか観察できないという問題がある。 In the 3D image display device described in Patent Document 2, since all images that should be reproduced as 2D images are converted into pseudo 3D images, the observer converts all 2D images as 3D images. There is a problem that can only be observed.
そこで、本発明は、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することで、観察者を3D画像の観察に慣れさせ、その負担を減少させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 Therefore, the present invention detects a switching point from 2D image data to 3D image data when outputting image data in which 2D image data and 3D image data are mixed, and performs predetermined 2D before the switching point. An image processing apparatus , an image processing method, and an image that can reduce the burden of the observer by making the observer accustomed to observing the 3D image by converting the image data into 3D image data that increases toward the point where the parallax is switched. An object is to provide a processing program .
データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出部(201)と、前記切換点検出部(201)が検出した切り換わり点以後の所定の3D画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部(202)と、前記視差量導出部(202)が導出した視差量が所定値を超えているか否かを判定する視差量判定部(203)と、前記視差量判定部(203)が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部(201)が検出した切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換部(103)とを有し、前記視差量判定部(203)が前記視差量導出部(202)の導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出部(201)が検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定部(205)をさらに備え、前記画像変換部(103)は、前記領域特定部(205)が特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理装置(1)を提供する。 In the data, a switching point detection unit (201) for detecting a switching point at which the image data switches from 2D image data to 3D image data, and a predetermined point after the switching point detected by the switching point detection unit (201). The parallax amount deriving unit (202) for deriving the parallax amount between the left-eye image data and the right-eye image data in the 3D image data, and the parallax amount derived by the parallax amount deriving unit (202) has a predetermined value. When the parallax amount determination unit (203) for determining whether or not the parallax amount exceeds the predetermined value when the parallax amount determination unit (203) determines that the parallax amount derived by the parallax amount derivation unit exceeds a predetermined value An image conversion unit (103) that converts predetermined 2D image data before the switching point detected by the switching point detection unit (201) into 3D image data in which the amount of parallax increases toward the switching point; The And, wherein the parallax amount determination unit (203) is the parallax amount deriving unit image area corresponding to the image regions in the 3D image data derived parallax amount is determined to exceed the predetermined value (202), the switching An area specifying unit (205) for specifying from 2D image data of a predetermined time before the switching point detected by the point detecting unit (201) is further provided, and the image converting unit (103) is configured to include the area specifying unit (205). The image processing apparatus (1) is characterized in that the subject image data included in the image area in the 2D image data specified by is converted to 3D image data in which the parallax amount increases toward the switching point .
上記画像処理装置(1)において、上記画像変換部(103)は、上記切換点検出部(201)が検出した切り換わり点から所定時間前までの2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換するようにしても良い。 In the image processing apparatus (1), the image conversion unit (103) converts the 2D image data from the switching point detected by the switching point detection unit (201) to a predetermined time before the switching point of the parallax amount. Alternatively, it may be converted into 3D image data that increases toward.
上記課題を解決するため、本発明はさらに、2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変
換ステップとからなり、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさらに備え、前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理方法を提供する。
上記課題を解決するため、本発明はさらに、2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとをコンピュータに実行させ、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさら二コンピュータに実行させ、前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラムを提供する。
In order to solve the above problems, the present invention further provides switching point detection for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed. A parallax amount derivation step for deriving a parallax amount between a left-eye image and a right-eye image in predetermined 3D image data after the switching point detected in the switching point detection step; and the parallax amount In the parallax amount determining step for determining whether or not the parallax amount derived in the deriving step exceeds a predetermined value, and in the parallax amount determining step, the parallax amount derived in the parallax amount deriving step exceeds a predetermined value When it is determined that the predetermined 2D image data before the switching point detected in the switching point detection step is detected, the parallax amount is switched. 3D image data Ri Do from the image conversion step of converting the 3D image data increases toward the point, the derived parallax amount of the parallax amount determination step parallax amount deriving step is determined to exceed the predetermined value A region specifying step of specifying an image region corresponding to the image region from 2D image data of a predetermined time before the switching point detected by the switching point detecting step, and the image converting step includes the region specifying step The image processing method is characterized in that the subject image data included in the image area in the 2D image data specified by is converted to 3D image data in which the amount of parallax increases toward the switching point .
In order to solve the above problems, the present invention further provides switching point detection for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed. A parallax amount derivation step for deriving a parallax amount between a left-eye image and a right-eye image in predetermined 3D image data after the switching point detected in the switching point detection step; and the parallax amount In the parallax amount determining step for determining whether or not the parallax amount derived in the deriving step exceeds a predetermined value, and in the parallax amount determining step, the parallax amount derived in the parallax amount deriving step exceeds a predetermined value When it is determined that the predetermined 2D image data before the switching point detected in the switching point detection step is detected, the parallax amount is switched. 3D in which the computer performs an image conversion step of converting into 3D image data that increases toward a point, and the parallax amount determination step determines that the parallax amount derived by the parallax amount derivation step exceeds a predetermined value The image conversion step further causes the second computer to execute an area specifying step for specifying an image area corresponding to the image area in the image data from the 2D image data for a predetermined time before the switching point detected by the switching point detecting step. Has the computer execute conversion of the subject image data included in the image area in the 2D image data specified by the area specifying step into 3D image data in which the amount of parallax increases toward the switching point. An image processing program is provided.
本発明に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することで、観察者を3D画像の観察に慣れさせ、その負担を減少させることができる。
以下に図面を参照しながら、本発明に係る画像処理装置及び画像処理方法の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
According to the image processing apparatus, the image processing method, and the image processing program of the present invention, when outputting image data in which 2D image data and 3D image data are mixed, the switching point from 2D image data to 3D image data is output. Is detected, and the predetermined 2D image data before the switching point is converted into 3D image data that increases toward the switching point, thereby reducing the burden on the observer. Can be made.
Exemplary embodiments of an image processing apparatus and an image processing method according to the present invention will be described below with reference to the drawings. Specific numerical values and the like shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
(画像処理装置1)
本実施形態の画像処理装置1は、2D画像データと3D画像データとが混在した画像データを出力することができ、この混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することができる。以下、このような画像処理装置1について詳述する。
(Image processing apparatus 1)
The image processing apparatus 1 according to the present embodiment can output image data in which 2D image data and 3D image data are mixed. When outputting the mixed image data, the image processing apparatus 1 converts 2D image data to 3D image data. A switching point can be detected, and predetermined 2D image data before the switching point can be converted into 3D image data in which the parallax increases toward the switching point. Hereinafter, the image processing apparatus 1 will be described in detail.
図1は、画像処理装置1の概略的な内部構成を示すブロック図である。図1では、処理信号が実線で、データの流れが破線で示されている。 FIG. 1 is a block diagram illustrating a schematic internal configuration of the image processing apparatus 1. In FIG. 1, the processing signal is indicated by a solid line and the data flow is indicated by a broken line.
図1に示すように、画像処理装置1は、画像データ入力部101、一時記憶部102、画像変換部103、画像データ出力部104、操作部110、及び中央制御部200を含んで構成される。
As shown in FIG. 1, the image processing apparatus 1 includes an image
中央制御部200は、CPU(Central Processing Unit)、各種プログラム等が格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成され、画像データの入出力処理、2D画像データから3D画像データへの切り替わり点の検出処理、3D画像の視差量の導出及び判定処理、及び2D画像データの3D画像データへの変換処理等を統括的に制御する。
The
操作部110は、電源スイッチ、操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受付ける。操作部110は、3D画像処理装置の本体に設けてもよいし、本体と赤外線通信等を行うリモコン等でもよい。
The
画像データ入力部101には、例えばDVD、BD(Blu-ray Disc)、若しくはフラッシュメモリ等の各種記録媒体、デジタルテレビチューナ、又は外部の撮像装置(デジタルカメラ)等から、2D画像データ及び3D画像データが混在した画像データが入力される。
The image
画像データ入力部101は、例えばHDMI(High-Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子、IEEE 1394規格に準拠した各種入力端子等で構成される。
The image
画像データ入力部101に入力される画像データは、少なくとも2D画像データから3D画像データへの切り換わり点(以下、単に「切り換わり点」という。)が特定されるための、そのシーン(場面)が2D画像のシーンであるか3D画像のシーンであるかを示す情報である制御情報が含まれている。
The image data input to the image
画像データ入力部101に入力された画像データは、一時記憶部102に送られ、その一時記憶部102内で一時的に記憶される。一時記憶部102は、例えばEPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable PROM)、不揮発性RAM、フラッシュメモリ、又はHDD(Hard Disk Drive)等の記憶媒体で構成される。
The image data input to the image
一時記憶部102に一時記憶された画像データは、画像変換部103が、後述する切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換する画像処理を行った場合はその処理を施した3D画像データとして、当該画像処理を行わなかった場合は一時記憶された2D画像データ又は3D画像データとして、画像データ出力部104により所定の復号処理を施されて出力される。
The image data temporarily stored in the
画像データ出力部104は、画像データ入力部101と同様に、HDMI(High-Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子、IEEE 1394規格に準拠した各種出力端子等で構成される。
Similar to the image
上記中央制御部200はまた、2D画像データから3D画像データへの切り換わり点の検出を行う切換点検出部201、3D画像データの視差量を導出する視差量導出部202、導出された視差量が所定の大きさを上回るか否かを判定する視差量判定部203、画像中の被写体を特定する被写体特定部204、及び画像中の所定の領域を特定する領域特定部205として機能する。各部の機能について、以下に説明する。
The
切換点検出部201は、一時記憶部102に一時記憶された画像データから、出力されることになる画像データが2D画像データから3D画像データへ切り換わる時点を切り換わり点として検出する。
The switching
画像データは上述の通り、各シーンが2D画像のシーンであるか3D画像のシーンであるかを示す制御情報を有している。切換点検出部201は、この制御情報に基づき画像データが2D画像データから3D画像データへ切り換わる時点を切り換わり点として検出する。
As described above, the image data includes control information indicating whether each scene is a 2D image scene or a 3D image scene. Based on this control information, the
切換点検出部201はまた、画像データに上記制御情報がない場合、2D画像データ及び3D画像データ各々のデータ構造の相違から、2D画像データから3D画像データへ切り換わる切り換わり点を検出することもできる。
The switching
視差量導出部202は、3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する。
The parallax
視差量導出部202による視差量の導出は既知の様々な手法を採用することができるが、例えば視差量導出部202は、左眼用画像のフレーム及び右眼用画像のフレームに対しパターンマッチングを実行し、両フレーム間における視差量を導出する。ここでフレームとは、左眼用画像データ及び右眼用画像データ各々の画像データを構成する時系列に並べられた静止画データをいう。
Various known methods can be adopted for deriving the parallax amount by the parallax
視差量導出部202によるパターンマッチングに基づく視差量の導出について図2を参照して説明する。図2は、撮像装置1の視差量導出部202による左眼用画像及び右眼用画像の視差量の導出について説明するための概念図である。
Derivation of the parallax amount based on pattern matching by the parallax
視差量導出部202は、左眼用画像のフレーム及び右眼用画像のフレームの2つのフレームのうち一方のフレームを所定の大きさの領域のブロックに分割する。図2(a)では、1,920画素×1,080画素の左眼用画像のフレームL200を、240画素×135画素のブロックL201に計64分割している。
The parallax
視差量導出部202は、分割した画像のフレームの各ブロックに関し、他方の画像のフレームの中から同一の大きさで相関値の高いブロックを抽出する。図2(b)では、図2(a)のブロックL202(図中にハッチングで示したブロック)と同一の大きさで相関値の高いブロックとして、右眼用画像のフレームからR202が抽出されている。
For each block of the divided image frame, the parallax
視差量導出部202は、分割した画像のフレームのブロックと、そのブロックに対応する他方の画像のフレームのブロックとの位置関係から両者の差分ベクトル(以下、「視差ベクトル」という。)を算出する。図2では、左眼用画像L200中のブロックL202と、対応する右眼用画像中のブロックR202から、視差ベクトル203が算出されている。
The disparity
上記のようなパターンマッチングの手法としては、例えば、輝度値の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度値から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等、既存の様々な手法を採用することが可能である。 As a pattern matching method as described above, for example, an SAD (Sum of Absolute Difference) that takes a difference in luminance value, an SSD (Sum of Squared Intensity Difference) that uses the difference squared, or a luminance value of each pixel. Various existing methods such as NCC (Normalized Cross Correlation) that takes the similarity of the variance value obtained by subtracting the average value can be employed.
ここで、算出された視差ベクトルは、原則として水平方向にのみ生じるため、その方向は単純に正負の符号(+又は−)で表すことができる。ここでは、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているように知覚される場合の視差ベクトルの方向を正(+)とし、被写体画像が観察者から見てディスプレイ面に対し後方に引き込んでいるように知覚される場合の視差ベクトルの方向を負(−)とする。 Here, since the calculated disparity vector is generated only in the horizontal direction in principle, the direction can be simply represented by a positive or negative sign (+ or −). Here, the direction of the parallax vector when the subject image is perceived to be projected forward from the display surface when viewed from the observer is positive (+), and the subject image is viewed from the viewer with respect to the display surface. The direction of the disparity vector when it is perceived as if it is pulled backward is negative (−).
以上のようにして、視差量導出部202は画像のフレームを格子状に分割した複数のブロックから視差ベクトルを算出する。さらに視差量導出部202は、左眼用画像データ及び右眼用画像データの空間周波数等にかかるデータから、各画像からオブジェクト(被写体画像)データを特定し、特定したオブジェクト毎の視差ベクトルを算出する。
As described above, the parallax
また、視差量導出部202は、左眼用画像データ及び右眼用画像データの空間周波数等からオブジェクトを特定し、特定したオブジェクトごとに直接パターンマッチングを実行して視差ベクトルを算出するようにしてもよい。
Further, the parallax
視差量導出部202は、上記のようにして算出した視差ベクトルの大きさを、左眼用画像と右眼用画像との間の視差量として導出する。
The parallax
図1に戻り、視差量判定部203は、3D画像における右眼用画像と左眼用画像との間の視差量が所定の大きさを上回っているかどうかを判定する。
ここで先ず、図3を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図3は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
Returning to FIG. 1, the parallax
First, referring to FIG. 3, the parallax between the subject image in the left-eye image and the subject image in the right-eye image displayed on the display surface such as a display, The degree of pull-in will be described. FIG. 3 is a conceptual diagram showing the relationship between the parallax between the subject image in the left-eye image and the subject image in the right-eye image, and the projection of the subject image to the display surface or the forward pull-in. It is.
図3において、画像データ出力部104から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をDP30、観察者の左眼をLE30、観察者の右眼をRE30、及び観察者と表示面DP30との間の距離をDとする。
3, the display surface of the external display device or the like that displays the left-eye image data and the right-eye image data output from the image
(前方へ飛び出しているように知覚される場合)
図3(a)において、表示面DP30上の左眼用画像中の被写体画像の位置をLf、右眼用画像中の被写体画像の位置をRfとすると、観察者が左眼LE30でLf、右眼RE30でRfを観察した場合、被写体画像はPfの位置で結像する。これにより観察者からは被写体画像が表示面DP30に対して前方に飛び出しているかのように知覚されることになる。
(When perceived as jumping forward)
In FIG. 3A, when the position of the subject image in the image for the left eye on the display surface DP30 is L f and the position of the subject image in the image for the right eye is R f , the observer is L with the left eye LE30. f , When R f is observed with the right eye RE30, the subject image is formed at the position of P f . As a result, the viewer perceives the subject image as if it jumps forward with respect to the display surface DP30.
ここで、観察者の左眼LE30と右眼RE30の距離をE、像LfとRfの視差量をVfとすると、表示面DP30から結像位置までの距離Zfは以下の式(1)の通りとなる。 Here, the distance of the observer's left eye LE30 and right eye RE 30 E, the amount of parallax of the image L f and R f and V f, the distance Z f from the display surface DP30 to the imaging position following formula ( 1) As follows.
(E+Vf)Zf=D・Vf ・・・(1) (E + V f ) Z f = D · V f (1)
ここで、観察者は被写体画像を表示面D30とは異なる位置Pfで知覚することになる。一方で、観察者の目のピントは表示面DP30にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。 Here, the observer perceives the subject image at a position P f different from the display surface D30. On the other hand, the eyes of the observer are in focus on the display surface DP30. Therefore, if the difference between the two is large, there is a risk of giving a burden to the eyes of the observer or causing discomfort to the observer.
上記観察者の左眼LE30と右眼RE30の距離Eを一般的な人の瞳孔間隔である6.5cmとし、上記観察者から表示面DP30までの視聴距離Dを標準観視距離である表示面の長辺の3倍距離とした場合に、観察者の眼に負担をかけず、快適に3D画像として認識できる左眼用画像と右眼用画像との間の視差量として、例えば表示面の短辺(幅)の2.9%(視差角にして約1度)以下とすることが望ましい旨が報告されている(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。 A distance E between the left eye LE30 and the right eye RE30 of the observer is 6.5 cm which is a general human pupil distance, and a viewing distance D from the observer to the display surface DP30 is a standard viewing distance. As the parallax amount between the left eye image and the right eye image that can be comfortably recognized as a 3D image without imposing a burden on the observer's eyes, It has been reported that it is desirable to make the short side (width) 2.9% or less (about 1 degree in parallax angle) ("3DC safety guidelines for 3D dissemination that is kind to humans") 3D Consortium Safety Guidelines Committee (Revised on April 20, 2010).
そこで、視差量判定部203は、Vfが以下の式(2)で表される閾値VSfを上回る場合に、前方への飛び出し方向の、すなわち正の方向の視差ベクトルの視差量が観察者の目に負担をかける可能性がある大きさになっていると判定する。
Therefore, the parallax
VSf=0.029×DW・・・(2) VS f = 0.029 × DW (2)
ここで、上記表示面の幅DWには、操作部110からユーザが所有しているTVディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、操作部110から、事前にその値や閾値VSfを調整することでさらに好みの値として変更することができるようにしてもよい。
Here, as the width DW of the display surface, the size of the width of an external monitor such as a TV display owned by the user is input from the
(表示面上にあるかのように知覚される場合)
図3(b)において、表示面DP30上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面D30上のPcの位置で結像する。これにより観察者からは被写体画像が表示面DP30上にあるかのように知覚されることになる。
(When perceived as if it is on the display surface)
In FIG. 3B, when the position of the subject in the left-eye image on the display surface DP30 and the position of the subject in the right-eye image are the same, the subject image is Pc on the display surface D30. The image is formed at the position. As a result, the viewer perceives the subject image as if it is on the display surface DP30.
(後方へ引き込んでいるかのように知覚される場合)
図3(c)において、表示面DP30上の左眼用画像中の被写体画像の位置をLb、右眼用画像中の被写体画像の位置をRbとすると、観察者が左眼LE30でLb、右眼RE30でRbを観察した場合、被写体はPbの位置で結像する。これにより観察者からは被写体画像が表示面DP30に対して後方に引き込んでいるかのように知覚されることになる。
(When perceived as if pulling backward)
In FIG. 3C, when the position of the subject image in the left-eye image on the display surface DP30 is L b and the position of the subject image in the right-eye image is R b , the observer uses the left eye LE30 to set L b, when observing the R b in the right eye RE 30, subject imaged at the position of P b. As a result, the observer perceives the subject image as if it was drawn backward with respect to the display surface DP30.
ここで、観察者の左眼LE30と右眼RE30の距離をE、像LbとRbの視差量をVbとすると、表示面DP30から結像位置までの距離Zbは以下の式(3)の通りとなる。 Here, the distance of the observer's left eye LE30 and right eye RE 30 E, the amount of parallax of the image L b and R b and V b, the distance Z b from the display surface DP30 to the imaging position to the following formula ( 3) As follows.
(E−Vb)Zb=D・Vb ・・・(3) (E−V b ) Z b = D · V b (3)
ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面D30とは異なる位置Pbで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。 Here, whether the subject image even if it is perceived as if by drawing the rear, the viewer will perceive a different position P b is a display surface D30 of the subject image is jumping out forward It is the same as the case where it is perceived. Therefore, similarly to the case where it is perceived as if it is jumping out forward, there is a risk that the observer's eyes may be burdened or the viewer may feel uncomfortable.
そこで、視差量判定部203は、Vbが以下の式(4)で表される閾値VSbを上回る場合に、後方への引き込み方向の、すなわち負の方向の視差ベクトルの視差が観察者の目に負担をかける可能性がある大きさになっていると判定する。
Therefore, the parallax
VSb=0.029×DW・・・(4) VS b = 0.029 × DW (4)
ここで、上記表示面の幅DWには、操作部110からユーザが所有しているTVディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが操作部110を使用して、事前にその値や閾値VSbを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。
Here, the width DW of the display surface is inputted from the
また、表示面から後方に引き込んでいるかのように知覚される3D画像では、表示面上における水平方向の視差が5cmを超えないようにすることが望ましい旨が方向されている(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。 In addition, in a 3D image that is perceived as if it is drawn backward from the display surface, it is desired that the horizontal parallax on the display surface should not exceed 5 cm. 3DC Safety Guidelines for 3D Dissemination ”Published by 3D Consortium Safety Guidelines Committee, revised April 20, 2010). Since both eyes of a person do not open outward, observing a subject that is more than the pupil distance between both eyes independently with the left eye and the right eye may put a greater burden on the eyes of the observer. Because there is.
そこで、上記式(4)で導き出されるVSbを5cmに設定しても良い。VSbが5cm以上かどうかの判定及び、5cmとする設定は、予め設定又は入力されているDWの値から5cm相当のピクセル数を算出することで行われる。 Therefore, VS b derived by the above equation (4) may be set to 5 cm. The determination whether VS b is 5 cm or more and the setting to 5 cm are performed by calculating the number of pixels corresponding to 5 cm from the DW value set or input in advance.
以上のようにして、視差量判定部203は、3D画像における左眼用画像と右眼用画像との間の視差量が、観察者の目に負担をかける可能性のある所定の大きさを上回るか否かの判定を行う。
As described above, the parallax
ここで、視差量判定部203は、切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出した、その時点における3D画像データに関し導出された視差量の判定を行なう。または、切り替わり点から所定の時点まで(例えば、3秒後の時点)の3D画像データに関し導出された視差量の判定を継続することもできる。
Here, the parallax
図1に戻り、画像変換部103は、導出された視差量が所定の大きさを上回っていると判定された場合に、切り換わり点より前の所定の2D画像データを視差量が切り換わり点に向かって増加する3D画像データに変換する処理を行う。画像変換部103によるこの処理について、以下に説明する。
Returning to FIG. 1, when it is determined that the derived amount of parallax exceeds a predetermined size, the
画像変換部103は、予め記録している複数の奥行き感を有する画像のモデル(以下、「基本奥行きモデル」という。)及び2D画像データの輝度信号の高域成分に基づいて、画像の飛び出し及び引き込みに関する奥行き推定データを生成し、その奥行き推定データに基づき2D画像データから左眼用画像データ及び右眼用画像データを生成して、2D画像データを3D画像データに変換する。
The
基本奥行きモデルとして、図4に例示した3モデルが中央制御部200のROM又は画像処理装置1の図示しない記録部に記録されている。図4(a)に示した基本奥行きモデルaは、球面状の凹面による奥行きモデルである。図4(b)に示した基本奥行きモデルbは、基本奥行きモデルaの上部を球面状ではなくアーチ型の円筒面に置き換えたもので、上部を円筒面とし下部を凹面としたモデルである。図4(c)に示した基本奥行きモデルcは、上部を平面、下部をその平面から連続し、下に向かうほど手前側に向かう円筒面状をしたもので、上部を平面とし下部を円筒面としたモデルである。
As the basic depth model, the three models illustrated in FIG. 4 are recorded in the ROM of the
画像変換部103は、2D画像データの輝度信号の高域成分を算出する。そして、算出された値から上記3種類の基本奥行きモデルの合成比率を決定し、その合成比率から奥行き推定データを生成する。
The
次に、画像変換部103は、この奥行き推定データをもとに元の2D画像データとは別の視点(左眼用又は右眼用)の2D画像データを生成する。すなわち奥行き推定データに基づいて、元の2D画像のテクスチャを左方向ないし右方向にシフトさせて配置していき、元の2D画像に対して視差をもった新たな2D画像を生成する。そして、この新たな2D画像に係る画像データを別の視点の2D画像データとする。
Next, the
この元の2D画像データ及び新たに生成された別の視点の2D画像データを、左眼用画像データないし右眼用画像データとすることで、2D画像データを3D画像に変換することができる。 By using the original 2D image data and the newly generated 2D image data of another viewpoint as image data for left eye or image data for right eye, 2D image data can be converted into a 3D image.
ここで、画像変換部103は、2D画像全体のテクスチャを奥行き推定データに基づいてシフトさせることもできるし、特定の被写体画像のテクスチャのみを奥行き推定データに基づいてシフトさせることもできる。
Here, the
画像変換部103は、上記の手法以外にも、単純に元の2D画像を右方向ないし左方向にシフトさせて別の視点の2D画像データを生成してもよい。上述した2D画像データの3D画像データへの変換の手法は例示であり、他の既知の手法等を採用することもできる。
In addition to the above method, the
このとき、画像変換部103は、元の2D画像データをその時点における上記奥行き推定データに基づく視差量を有する3D画像にいきなり変換するのではなく、新たに生成された別の視点の2D画像データとの間の視差量が所定時間かけて奥行き推定データの視差量の大きさに到達するように、上記元の2D画像のテクスチャを左方向ないし右方向にシフトさせた配置を順次行っていく。
At this time, the
以上のようにすることで、画像変換部103は、切換点検出部201が切り換わり点を検出してから所定時間だけ前の時点(例えば3秒前の時点)から切り替わり点の直前に至るまで、元の2D画像データと新たに生成された別の視点の2D画像データとの間の視差量が徐々に増加し、切り換わり点の直前で奥行き推定データに基づく視差を有する3D画像に到達するように順次変換していくことができる。
By doing as described above, the
ここで、画像変換部103が上述の変換処理を行う際に、被写体特定部204が特定した被写体画像、又は領域特定部205が特定した特定の画像領域に含まれる被写体画像についてのみ、視差量を徐々に増加させることができる。図1の被写体特定部204及び領域特定部205それぞれの機能について、以下に説明する。
Here, when the
被写体特定部204は、画像変換部103が3D画像に変換する2D画像中の被写体画像のなかから、視差量を徐々に増加させる被写体画像を特定する。
The
この被写体特定部204は、まず、切換点検出部201が検出した切り換わり点の直前若しくは所定時間前の2D画像データ、及び切り換わり点若しくは所定時間後の3D画像データを比較し、双方に同じ被写体画像データがあった場合に2D画像データからその被写体画像データを特定する。
The
この特定は、既知の被写体認識の技術に基づき実施される。例えば、既知の顔検出等の技術により2D画像データ中の被写体の顔画像データの特徴値、及び3D画像データ中の被写体の顔画像データの特徴値を算出し比較する。そして、それらの特徴値が所定の類似の範囲内にある場合には、切り換わり点の直前若しくは所定時間前の2D画像データ、及び切り換わり点若しくは所定時間後の3D画像データで同じ人物が被写体画像として存在するとして、2D画像データからその人物の画像データを特定する。 This identification is performed based on a known subject recognition technique. For example, the feature value of the face image data of the subject in the 2D image data and the feature value of the face image data of the subject in the 3D image data are calculated and compared by a known technique such as face detection. If these feature values are within a predetermined similar range, the same person is the subject in the 2D image data immediately before or at a predetermined time before the switching point and at the switching point or 3D image data after the predetermined time. Assuming that the image exists as an image, the image data of the person is specified from the 2D image data.
そして、特定された被写体画像データに対応する3D画像データ中の被写体画像データが、視差量判定部203により所定の視差量を上回っていると判定さていた場合には、被写体特定部204は抽出された被写体画像データに係る被写体画像を、視差量を徐々に増加させる対象として特定する。
If the subject image data in the 3D image data corresponding to the specified subject image data is determined by the parallax
画像変換部103は、この特定された被写体画像が所定時間かけて所定の視差量となるように、上述の2D画像データから3D画像データへの変換を実施する。
The
2D画像データから3D画像データに切り換わってすぐのタイミングで、特定の被写体画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。被写体特定部204が、上記の被写体の特定の処理をすることで、こういった可能性のある被写体画像と同じ被写体画像が2Dで表示されるはずの段階で、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。
If a specific subject image is perceived as an image that is excessively popping out or drawn in at the timing immediately after switching from 2D image data to 3D image data, there is a possibility that it becomes a burden on the observer. When the
領域特定部204は、画像変換部103が3D画像に変換する2D画像のなかから、視差量を徐々に増加させる被写体画像が含まれる画像領域を特定する。
The
この領域特定部204は、まず切換点検出部201が検出した切り換わり点の直後又は所定時間分の3D画像データのなかから、視差量判定部203により所定の視差量を上回っていると判定された視差量を有する画像領域を特定する。
The
そして、特定された領域と表示座標(位置)上で対応する領域を切り換わり点より前の所定時間分の2D画像データのなかから特定し、その領域に含まれる被写体画像を、視差量を徐々に増加させる対象として特定する。 Then, the region corresponding to the identified region on the display coordinates (position) is identified from the 2D image data for a predetermined time before the switching point, and the subject image included in the region is gradually increased in parallax amount. Specify as the target to increase.
画像変換部103は、この2D画像内で特定された画像領域に含まれる被写体画像が所定時間かけて所定の視差量となるように、上述の2D画像データから3D画像データへの変換を実施する。
The
2D画像データから3D画像データに切り換わってすぐのタイミングで、特定の領域の画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。領域特定部205が、上記の領域特定の処理を行うことで、2D画像が表示さるはずの段階で、3D画像に切りかわったときにこういった可能性のある表示領域に対応する表示領域に含まれる被写体画像を、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。
If an image in a specific area is perceived as an image that is excessively popping out or pulled in immediately after switching from 2D image data to 3D image data, there is a possibility of burdening the viewer. The
(画像処理)
次に、本実施形態の画像処理装置1による、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換する画像処理について説明する。
(Image processing)
Next, when outputting image data in which 2D image data and 3D image data are mixed by the image processing apparatus 1 according to the present embodiment, a switching point from 2D image data to 3D image data is detected and switched. Image processing for converting predetermined 2D image data before a point to 3D image data that increases toward the point when the parallax is switched will be described.
図5は、画像処理装置1が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。 FIG. 5 is a flowchart for explaining image processing according to the embodiment of the present invention performed by the image processing apparatus 1.
操作部110の操作に応じて、各種記録媒体、デジタルテレビチューナ、又は撮像装置等から2D画像データと3D画像データとが混在した画像データが順次、画像データ入力部101に入力される(ステップS101)。
In accordance with the operation of the
画像データ入力部101に画像データが入力されると、一時記憶部102が順次、その画像データを一時記憶する(ステップS102)。図6に一時記憶部102が一時記憶する画像データの概念図を示す。
When image data is input to the image
図6には、時点t1までは2D画像データD601、時点t1以降で時点t2までは3D画像データD602、時点t2以降で時点t3までは2D画像データD603、そして時点t3以降は3D画像データD604が、一時記憶部102に一時記憶されている様子を示す。このように、一時記憶部102には、2D画像データと3D画像データとが混在した画像が順次、一時記憶される。
FIG. 6 shows 2D image data D601 until time t1, 3D image data D602 after time t1 and until time t2, 2D image data D603 after time t2 and until time t3, and 3D image data D604 after time t3. FIG. 2 shows a state temporarily stored in the
図5に戻り、ステップS102で画像データが一時記憶されると、切換点検出部201が、一時記憶されていく画像データが2D画像データから3D画像データに切り換わる時点を、切り換わり点として検出する(ステップS103)。
Returning to FIG. 5, when the image data is temporarily stored in step S <b> 102, the switching
切換点検出部201は、画像データの有する、各シーンが2D画像のシーンであるか3D画像のシーンであるかを示す制御情報から切り換わり点を検出する。又は、2D画像データと3D画像データのデータ構造の相違から切り換わり点を検出する。
The switching
図6では、2D画像データD601が3D画像データD602に切り換わる時点t1が切り換わり点P1として検出される。同様に、2D画像データD603が3D画像データ604に切り換わる時点t3が切り換わり点P2として検出される。 In FIG. 6, a time point t1 at which the 2D image data D601 is switched to the 3D image data D602 is detected as a switching point P1. Similarly, a time point t3 when the 2D image data D603 is switched to the 3D image data 604 is detected as a switching point P2.
なお、切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出しなかった場合(ステップS103でNO)、画像処理装置1は以降の処理を実施しない。
When the switching
切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出した場合(ステップS103でYES)、視差量導出部202は切り換わり点における、又は切り換わり点以降の所定の時間分の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する(ステップS104)。なお、この視差量の導出は、上述の通りテンプレートマッチングを利用した手法等により行われる。
When the switching
図6では、視差量導出部202は、時点t1における又は時点t1から所定時間後までの間(例えば、5秒間)における3D画像データD602の視差量の導出を行なう。同様に、視差量導出部202は、t3における又はt3から所定時間後までの間における3D画像データD604の視差量の導出を行なう。
In FIG. 6, the parallax
図5のステップS104で、視差量導出部202が上記視差量の導出を行なうと、視差量判定部203が導出された視差量が所定の大きさを上回っているかどうかを判定する(ステップS105)。
When the parallax
切り換わり点直後に、又は切り換わり点から所定時間以内に表示される3D画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれていた場合、そのままその3D画像が表示されると、それまで2D画像を観察していて、3D画像の観察に目が慣れていない観察者に負担を与える可能性がある。 If a 3D image displayed immediately after the switching point or within a predetermined time from the switching point includes a subject image having a large amount of parallax that may impose a burden on the observer, When the 3D image is displayed, there is a possibility that a burden may be placed on an observer who has been observing the 2D image until then and is not accustomed to observing the 3D image.
図7に、表示される画像が2D画像から3D画像に切り換わる様子の模式図を示す。この図7では観察者の左眼をLE30及び右眼をRE30としている。 FIG. 7 shows a schematic diagram of how the displayed image is switched from a 2D image to a 3D image. In FIG. 7, the left eye of the observer is LE30 and the right eye is RE30.
図7(a)は、時点t1まで2D画像であるD71が表示され、時点t1で3D画像として左眼用画像LD71及び右眼用画像RD71が表示される様子を模式的に示している。 FIG. 7A schematically shows a state in which D71 as a 2D image is displayed until time t1, and the left-eye image LD71 and right-eye image RD71 are displayed as 3D images at time t1.
ここで観察者は、時点t1までは被写体画像G71を2D画像として、表示画像D71内に知覚している。ところが、時点t1で3D画像に切り換わり、左眼用画像LD71と右眼用画像RD71との間の視差に基づき、被写体画像TG71を表示面からZf701だけ飛び出して知覚している。
Here, the observer perceives the subject image G71 as a 2D image in the display image D71 until time t1. However, at time t1, the image is switched to a 3D image, and based on the parallax between the left-eye image LD71 and the right-eye image RD71, the subject image TG71 jumps out of the display surface by
この被写体画像TG71の飛び出しの大きさZf701に係る視差量が上述した閾値VSfを上回っていた場合、まだ3D画像の知覚になれていない観察者の目に負担を掛ける可能性がある。
When the amount of parallax related to the pop-
このとき、視差量判定部203は、3D画像に切り換わる時点t1において、左眼用画像と右眼用画像との間に、所定の閾値VSfを上回る、すなわち観察者に負担を与える可能性のある視差量がある旨の判定を行う。
At this time, the parallax
図7(b)は、時点t3まで2D画像であるD72が表示され、時点t3で3D画像として左眼用画像LD72及び右眼用画像RD72が表示され、そして時点t3から所定時間Δt後に、同じく3D画像として左眼用画像LD73及びRD73が表示される様子を模式的に示している。 In FIG. 7B, D72 which is a 2D image is displayed until time t3, left eye image LD72 and right eye image RD72 are displayed as 3D images at time t3, and after a predetermined time Δt from time t3, A state in which the left-eye images LD73 and RD73 are displayed as 3D images is schematically shown.
ここで、観察者は時点t3までは被写体画像G72を2D画像として、表示画像D72内に知覚している。そして、時点t3で3D画像に切り換わり、左眼用画像LD72と右眼用画像RD72との間の視差に基づき、被写体画像TG72を表示面からZf702だけ飛び出していると知覚している。
Here, the observer perceives the subject image G72 as a 2D image in the display image D72 until time t3. At time t3, the image is switched to a 3D image, and it is perceived that the subject image TG72 is projected from the display surface by
この切り換わり点である時点t3では、被写体画像TG72の飛び出しの大きさZf702に係る視差量が上述した閾値VSfを下回っている場合、視差量判定部203は、左眼用画像LD72と右眼用画像RD72との間に、観察者に負担を与える可能性のある視差量がある旨の判定は行わない。
At the time point t3 that is the switching point, when the parallax amount related to the pop-
一方で、時点t3からΔt経過して表示されることになる左眼像画像LD73と右眼用画像RD73との間では、被写体画像TG73がZf702よりも大きなZf703だけ飛び出しているように知覚される。
On the other hand, the subject image TG73 appears to protrude by Z f 703 larger than
この被写体画像TG73の飛び出しの大きさZf703に係る視差量が上述した閾値VSfを上回っていた場合、視差量判定部203は観察者に負担を与える可能性のある視差量がある旨の判定を行う。
When the parallax amount related to the pop-out size Z f 703 of the subject image TG73 exceeds the threshold value VS f described above, the parallax
2D画像から3D画像に切り換わった時点では、観察者に負担を与える可能性がある視差量を有する画像が含まれていない場合でも、それまで2D画像を観察していた観察者が3D画像の知覚に慣れる前に、上述した閾値VSfを上回る被写体画像が表示されると、観察者の目に負担を掛ける可能性があるからである。 At the time when the 2D image is switched to the 3D image, even if an image having a parallax amount that may impose a burden on the observer is not included, the observer who has observed the 2D image until then has changed the 3D image. This is because if a subject image that exceeds the threshold value VS f described above is displayed before getting used to perception, it may put a burden on the eyes of the observer.
なお、視差量判定部203が、切り換わり点直後に、又は切り換わり点から所定時間以内に表示される3D画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれている旨の判定をしなかった場合(S105でNO)、画像処理装置1は以降の処理を実施しない。
It should be noted that the parallax
図5に戻り、ステップS105で視差量判定部203が、左眼用画像と右眼用画像との間の視差量が所定の値を上回ると判定した場合(ステップS105でYES)、画像変換部103は一時記憶部に一時記憶された画像データにおける、切り換わり点から所定時間分だけ前の時点から、切り換わり点の時点までの2D画像データを、視差量が切り換わり点に向かって増加する3D画像に変換する(S106)。
Returning to FIG. 5, when the parallax
画像変換部103による2D画像を3D画像に変換する手法については、上述した通りである。以下に、画像変換部103が、2D画像全体を3D画像に変換する変換処理、被写体特定部204が特定した被写体画像に視差を設けて3D画像に変換する変換処理、及び領域特定部205が特定した領域に含まれる被写体画像に視差を設けて3D画像に変換する変換処理のそれぞれについて説明する。
The method for converting a 2D image into a 3D image by the
(2D画像全体を3D画像に変換する変換処理)
画像変換部103は、切り換わり点より前の所定時間分の2D画像全体を3D画像に変換する画像処理を行う。図8に、この画像変換部103による変換の処理について説明する概念図を示す。
(Conversion processing for converting the entire 2D image into a 3D image)
The
図8は、時点t81から切り換わり点の直前である時点t84に至るまでの、変換前の2D画像、及びその2D画像を変換した3D画像の経過を模式的に示した図である。図8(a)は変換前の2D画像を、図8(b)は変換後の3D画像を示している。 FIG. 8 is a diagram schematically illustrating the progress of the 2D image before conversion and the 3D image obtained by converting the 2D image from time t81 to time t84 immediately before the switching point. FIG. 8A shows a 2D image before conversion, and FIG. 8B shows a 3D image after conversion.
時点t81では、一時記憶部102に一時記憶された画像データである2D画像データが、そのまま2D画像D81として画像出力部104を介して外部のディスプレイ等に出力されている。
At time t81, 2D image data that is image data temporarily stored in the
次に、画像変換部103は、時点t81から1秒後の時点t82において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D82として出力される画像データを、画像変換部103が3D画像データTD82として、視差を有する2つの画像に変換する。
Next, the
このとき左眼用画像中の被写体画像LG821と右眼用画像中の被写体画像RG821との間の視差量がV821、左眼用画像中の被写体画像LG822と右眼用画像中の被写体画像RG822との間の視差量がV822となるように変換が行われる。ここで、これらの視差量V821及びV822は、画像変換部103が生成した奥行き推定データに基づく視差量の1/3の大きさを持つように2D画像D82中の被写体画像G821及びG822に係るテクスチャを配置することで生成される。
At this time, the parallax amount between the subject image LG821 in the left-eye image and the subject image RG821 in the right-eye image is V821, the subject image LG822 in the left-eye image, and the subject image RG822 in the right-eye image The conversion is performed so that the amount of parallax between is V822. Here, the textures related to the subject images G821 and G822 in the 2D image D82 so that the parallax amounts V821 and V822 have a size of 1/3 of the parallax amount based on the depth estimation data generated by the
続いて、画像変換部103は、時点t82から1秒後の時点t83において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D83として出力される画像データを、画像変換部103が3D画像データTD83として、視差を有する2つの画像に変換する。
Subsequently, the
このとき左眼用画像中の被写体画像LG831と右眼用画像中の被写体画像RG831との間の視差量がV831、左眼用画像中の被写体画像LG832と右眼用画像中の被写体画像RG832との間の視差量がV832となるように変換が行われる。ここで、これらの視差量V831及びV832は、画像変換部103が生成した奥行き推定データに基づく視差の2/3の大きさを持つように2D画像D83中の被写体画像G831及びG832に係るテクスチャを配置することで生成される。
At this time, the parallax amount between the subject image LG831 in the left-eye image and the subject image RG831 in the right-eye image is V831, and the subject image LG832 in the left-eye image and the subject image RG832 in the right-eye image Conversion is performed so that the amount of parallax between is V832. Here, the parallax amounts V831 and V832 have the textures related to the subject images G831 and G832 in the 2D image D83 so that the parallax amounts V831 and V832 have a size of 2/3 of the parallax based on the depth estimation data generated by the
そして、画像変換部103は、時点t83から1秒後の時点t4において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D84として出力される画像データを、画像変換部103が3D画像データTD84として、視差を有する2つの画像に変換する。なお、この時点t4が切換点検出部201が検出した切り換わり点の直前に相当する。
Then, the
このとき左眼用画像中の被写体画像LG841と右眼用画像中の被写体画像RG841との間の視差量がV841、左眼用画像中の被写体画像LG842と右眼用画像中の被写体画像RG842との間の視差量がV822となるように変換が行われる。ここで、これらの視差量V841及びV842は、画像変換部103が生成した奥行き推定データに基づく大きさを持つように2D画像D84中の被写体画像G841及びG842に係るテクスチャを配置することで生成される。
At this time, the parallax amount between the subject image LG841 in the left-eye image and the subject image RG841 in the right-eye image is V841, the subject image LG842 in the left-eye image, and the subject image RG842 in the right-eye image The conversion is performed so that the amount of parallax between is V822. Here, these parallax amounts V841 and V842 are generated by arranging the textures related to the subject images G841 and G842 in the 2D image D84 so as to have a size based on the depth estimation data generated by the
以上のように画像変換部103が、切り換わり点より前の所定の時間における2D画像全体を、各時点における奥行き推定データに基づく視差量に対する変換後の3D画像の視差量の割合が、切り換わり点に向かって徐々に増加するように2D画像から3D画像への変換を行う。
As described above, the
これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在する場合に、事前に観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。 As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, the 3D image is perceived as being projected too far from the observer or perceived as being pulled too much. When there is an image to be observed, the observer's eyes can be accustomed to the 3D image in advance, and the burden can be greatly reduced.
なお、上記では、画像変換部103が、奥行き推定データに基づいて2D画像データを3D画像データに変換する場合について記載したが、画像変換部103は単純に元の2D画像を右方向ないし左方向にシフトさせて別の視点の画像を生成することで2D画像データを3D画像データに変換することもできる。
In the above description, the case where the
この場合は、シフトさせる大きさを徐々に大きくしていくことで、切り換わり点までの各時点における視差量が切り換わり点に向かって増加するように変換を行う。 In this case, conversion is performed so that the amount of parallax at each time point up to the switching point increases toward the switching point by gradually increasing the size to be shifted.
(被写体を基準にした変換処理)
視差量判定部203が、所定の閾値以上の視差量を有すると判定した被写体画像が、切り換わり点より前の2D画像にも存在した場合、2D画像が表示されている段階で、その被写体画像を切り換わり点に向かって徐々に視差量が増えていく3D画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。
(Conversion processing based on the subject)
When a subject image determined by the parallax
そこで、被写体特定部204は、まず切り換わり点の直前若しくは所定時間分の2D画像データ、及び切り換わり点直後若しくは所定時間分の3D画像データを比較し、同じ被写体画像データが存在するかどうかを判断する。
Therefore, the
そして、同じ被写体画像データが存在した場合は、2D画像データの被写体画像データを、視差量を増加させる対象として特定する。 If the same subject image data exists, the subject image data of the 2D image data is specified as a target for increasing the amount of parallax.
そして、画像変換部103は、被写体特定部204が特定した被写体画像を2D画像データから3D画像データに変換する。図9に、この画像変換部103による変換の処理について説明する概念図を示す。
Then, the
図9は、時点t91から切り換わり点の直前の時点t94に至るまでの、変換前の2D画像、及びその2D画像を変換した3D画像の経過を模式的に示した図である。図9(a)は変換前の2D画像を、図9(b)は変換後の3D画像を示している。 FIG. 9 is a diagram schematically illustrating the progress of the 2D image before conversion and the 3D image obtained by converting the 2D image from time t91 to time t94 immediately before the switching point. FIG. 9A shows a 2D image before conversion, and FIG. 9B shows a 3D image after conversion.
時点t91では一時記憶部102に一時記憶された画像データである2D画像データがそのまま2D画像D91として画像データ出力部104を介して外部のディスプレイ等に出力されている。
At time t91, 2D image data, which is image data temporarily stored in the
次に時点t91から1秒後の時点t92において、被写体特定部204は2D画像D92のなかの被写体画像G921を、視差量を増加させる被写体画像として特定している。そして画像変換部103は、被写体画像G921を、視差量を有する被写体画像LG921とRG921とをそれぞれ左眼用画像データ及び右眼用画像データに有する3D画像TD92に変換する。
Next, at time t92, which is one second after time t91, the
このとき被写体画像LG921と被写体画像RG921との間の視差量V921は、画像変換部103が生成した奥行き推定データに基づく視差量の1/3の大きさを持つように2D画像D92中の被写体画像G921に係るテクスチャを配置することで生成される。
At this time, the parallax amount V921 between the subject image LG921 and the subject image RG921 has a size of 1/3 of the parallax amount based on the depth estimation data generated by the
次に時点t92から1秒後の時点t93において、被写体特定部204は2D画像D92のなかの被写体画像G921と同じ被写体の画像である、2D画像D93のなかの被写体画像G931を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部103は、被写体画像G931を、視差量を有する被写体画像LG931とRG931とを左眼用画像データ及び右眼用画像データに有する3D画像TD93に変換する。
Next, at time point t93 one second after time point t92, the
このとき被写体画像LG931と被写体画像RG931との間の視差量V931は、画像変換部103が生成した奥行き推定データに基づく視差量の2/3の大きさを持つように2D画像D93中の被写体画像G931に係るテクスチャを配置することで生成される。
At this time, the subject image in the 2D image D93 is such that the parallax amount V931 between the subject image LG931 and the subject image RG931 has a size of 2/3 of the amount of parallax based on the depth estimation data generated by the
そして、時点t83から1秒後の時点t84において、被写体特定部204は2D画像D92のなかの被写体画像G921と同じ被写体の画像である、2D画像D94のなかの被写体画像G941を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部103は、被写体画像G941を、視差量を有する被写体画像LG941とRG941とを左眼用画像データ及び右眼用画像データに有する3D画像に変換する。なお、この時点t4が切換点検出部201が検出した切り換わり点の直前に相当する。
Then, at time point t84 one second after time point t83, the
このとき被写体画像LG941と被写体画像RG941との間の視差量V941は、画像変換部103が生成した奥行き推定データに基づく大きさを持つように2D画像D94中の被写体画像G941に係るテクスチャを配置することで生成される。
At this time, the texture related to the subject image G941 in the 2D image D94 is arranged so that the parallax amount V941 between the subject image LG941 and the subject image RG941 has a size based on the depth estimation data generated by the
以上の通り、被写体特定部204によれば、所定の閾値よりも大きい視差量を有すると判定された被写体画像が、切り換わり点より前の所定時間内の2D画像にも存在した場合、2D画像が表示されている段階で、その被写体画像を、各時点における奥行き推定データに基づく視差量に対する変換後の3D画像の視差量の割合が、切り換わり点に向かって徐々に増加するように2D画像から3D画像への変換することができる。
As described above, according to the
これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される被写体画像又は引き込み過ぎているように知覚される被写体画像が存在する場合に、事前にその被写体に対する観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。 As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, the subject image is perceived as being projected too far as viewed by the observer from the 3D image, or perceived as being drawn too much. When the subject image to be displayed exists, the observer's eyes on the subject can be accustomed to the 3D image in advance, and the burden can be greatly reduced.
(領域を基準にした変換処理)
視差量判定部203が、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる3D画像内の領域に対応する2D画像内の領域に含まれる被写体画像を、2D画像が表示されている段階で、切り換わり点に向かって徐々に視差量が増えていく3D画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。
(Conversion processing based on area)
The subject image included in the region in the 2D image corresponding to the region in the 3D image corresponding to the region in the 3D image including the subject image determined by the parallax
そこで、領域特定部205は、まず視差量判定部203により所定の視差量を上回っていると判定された視差量を有する被写体画像を含む領域を3D画像から特定し、その領域に対応する2D画像内の領域を特定する。
Accordingly, the
そして、画像変換部103は、その特定された領域内に含まれる被写体画像の視差量が増加していくように2D画像データの3D画像データへの変換を行う。
Then, the
この被写体画像自体の変換については、上述の被写体特定204が特定した被写体画像の2D画像から3D画像への変換と同様にして行う。
The conversion of the subject image itself is performed in the same manner as the conversion of the subject image specified by the
領域特定部205によれば、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる領域に対応する2D画像内の領域に含まれる被写体画像を、2D画像が表示されている段階で、徐々に視差量が増えていく3D画像に変換することができる。従って、観察者の目を慣れさせて負担を軽減することができる。
According to the
これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像領域(表示領域)に対して、事前にその画像領域に対する観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。 As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, with respect to the image area (display area) perceived as jumping out too much when viewed by the observer in the 3D image, The observer's eyes for the image area can be accustomed to the 3D image in advance, and the burden can be greatly reduced.
図5に戻り、上記のようにして画像変換部103が元の2D画像データを3D画像データに変換すると、変換された3D画像データに係る左眼用画像データ及び右眼用画像データがそれぞれ画像データ出力部104から外部のディスプレイ装置等に出力される(ステップS107)。
Returning to FIG. 5, when the
以上のように、本実施形態の画像処理装置1によれば、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することができる。 As described above, according to the image processing apparatus 1 of the present embodiment, when outputting image data in which 2D image data and 3D image data are mixed, a switching point from 2D image data to 3D image data is detected. Then, the predetermined 2D image data before the switching point can be converted into 3D image data in which the parallax increases toward the switching point.
これにより、2D画像データが3D画像データに切り換わってすぐのタイミングで、観察者に負担を与える可能性がある被写体画像が表示されるような場合に、画像処理をしなければ2D画像が表示される段階で、前もって徐々に視差が増加する3D画像を表示することができ、観察者の目を慣れさせることでその負担を大きく減少させることができる。 As a result, when a subject image that may impose a burden on the observer is displayed at the timing immediately after the 2D image data is switched to the 3D image data, the 2D image is displayed without image processing. At this stage, a 3D image in which parallax gradually increases can be displayed in advance, and the burden can be greatly reduced by accustoming the eyes of the observer.
1 画像処理装置
101 画像データ入力部
102 一時記憶部
103 画像変換部
104 画像データ出力部
110 操作部
200 中央制御部
201 切換点検出部
202 視差量導出部
203 視差量判定部
204 被写体特定部
205 領域特定部
DESCRIPTION OF SYMBOLS 1
Claims (4)
前記切換点検出部が検出した切り換わり点以後の所定の3D画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部と、
前記視差量導出部が導出した視差量が所定値を超えているか否かを判定する視差量判定部と、
前記視差量判定部が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部が検出した切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換部とを有し、
前記視差量判定部が前記視差量導出部の導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出部が検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定部をさらに備え、
前記画像変換部は、前記領域特定部が特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理装置。 A switching point detecting unit for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed;
A parallax amount deriving unit for deriving a parallax amount between left-eye image data and right-eye image data in predetermined 3D image data after the switching point detected by the switching point detection unit;
A parallax amount determination unit that determines whether or not the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value;
When the parallax amount determining unit determines that the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value, predetermined 2D image data before the switching point detected by the switching point detecting unit and possess an image converter for converting the 3D image data parallax amount increases towards the switched-point,
The switching point detecting unit detects an image area corresponding to the image area in the 3D image data that the parallax amount determining unit determines that the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value. An area specifying unit that specifies from 2D image data of a predetermined time before the point;
The image conversion unit converts the subject image data included in the image region in the 2D image data specified by the region specifying unit into 3D image data in which a parallax amount increases toward the switching point. Image processing device.
前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとからなり、
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさらに備え、
前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理方法。 A switching point detecting step for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed;
A parallax amount derivation step for deriving a parallax amount between the image for the left eye and the image for the right eye in the predetermined 3D image data after the switching point detected in the switching point detection step;
A parallax amount determining step for determining whether or not the parallax amount derived in the parallax amount deriving step exceeds a predetermined value;
In the parallax amount determining step, when it is determined that the parallax amount derived in the parallax amount deriving step exceeds a predetermined value, a predetermined amount before the switching point detected in the switching point detecting step is determined. the 2D image data, Ri Do from the image conversion step of converting the 3D image data parallax amount increases towards the switched-point,
The switching point detecting step detects the image region corresponding to the image region in the 3D image data in which the parallax amount determining step has determined that the parallax amount derived by the parallax amount deriving step exceeds a predetermined value. A region specifying step of specifying from 2D image data of a predetermined time before the point,
The image conversion step converts the subject image data included in the image region in the 2D image data specified by the region specifying step into 3D image data in which the amount of parallax increases toward the switching point. Image processing method.
前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、 A parallax amount derivation step for deriving a parallax amount between the image for the left eye and the image for the right eye in the predetermined 3D image data after the switching point detected in the switching point detection step;
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、 A parallax amount determining step for determining whether or not the parallax amount derived in the parallax amount deriving step exceeds a predetermined value;
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとをコンピュータに実行させ、 In the parallax amount determining step, when it is determined that the parallax amount derived in the parallax amount deriving step exceeds a predetermined value, a predetermined amount before the switching point detected in the switching point detecting step is determined. Causing the computer to execute an image conversion step of converting the 2D image data into 3D image data in which the amount of parallax increases toward the switching point;
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさら二コンピュータに実行させ、 The switching point detecting step detects the image region corresponding to the image region in the 3D image data in which the parallax amount determining step has determined that the parallax amount derived by the parallax amount deriving step exceeds a predetermined value. Causing the two computers to execute an area specifying step for specifying the 2D image data for a predetermined time before the point;
前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラム。 In the image conversion step, the subject image data included in the image area in the 2D image data specified by the area specifying step is converted into 3D image data in which the amount of parallax increases toward the switching point. An image processing program characterized in that
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011283373A JP5720561B2 (en) | 2011-12-26 | 2011-12-26 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011283373A JP5720561B2 (en) | 2011-12-26 | 2011-12-26 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013135276A JP2013135276A (en) | 2013-07-08 |
JP5720561B2 true JP5720561B2 (en) | 2015-05-20 |
Family
ID=48911718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011283373A Active JP5720561B2 (en) | 2011-12-26 | 2011-12-26 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5720561B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3157384B2 (en) * | 1994-06-20 | 2001-04-16 | 三洋電機株式会社 | 3D image device |
JP2001236521A (en) * | 2000-02-22 | 2001-08-31 | Japan Science & Technology Corp | Virtual reality system based on image dividing system |
JP4121888B2 (en) * | 2003-04-28 | 2008-07-23 | シャープ株式会社 | Content display device and content display program |
JP4214976B2 (en) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system |
JP4850768B2 (en) * | 2007-03-27 | 2012-01-11 | 独立行政法人情報通信研究機構 | Apparatus and program for reconstructing 3D human face surface data |
JP5434231B2 (en) * | 2009-04-24 | 2014-03-05 | ソニー株式会社 | Image information processing apparatus, imaging apparatus, image information processing method, and program |
JP5463747B2 (en) * | 2009-06-15 | 2014-04-09 | ソニー株式会社 | Reception device, transmission device, communication system, display control method, program, and data structure |
JP5444955B2 (en) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | Stereoscopic image display system, parallax conversion device, parallax conversion method, and program |
CN102598051B (en) * | 2009-10-30 | 2014-10-29 | 富士胶片株式会社 | Image processing device and image processing method |
-
2011
- 2011-12-26 JP JP2011283373A patent/JP5720561B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013135276A (en) | 2013-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9729845B2 (en) | Stereoscopic view synthesis method and apparatus using the same | |
US20130051659A1 (en) | Stereoscopic image processing device and stereoscopic image processing method | |
US20120154551A1 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
US8866881B2 (en) | Stereoscopic image playback device, stereoscopic image playback system, and stereoscopic image playback method | |
JP2012156680A (en) | Three dimensional image processing device | |
WO2012037685A1 (en) | Generating 3d stereoscopic content from monoscopic video content | |
US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
WO2011105220A1 (en) | Three-dimensional video processing apparatus, method therefor, and program | |
US9167223B2 (en) | Stereoscopic video processing device and method, and program | |
JP2012204852A (en) | Image processing apparatus and method, and program | |
JP4996720B2 (en) | Image processing apparatus, image processing program, and image processing method | |
US9167237B2 (en) | Method and apparatus for providing 3-dimensional image | |
JP6033625B2 (en) | Multi-viewpoint image generation device, image generation method, display device, program, and recording medium | |
JP5581452B2 (en) | Parallax adjustment device and operation control method thereof | |
JP5493155B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
JP2012186652A (en) | Electronic apparatus, image processing method and image processing program | |
JP2012080294A (en) | Electronic device, video processing method, and program | |
KR101228916B1 (en) | Apparatus and method for displaying stereoscopic 3 dimensional image in multi vision | |
JP6377155B2 (en) | Multi-view video processing apparatus and video processing method thereof | |
JP5899910B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5720561B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5025768B2 (en) | Electronic apparatus and image processing method | |
JP2013546281A (en) | Image processing apparatus using energy value, image processing method thereof, and display method | |
KR101080988B1 (en) | A 3D Picture Producing Method Using Optimum Parallax, And A Storage Medium | |
US20130136336A1 (en) | Image processing apparatus and controlling method for image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5720561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |