JP5720561B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP5720561B2
JP5720561B2 JP2011283373A JP2011283373A JP5720561B2 JP 5720561 B2 JP5720561 B2 JP 5720561B2 JP 2011283373 A JP2011283373 A JP 2011283373A JP 2011283373 A JP2011283373 A JP 2011283373A JP 5720561 B2 JP5720561 B2 JP 5720561B2
Authority
JP
Japan
Prior art keywords
image
image data
parallax amount
switching point
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011283373A
Other languages
Japanese (ja)
Other versions
JP2013135276A (en
Inventor
芳郎 村上
芳郎 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011283373A priority Critical patent/JP5720561B2/en
Publication of JP2013135276A publication Critical patent/JP2013135276A/en
Application granted granted Critical
Publication of JP5720561B2 publication Critical patent/JP5720561B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は画像処理装置画像処理方法及び画像処理プログラムに関し、より詳細には2D画像データと3D画像データとが混在した画像データを出力する際に、観察者の負担を減少させることができる画像処理装置画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus , an image processing method, and an image processing program , and more specifically, an image that can reduce the burden on an observer when outputting image data in which 2D image data and 3D image data are mixed. The present invention relates to a processing device , an image processing method, and an image processing program .

近年、水平方向に視差を有する2つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる3D画像に関する技術の開発が盛んに行われている。   In recent years, two images having a parallax in the horizontal direction are displayed on the same display as a left-eye image and a right-eye image, and an observer uses the left-eye image as the left eye and the right-eye image as the right eye. Development of technologies relating to 3D images that can be perceived as if the images displayed on the display exist three-dimensionally by observing them independently has been actively conducted.

3D画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。   As a 3D image display and observation method, a left-eye image and a right-eye image having linearly polarized light that are orthogonal to each other are displayed on the same display, and each image is displayed by an observer using glasses with a polarization filter. A method of independently observing the image with the left and right eyes is well known.

また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。   In addition, the left-eye image and the right-eye image are alternately displayed on the display, and the viewer uses the glasses with liquid crystal shutters that alternately shield the left and right fields of view to make each image independent with the left and right eyes. The observation method is well known.

これらの3D画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるように知覚されるかは、左眼用画像におけるその被写体画像と右眼用画像におけるその被写体画像との間の水平方向の視差(以下、単に「視差」と記載することもある。)によって決定される。   In these 3D image technologies, it is perceived as if the subject image is projected forward from the display surface when viewed by the observer, or how far the subject image is viewed from the display surface when viewed from the viewer. The parallax in the horizontal direction between the subject image in the left-eye image and the subject image in the right-eye image (hereinafter sometimes simply referred to as “parallax”). .)

なお、以下では、上記の通り左眼用画像と右眼用画像との間の視差により被写体画像が飛び出している、又は後方に引き込んでいるように知覚される立体的な視覚効果のある画像を3D画像というのに対し、このような立体的な視覚効果のない画像を2D画像という。   Hereinafter, as described above, an image having a stereoscopic visual effect that is perceived as if the subject image is popped out or pulled back due to the parallax between the left eye image and the right eye image. In contrast to a 3D image, an image without such a three-dimensional visual effect is called a 2D image.

ここで、2D画像と3D画像とが混在している画像コンテンツがディスプレイ等で、順次再生表示されている場合、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在すると、観察者に負担を掛ける可能性があるという問題が有る。   Here, when image content in which 2D images and 3D images are mixed is sequentially reproduced and displayed on a display or the like, the 3D image is displayed immediately after the displayed image is switched from the 2D image to the 3D image. If there is an image in the image that is perceived as being projected too far from the viewer, or an image that is perceived as being pulled in too much, there is a problem that the viewer may be burdened.

それまで2D画像の観察に慣れていて、観察者がまだ3D画像の観察に慣れていない段階で過度に飛び出して知覚される3D画像、又は過度に引き込んで知覚される3D画像、つまり立体感が強すぎる画像が表示されると、その観察者の目に負担を与える可能性があるからである。   Until then, 3D images that are used to observation of 2D images and perceived by popping out excessively when the observer is not used to viewing 3D images, or 3D images that are perceived by being drawn too much, that is, a stereoscopic effect. This is because if an image that is too strong is displayed, the observer's eyes may be burdened.

上記問題を解決する手段として、例えば特許文献1には、2D画像を放送しているチャンネルから3D画像を放送しているチャンネルに切り換った場合に、3D画像を構成する左眼用画像と右眼用画像との間の視差量が、時間を掛けて順次大きくなるように制御することで、急激な変化を抑圧し、自然な切り換りを実現する立体映像表示装置が記載されている。   As means for solving the above problem, for example, in Patent Document 1, when switching from a channel that broadcasts a 2D image to a channel that broadcasts a 3D image, an image for the left eye that configures the 3D image and There is described a stereoscopic video display device that suppresses a sudden change and realizes natural switching by controlling the amount of parallax with the right-eye image to increase sequentially over time. .

また、特許文献2には、2D画像と3D画像とが混在した画像を順次入力して再生する際に、入力された画像が2D画像であると判定されると、その入力された2D画像を所定の視差の大きさだけ一律に左右方向にシフトしてなる複数の視差画像を生成し、表示することで立体的な視覚的効果を有する画像のみを再生して観察者の疲労感を軽減することができる3次元画像表示装置が記載されている。   Further, in Patent Document 2, when an image in which 2D images and 3D images are mixed is sequentially input and reproduced, and it is determined that the input image is a 2D image, the input 2D image is displayed. Generate and display multiple parallax images that are uniformly shifted in the left-right direction by a predetermined amount of parallax, and reproduce only images that have a three-dimensional visual effect to reduce observer fatigue. A three-dimensional image display device is described.

特開平11−164328号公報JP-A-11-164328 特開2010−183267号公報JP 2010-183267 A

しかし、上記特許文献1に記載の立体映像表示装置では、2D画像から3D画像に切り換った際に、3D画像の視差量を所定時間掛けて増加させることで、本来の3D画像の視差量に戻している。従って、例えば、切り換わり後の本来の3D画像の視差量が所定時間かけて減少する変化をするような場合には、本来の3D画像と制御された3D画像の視差の大きさの増減変化が逆になる等、本来の3D画像の視差量の変化の仕方によっては、表示される3D画像が違和感を持ったものとなってしまうという問題が推察される。   However, in the stereoscopic image display device described in Patent Literature 1, when the 2D image is switched to the 3D image, the parallax amount of the original 3D image is increased by increasing the parallax amount of the 3D image over a predetermined time. It has returned to. Therefore, for example, when the parallax amount of the original 3D image after switching changes so as to decrease over a predetermined time, the change in the parallax magnitude between the original 3D image and the controlled 3D image changes. Depending on how the parallax amount of the original 3D image changes, such as the reverse, there is a problem that the displayed 3D image becomes uncomfortable.

また、上記特許文献2に記載の3次元画像表示装置では、本来2D画像として再生されるべき画像を全て擬似的な3D画像に変換しているため、観察者は全ての2D画像を3D画像としてしか観察できないという問題がある。   In the 3D image display device described in Patent Document 2, since all images that should be reproduced as 2D images are converted into pseudo 3D images, the observer converts all 2D images as 3D images. There is a problem that can only be observed.

そこで、本発明は、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することで、観察者を3D画像の観察に慣れさせ、その負担を減少させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 Therefore, the present invention detects a switching point from 2D image data to 3D image data when outputting image data in which 2D image data and 3D image data are mixed, and performs predetermined 2D before the switching point. An image processing apparatus , an image processing method, and an image that can reduce the burden of the observer by making the observer accustomed to observing the 3D image by converting the image data into 3D image data that increases toward the point where the parallax is switched. An object is to provide a processing program .

データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出部(201)と、前記切換点検出部(201)が検出した切り換わり点以後の所定の3D画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部(202)と、前記視差量導出部(202)が導出した視差量が所定値を超えているか否かを判定する視差量判定部(203)と、前記視差量判定部(203)が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部(201)が検出した切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換部(103)とを有し、前記視差量判定部(203)が前記視差量導出部(202)の導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出部(201)が検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定部(205)をさらに備え、前記画像変換部(103)は、前記領域特定部(205)が特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理装置(1)を提供する。 In the data, a switching point detection unit (201) for detecting a switching point at which the image data switches from 2D image data to 3D image data, and a predetermined point after the switching point detected by the switching point detection unit (201). The parallax amount deriving unit (202) for deriving the parallax amount between the left-eye image data and the right-eye image data in the 3D image data, and the parallax amount derived by the parallax amount deriving unit (202) has a predetermined value. When the parallax amount determination unit (203) for determining whether or not the parallax amount exceeds the predetermined value when the parallax amount determination unit (203) determines that the parallax amount derived by the parallax amount derivation unit exceeds a predetermined value An image conversion unit (103) that converts predetermined 2D image data before the switching point detected by the switching point detection unit (201) into 3D image data in which the amount of parallax increases toward the switching point; The And, wherein the parallax amount determination unit (203) is the parallax amount deriving unit image area corresponding to the image regions in the 3D image data derived parallax amount is determined to exceed the predetermined value (202), the switching An area specifying unit (205) for specifying from 2D image data of a predetermined time before the switching point detected by the point detecting unit (201) is further provided, and the image converting unit (103) is configured to include the area specifying unit (205). The image processing apparatus (1) is characterized in that the subject image data included in the image area in the 2D image data specified by is converted to 3D image data in which the parallax amount increases toward the switching point .

上記画像処理装置(1)において、上記画像変換部(103)は、上記切換点検出部(201)が検出した切り換わり点から所定時間前までの2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換するようにしても良い。   In the image processing apparatus (1), the image conversion unit (103) converts the 2D image data from the switching point detected by the switching point detection unit (201) to a predetermined time before the switching point of the parallax amount. Alternatively, it may be converted into 3D image data that increases toward.

上記課題を解決するため、本発明はさらに、2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変
換ステップとからなり、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさらに備え、前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理方法を提供する。
上記課題を解決するため、本発明はさらに、2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとをコンピュータに実行させ、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさら二コンピュータに実行させ、前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラムを提供する。
In order to solve the above problems, the present invention further provides switching point detection for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed. A parallax amount derivation step for deriving a parallax amount between a left-eye image and a right-eye image in predetermined 3D image data after the switching point detected in the switching point detection step; and the parallax amount In the parallax amount determining step for determining whether or not the parallax amount derived in the deriving step exceeds a predetermined value, and in the parallax amount determining step, the parallax amount derived in the parallax amount deriving step exceeds a predetermined value When it is determined that the predetermined 2D image data before the switching point detected in the switching point detection step is detected, the parallax amount is switched. 3D image data Ri Do from the image conversion step of converting the 3D image data increases toward the point, the derived parallax amount of the parallax amount determination step parallax amount deriving step is determined to exceed the predetermined value A region specifying step of specifying an image region corresponding to the image region from 2D image data of a predetermined time before the switching point detected by the switching point detecting step, and the image converting step includes the region specifying step The image processing method is characterized in that the subject image data included in the image area in the 2D image data specified by is converted to 3D image data in which the amount of parallax increases toward the switching point .
In order to solve the above problems, the present invention further provides switching point detection for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed. A parallax amount derivation step for deriving a parallax amount between a left-eye image and a right-eye image in predetermined 3D image data after the switching point detected in the switching point detection step; and the parallax amount In the parallax amount determining step for determining whether or not the parallax amount derived in the deriving step exceeds a predetermined value, and in the parallax amount determining step, the parallax amount derived in the parallax amount deriving step exceeds a predetermined value When it is determined that the predetermined 2D image data before the switching point detected in the switching point detection step is detected, the parallax amount is switched. 3D in which the computer performs an image conversion step of converting into 3D image data that increases toward a point, and the parallax amount determination step determines that the parallax amount derived by the parallax amount derivation step exceeds a predetermined value The image conversion step further causes the second computer to execute an area specifying step for specifying an image area corresponding to the image area in the image data from the 2D image data for a predetermined time before the switching point detected by the switching point detecting step. Has the computer execute conversion of the subject image data included in the image area in the 2D image data specified by the area specifying step into 3D image data in which the amount of parallax increases toward the switching point. An image processing program is provided.

本発明の実施形態に係る画像処理装置1の概略的な内部構成を示すブロック図である。1 is a block diagram showing a schematic internal configuration of an image processing apparatus 1 according to an embodiment of the present invention. 画像処理装置1の視差量導出部202による左眼用画像及び右眼用画像の視差量の導出について説明するための概念図である。6 is a conceptual diagram for explaining derivation of parallax amounts of a left-eye image and a right-eye image by a parallax amount deriving unit 202 of the image processing apparatus 1. FIG. 左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。It is a conceptual diagram which shows the relationship between the parallax between the photographic subject image in the image for left eyes, and the photographic subject image in the image for right eyes, and the projection of the photographic subject image to the front or the drawing back. 画像処理装置1の画像変換部103が2D画像データを3D画像データに変換する際に使用する基本奥行きモデルの模式図である。It is a schematic diagram of the basic depth model used when the image conversion part 103 of the image processing apparatus 1 converts 2D image data into 3D image data. 画像処理装置1が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。4 is a flowchart for explaining image processing performed by the image processing apparatus 1 according to an embodiment of the present invention. 画像処理装置1の一時記憶部102が一時記憶する画像データの概念図である。3 is a conceptual diagram of image data temporarily stored in a temporary storage unit 102 of the image processing apparatus 1. FIG. 表示される画像が2D画像から3D画像に切り換わる様子の模式図である。It is a schematic diagram of a mode that the image displayed switches from 2D image to 3D image. 画像処理装置1の画像変換部103が切り換わり点より前の所定時間分の2D画像全体を3D画像に変換する画像処理について説明するための概念図である。It is a conceptual diagram for demonstrating the image process in which the image conversion part 103 of the image processing apparatus 1 converts the whole 2D image for the predetermined time before a switching point into a 3D image. 画像処理装置1の画像変換部103が、被写体特定部204が特定した切り換わり点より前の所定時間分の2D画像中の被写体画像を3D画像に変換する画像処理について説明するための概念図である。FIG. 5 is a conceptual diagram for explaining image processing in which the image conversion unit 103 of the image processing apparatus 1 converts a subject image in a 2D image for a predetermined time before a switching point specified by the subject specifying unit 204 into a 3D image. is there.

本発明に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することで、観察者を3D画像の観察に慣れさせ、その負担を減少させることができる。
以下に図面を参照しながら、本発明に係る画像処理装置及び画像処理方法の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

According to the image processing apparatus, the image processing method, and the image processing program of the present invention, when outputting image data in which 2D image data and 3D image data are mixed, the switching point from 2D image data to 3D image data is output. Is detected, and the predetermined 2D image data before the switching point is converted into 3D image data that increases toward the switching point, thereby reducing the burden on the observer. Can be made.
Exemplary embodiments of an image processing apparatus and an image processing method according to the present invention will be described below with reference to the drawings. Specific numerical values and the like shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

(画像処理装置1)
本実施形態の画像処理装置1は、2D画像データと3D画像データとが混在した画像データを出力することができ、この混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することができる。以下、このような画像処理装置1について詳述する。
(Image processing apparatus 1)
The image processing apparatus 1 according to the present embodiment can output image data in which 2D image data and 3D image data are mixed. When outputting the mixed image data, the image processing apparatus 1 converts 2D image data to 3D image data. A switching point can be detected, and predetermined 2D image data before the switching point can be converted into 3D image data in which the parallax increases toward the switching point. Hereinafter, the image processing apparatus 1 will be described in detail.

図1は、画像処理装置1の概略的な内部構成を示すブロック図である。図1では、処理信号が実線で、データの流れが破線で示されている。   FIG. 1 is a block diagram illustrating a schematic internal configuration of the image processing apparatus 1. In FIG. 1, the processing signal is indicated by a solid line and the data flow is indicated by a broken line.

図1に示すように、画像処理装置1は、画像データ入力部101、一時記憶部102、画像変換部103、画像データ出力部104、操作部110、及び中央制御部200を含んで構成される。   As shown in FIG. 1, the image processing apparatus 1 includes an image data input unit 101, a temporary storage unit 102, an image conversion unit 103, an image data output unit 104, an operation unit 110, and a central control unit 200. .

中央制御部200は、CPU(Central Processing Unit)、各種プログラム等が格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成され、画像データの入出力処理、2D画像データから3D画像データへの切り替わり点の検出処理、3D画像の視差量の導出及び判定処理、及び2D画像データの3D画像データへの変換処理等を統括的に制御する。   The central control unit 200 includes a semiconductor integrated circuit including a CPU (Central Processing Unit), a ROM (Read Only Memory) in which various programs are stored, a RAM (Random Access Memory) as a work area, and the like. Input / output processing, detection processing of switching points from 2D image data to 3D image data, derivation and determination processing of 3D image parallax, conversion processing of 2D image data into 3D image data, etc. .

操作部110は、電源スイッチ、操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受付ける。操作部110は、3D画像処理装置の本体に設けてもよいし、本体と赤外線通信等を行うリモコン等でもよい。   The operation unit 110 includes a power switch, an operation key, a cross key, a joystick, and the like, and accepts a user operation input. The operation unit 110 may be provided in the main body of the 3D image processing apparatus, or a remote controller that performs infrared communication with the main body.

画像データ入力部101には、例えばDVD、BD(Blu-ray Disc)、若しくはフラッシュメモリ等の各種記録媒体、デジタルテレビチューナ、又は外部の撮像装置(デジタルカメラ)等から、2D画像データ及び3D画像データが混在した画像データが入力される。   The image data input unit 101 receives 2D image data and 3D images from various recording media such as DVD, BD (Blu-ray Disc) or flash memory, a digital TV tuner, or an external imaging device (digital camera), for example. Image data with mixed data is input.

画像データ入力部101は、例えばHDMI(High-Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子、IEEE 1394規格に準拠した各種入力端子等で構成される。   The image data input unit 101 includes, for example, an HDMI (High-Definition Multimedia Interface) terminal, a USB (Universal Serial Bus) terminal, various input terminals conforming to the IEEE 1394 standard, and the like.

画像データ入力部101に入力される画像データは、少なくとも2D画像データから3D画像データへの切り換わり点(以下、単に「切り換わり点」という。)が特定されるための、そのシーン(場面)が2D画像のシーンであるか3D画像のシーンであるかを示す情報である制御情報が含まれている。   The image data input to the image data input unit 101 is a scene (scene) for specifying at least a switching point from 2D image data to 3D image data (hereinafter simply referred to as “switching point”). Includes control information that is information indicating whether the scene is a 2D image scene or a 3D image scene.

画像データ入力部101に入力された画像データは、一時記憶部102に送られ、その一時記憶部102内で一時的に記憶される。一時記憶部102は、例えばEPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable PROM)、不揮発性RAM、フラッシュメモリ、又はHDD(Hard Disk Drive)等の記憶媒体で構成される。   The image data input to the image data input unit 101 is sent to the temporary storage unit 102 and temporarily stored in the temporary storage unit 102. The temporary storage unit 102 is configured by a storage medium such as an EEPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable PROM), a nonvolatile RAM, a flash memory, or an HDD (Hard Disk Drive).

一時記憶部102に一時記憶された画像データは、画像変換部103が、後述する切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換する画像処理を行った場合はその処理を施した3D画像データとして、当該画像処理を行わなかった場合は一時記憶された2D画像データ又は3D画像データとして、画像データ出力部104により所定の復号処理を施されて出力される。   The image data temporarily stored in the temporary storage unit 102 is an image in which the image conversion unit 103 converts predetermined 2D image data before a switching point, which will be described later, into 3D image data that increases toward the switching point. When the process is performed, the image data output unit 104 performs a predetermined decoding process as the 3D image data subjected to the process, or as the 2D image data or 3D image data temporarily stored when the image process is not performed. Is output.

画像データ出力部104は、画像データ入力部101と同様に、HDMI(High-Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子、IEEE 1394規格に準拠した各種出力端子等で構成される。   Similar to the image data input unit 101, the image data output unit 104 includes an HDMI (High-Definition Multimedia Interface) terminal, a USB (Universal Serial Bus) terminal, various output terminals conforming to the IEEE 1394 standard, and the like.

上記中央制御部200はまた、2D画像データから3D画像データへの切り換わり点の検出を行う切換点検出部201、3D画像データの視差量を導出する視差量導出部202、導出された視差量が所定の大きさを上回るか否かを判定する視差量判定部203、画像中の被写体を特定する被写体特定部204、及び画像中の所定の領域を特定する領域特定部205として機能する。各部の機能について、以下に説明する。   The central control unit 200 also includes a switching point detection unit 201 that detects a switching point from 2D image data to 3D image data, a parallax amount deriving unit 202 that derives a parallax amount of 3D image data, and a derived parallax amount Functions as a parallax amount determination unit 203 that determines whether or not the image size exceeds a predetermined size, a subject specification unit 204 that specifies a subject in the image, and a region specification unit 205 that specifies a predetermined region in the image. The function of each part will be described below.

切換点検出部201は、一時記憶部102に一時記憶された画像データから、出力されることになる画像データが2D画像データから3D画像データへ切り換わる時点を切り換わり点として検出する。   The switching point detection unit 201 detects, from the image data temporarily stored in the temporary storage unit 102, a time point when the image data to be output is switched from 2D image data to 3D image data as a switching point.

画像データは上述の通り、各シーンが2D画像のシーンであるか3D画像のシーンであるかを示す制御情報を有している。切換点検出部201は、この制御情報に基づき画像データが2D画像データから3D画像データへ切り換わる時点を切り換わり点として検出する。   As described above, the image data includes control information indicating whether each scene is a 2D image scene or a 3D image scene. Based on this control information, the switching point detector 201 detects a time point when the image data is switched from 2D image data to 3D image data as a switching point.

切換点検出部201はまた、画像データに上記制御情報がない場合、2D画像データ及び3D画像データ各々のデータ構造の相違から、2D画像データから3D画像データへ切り換わる切り換わり点を検出することもできる。   The switching point detection unit 201 also detects a switching point at which the 2D image data is switched to the 3D image data from the difference in data structure between the 2D image data and the 3D image data when the image data does not have the control information. You can also.

視差量導出部202は、3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する。   The parallax amount deriving unit 202 derives the parallax amount between the left-eye image and the right-eye image in the 3D image data.

視差量導出部202による視差量の導出は既知の様々な手法を採用することができるが、例えば視差量導出部202は、左眼用画像のフレーム及び右眼用画像のフレームに対しパターンマッチングを実行し、両フレーム間における視差量を導出する。ここでフレームとは、左眼用画像データ及び右眼用画像データ各々の画像データを構成する時系列に並べられた静止画データをいう。   Various known methods can be adopted for deriving the parallax amount by the parallax amount deriving unit 202. For example, the parallax amount deriving unit 202 performs pattern matching on the frame of the left eye image and the frame of the right eye image. Execute to derive the amount of parallax between both frames. Here, the frame refers to still image data arranged in time series constituting the image data of the left-eye image data and the right-eye image data.

視差量導出部202によるパターンマッチングに基づく視差量の導出について図2を参照して説明する。図2は、撮像装置1の視差量導出部202による左眼用画像及び右眼用画像の視差量の導出について説明するための概念図である。   Derivation of the parallax amount based on pattern matching by the parallax amount deriving unit 202 will be described with reference to FIG. FIG. 2 is a conceptual diagram for explaining the derivation of the parallax amount of the image for the left eye and the image for the right eye by the parallax amount derivation unit 202 of the imaging device 1.

視差量導出部202は、左眼用画像のフレーム及び右眼用画像のフレームの2つのフレームのうち一方のフレームを所定の大きさの領域のブロックに分割する。図2(a)では、1,920画素×1,080画素の左眼用画像のフレームL200を、240画素×135画素のブロックL201に計64分割している。   The parallax amount deriving unit 202 divides one of the two frames of the left-eye image frame and the right-eye image frame into blocks having a predetermined size. In FIG. 2A, a frame L200 of a left-eye image of 1,920 pixels × 1,080 pixels is divided into a total of 64 blocks of a block L201 of 240 pixels × 135 pixels.

視差量導出部202は、分割した画像のフレームの各ブロックに関し、他方の画像のフレームの中から同一の大きさで相関値の高いブロックを抽出する。図2(b)では、図2(a)のブロックL202(図中にハッチングで示したブロック)と同一の大きさで相関値の高いブロックとして、右眼用画像のフレームからR202が抽出されている。   For each block of the divided image frame, the parallax amount deriving unit 202 extracts a block having the same size and a high correlation value from the other image frame. In FIG. 2B, R202 is extracted from the frame of the right-eye image as a block having the same size and high correlation value as the block L202 in FIG. 2A (the block indicated by hatching in the drawing). Yes.

視差量導出部202は、分割した画像のフレームのブロックと、そのブロックに対応する他方の画像のフレームのブロックとの位置関係から両者の差分ベクトル(以下、「視差ベクトル」という。)を算出する。図2では、左眼用画像L200中のブロックL202と、対応する右眼用画像中のブロックR202から、視差ベクトル203が算出されている。   The disparity amount deriving unit 202 calculates a difference vector (hereinafter referred to as “disparity vector”) from the positional relationship between the block of the frame of the divided image and the block of the frame of the other image corresponding to the block. . In FIG. 2, the disparity vector 203 is calculated from the block L202 in the left-eye image L200 and the corresponding block R202 in the right-eye image.

上記のようなパターンマッチングの手法としては、例えば、輝度値の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度値から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等、既存の様々な手法を採用することが可能である。   As a pattern matching method as described above, for example, an SAD (Sum of Absolute Difference) that takes a difference in luminance value, an SSD (Sum of Squared Intensity Difference) that uses the difference squared, or a luminance value of each pixel. Various existing methods such as NCC (Normalized Cross Correlation) that takes the similarity of the variance value obtained by subtracting the average value can be employed.

ここで、算出された視差ベクトルは、原則として水平方向にのみ生じるため、その方向は単純に正負の符号(+又は−)で表すことができる。ここでは、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているように知覚される場合の視差ベクトルの方向を正(+)とし、被写体画像が観察者から見てディスプレイ面に対し後方に引き込んでいるように知覚される場合の視差ベクトルの方向を負(−)とする。   Here, since the calculated disparity vector is generated only in the horizontal direction in principle, the direction can be simply represented by a positive or negative sign (+ or −). Here, the direction of the parallax vector when the subject image is perceived to be projected forward from the display surface when viewed from the observer is positive (+), and the subject image is viewed from the viewer with respect to the display surface. The direction of the disparity vector when it is perceived as if it is pulled backward is negative (−).

以上のようにして、視差量導出部202は画像のフレームを格子状に分割した複数のブロックから視差ベクトルを算出する。さらに視差量導出部202は、左眼用画像データ及び右眼用画像データの空間周波数等にかかるデータから、各画像からオブジェクト(被写体画像)データを特定し、特定したオブジェクト毎の視差ベクトルを算出する。   As described above, the parallax amount deriving unit 202 calculates a parallax vector from a plurality of blocks obtained by dividing an image frame into a grid pattern. Further, the parallax amount deriving unit 202 identifies object (subject image) data from each image from data relating to the spatial frequency of the left-eye image data and the right-eye image data, and calculates a parallax vector for each identified object. To do.

また、視差量導出部202は、左眼用画像データ及び右眼用画像データの空間周波数等からオブジェクトを特定し、特定したオブジェクトごとに直接パターンマッチングを実行して視差ベクトルを算出するようにしてもよい。   Further, the parallax amount deriving unit 202 specifies an object from the spatial frequency or the like of the image data for the left eye and the image data for the right eye, and calculates the disparity vector by directly performing pattern matching for each specified object. Also good.

視差量導出部202は、上記のようにして算出した視差ベクトルの大きさを、左眼用画像と右眼用画像との間の視差量として導出する。   The parallax amount deriving unit 202 derives the magnitude of the parallax vector calculated as described above as the parallax amount between the left-eye image and the right-eye image.

図1に戻り、視差量判定部203は、3D画像における右眼用画像と左眼用画像との間の視差量が所定の大きさを上回っているかどうかを判定する。
ここで先ず、図3を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図3は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
Returning to FIG. 1, the parallax amount determination unit 203 determines whether or not the parallax amount between the right-eye image and the left-eye image in the 3D image exceeds a predetermined size.
First, referring to FIG. 3, the parallax between the subject image in the left-eye image and the subject image in the right-eye image displayed on the display surface such as a display, The degree of pull-in will be described. FIG. 3 is a conceptual diagram showing the relationship between the parallax between the subject image in the left-eye image and the subject image in the right-eye image, and the projection of the subject image to the display surface or the forward pull-in. It is.

図3において、画像データ出力部104から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をDP30、観察者の左眼をLE30、観察者の右眼をRE30、及び観察者と表示面DP30との間の距離をDとする。   3, the display surface of the external display device or the like that displays the left-eye image data and the right-eye image data output from the image data output unit 104 is DP30, the left eye of the observer is LE30, and the right side of the observer Assume that the eye is RE30 and the distance between the observer and the display surface DP30 is D.

(前方へ飛び出しているように知覚される場合)
図3(a)において、表示面DP30上の左眼用画像中の被写体画像の位置をLf、右眼用画像中の被写体画像の位置をRfとすると、観察者が左眼LE30でLf、右眼RE30でRfを観察した場合、被写体画像はPfの位置で結像する。これにより観察者からは被写体画像が表示面DP30に対して前方に飛び出しているかのように知覚されることになる。
(When perceived as jumping forward)
In FIG. 3A, when the position of the subject image in the image for the left eye on the display surface DP30 is L f and the position of the subject image in the image for the right eye is R f , the observer is L with the left eye LE30. f , When R f is observed with the right eye RE30, the subject image is formed at the position of P f . As a result, the viewer perceives the subject image as if it jumps forward with respect to the display surface DP30.

ここで、観察者の左眼LE30と右眼RE30の距離をE、像LfとRfの視差量をVfとすると、表示面DP30から結像位置までの距離Zfは以下の式(1)の通りとなる。 Here, the distance of the observer's left eye LE30 and right eye RE 30 E, the amount of parallax of the image L f and R f and V f, the distance Z f from the display surface DP30 to the imaging position following formula ( 1) As follows.

(E+Vf)Zf=D・Vf ・・・(1) (E + V f ) Z f = D · V f (1)

ここで、観察者は被写体画像を表示面D30とは異なる位置Pfで知覚することになる。一方で、観察者の目のピントは表示面DP30にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。 Here, the observer perceives the subject image at a position P f different from the display surface D30. On the other hand, the eyes of the observer are in focus on the display surface DP30. Therefore, if the difference between the two is large, there is a risk of giving a burden to the eyes of the observer or causing discomfort to the observer.

上記観察者の左眼LE30と右眼RE30の距離Eを一般的な人の瞳孔間隔である6.5cmとし、上記観察者から表示面DP30までの視聴距離Dを標準観視距離である表示面の長辺の3倍距離とした場合に、観察者の眼に負担をかけず、快適に3D画像として認識できる左眼用画像と右眼用画像との間の視差量として、例えば表示面の短辺(幅)の2.9%(視差角にして約1度)以下とすることが望ましい旨が報告されている(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。   A distance E between the left eye LE30 and the right eye RE30 of the observer is 6.5 cm which is a general human pupil distance, and a viewing distance D from the observer to the display surface DP30 is a standard viewing distance. As the parallax amount between the left eye image and the right eye image that can be comfortably recognized as a 3D image without imposing a burden on the observer's eyes, It has been reported that it is desirable to make the short side (width) 2.9% or less (about 1 degree in parallax angle) ("3DC safety guidelines for 3D dissemination that is kind to humans") 3D Consortium Safety Guidelines Committee (Revised on April 20, 2010).

そこで、視差量判定部203は、Vfが以下の式(2)で表される閾値VSfを上回る場合に、前方への飛び出し方向の、すなわち正の方向の視差ベクトルの視差量が観察者の目に負担をかける可能性がある大きさになっていると判定する。 Therefore, the parallax amount determination unit 203 determines that the parallax amount of the parallax vector in the forward projection direction, that is, in the positive direction, when the V f exceeds the threshold value VS f expressed by the following equation (2), It is determined that the size is likely to put a burden on the eyes.

VSf=0.029×DW・・・(2) VS f = 0.029 × DW (2)

ここで、上記表示面の幅DWには、操作部110からユーザが所有しているTVディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、操作部110から、事前にその値や閾値VSfを調整することでさらに好みの値として変更することができるようにしてもよい。 Here, as the width DW of the display surface, the size of the width of an external monitor such as a TV display owned by the user is input from the operation unit 110, and the value of the size is adopted. Further, by adjusting the value and the threshold value VS f in advance from the operation unit 110, the value may be further changed as a favorite value.

(表示面上にあるかのように知覚される場合)
図3(b)において、表示面DP30上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面D30上のPcの位置で結像する。これにより観察者からは被写体画像が表示面DP30上にあるかのように知覚されることになる。
(When perceived as if it is on the display surface)
In FIG. 3B, when the position of the subject in the left-eye image on the display surface DP30 and the position of the subject in the right-eye image are the same, the subject image is Pc on the display surface D30. The image is formed at the position. As a result, the viewer perceives the subject image as if it is on the display surface DP30.

(後方へ引き込んでいるかのように知覚される場合)
図3(c)において、表示面DP30上の左眼用画像中の被写体画像の位置をLb、右眼用画像中の被写体画像の位置をRbとすると、観察者が左眼LE30でLb、右眼RE30でRbを観察した場合、被写体はPbの位置で結像する。これにより観察者からは被写体画像が表示面DP30に対して後方に引き込んでいるかのように知覚されることになる。
(When perceived as if pulling backward)
In FIG. 3C, when the position of the subject image in the left-eye image on the display surface DP30 is L b and the position of the subject image in the right-eye image is R b , the observer uses the left eye LE30 to set L b, when observing the R b in the right eye RE 30, subject imaged at the position of P b. As a result, the observer perceives the subject image as if it was drawn backward with respect to the display surface DP30.

ここで、観察者の左眼LE30と右眼RE30の距離をE、像LbとRbの視差量をVbとすると、表示面DP30から結像位置までの距離Zbは以下の式(3)の通りとなる。 Here, the distance of the observer's left eye LE30 and right eye RE 30 E, the amount of parallax of the image L b and R b and V b, the distance Z b from the display surface DP30 to the imaging position to the following formula ( 3) As follows.

(E−Vb)Zb=D・Vb ・・・(3) (E−V b ) Z b = D · V b (3)

ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面D30とは異なる位置Pbで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。 Here, whether the subject image even if it is perceived as if by drawing the rear, the viewer will perceive a different position P b is a display surface D30 of the subject image is jumping out forward It is the same as the case where it is perceived. Therefore, similarly to the case where it is perceived as if it is jumping out forward, there is a risk that the observer's eyes may be burdened or the viewer may feel uncomfortable.

そこで、視差量判定部203は、Vbが以下の式(4)で表される閾値VSbを上回る場合に、後方への引き込み方向の、すなわち負の方向の視差ベクトルの視差が観察者の目に負担をかける可能性がある大きさになっていると判定する。 Therefore, the parallax amount determination unit 203 determines that the parallax of the parallax vector in the backward pull-in direction, that is, in the negative direction is the observer's disparity when V b exceeds the threshold value VS b represented by the following equation (4). It is determined that the size is likely to put a strain on the eyes.

VSb=0.029×DW・・・(4) VS b = 0.029 × DW (4)

ここで、上記表示面の幅DWには、操作部110からユーザが所有しているTVディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが操作部110を使用して、事前にその値や閾値VSbを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。 Here, the width DW of the display surface is inputted from the operation unit 110 as the width of an external monitor such as a TV display owned by the user, and the value of the size is adopted as the front It is the same as when it is perceived as if it is jumping out. The user uses the operation unit 110 in advance may be allowed to be changed as a further preference value by adjusting the value or the threshold VS b, if they pop out the value to the forward Thus, it may be set to a value different from the case where it is perceived.

また、表示面から後方に引き込んでいるかのように知覚される3D画像では、表示面上における水平方向の視差が5cmを超えないようにすることが望ましい旨が方向されている(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。   In addition, in a 3D image that is perceived as if it is drawn backward from the display surface, it is desired that the horizontal parallax on the display surface should not exceed 5 cm. 3DC Safety Guidelines for 3D Dissemination ”Published by 3D Consortium Safety Guidelines Committee, revised April 20, 2010). Since both eyes of a person do not open outward, observing a subject that is more than the pupil distance between both eyes independently with the left eye and the right eye may put a greater burden on the eyes of the observer. Because there is.

そこで、上記式(4)で導き出されるVSbを5cmに設定しても良い。VSbが5cm以上かどうかの判定及び、5cmとする設定は、予め設定又は入力されているDWの値から5cm相当のピクセル数を算出することで行われる。 Therefore, VS b derived by the above equation (4) may be set to 5 cm. The determination whether VS b is 5 cm or more and the setting to 5 cm are performed by calculating the number of pixels corresponding to 5 cm from the DW value set or input in advance.

以上のようにして、視差量判定部203は、3D画像における左眼用画像と右眼用画像との間の視差量が、観察者の目に負担をかける可能性のある所定の大きさを上回るか否かの判定を行う。   As described above, the parallax amount determination unit 203 sets the predetermined amount of parallax between the left-eye image and the right-eye image in the 3D image that may put a burden on the observer's eyes. Judgment is made whether or not it exceeds.

ここで、視差量判定部203は、切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出した、その時点における3D画像データに関し導出された視差量の判定を行なう。または、切り替わり点から所定の時点まで(例えば、3秒後の時点)の3D画像データに関し導出された視差量の判定を継続することもできる。   Here, the parallax amount determination unit 203 determines the amount of parallax derived with respect to the 3D image data at that time when the switching point detection unit 201 detects the switching point from the 2D image data to the 3D image data. Alternatively, the determination of the amount of parallax derived for the 3D image data from the switching point to a predetermined time point (for example, a time point after 3 seconds) can be continued.

図1に戻り、画像変換部103は、導出された視差量が所定の大きさを上回っていると判定された場合に、切り換わり点より前の所定の2D画像データを視差量が切り換わり点に向かって増加する3D画像データに変換する処理を行う。画像変換部103によるこの処理について、以下に説明する。   Returning to FIG. 1, when it is determined that the derived amount of parallax exceeds a predetermined size, the image conversion unit 103 switches the predetermined 2D image data before the switching point to the switching point of the parallax amount. A process of converting into 3D image data that increases toward is performed. This processing by the image conversion unit 103 will be described below.

画像変換部103は、予め記録している複数の奥行き感を有する画像のモデル(以下、「基本奥行きモデル」という。)及び2D画像データの輝度信号の高域成分に基づいて、画像の飛び出し及び引き込みに関する奥行き推定データを生成し、その奥行き推定データに基づき2D画像データから左眼用画像データ及び右眼用画像データを生成して、2D画像データを3D画像データに変換する。   The image conversion unit 103 performs image projection and image extraction based on a plurality of pre-recorded image models having a sense of depth (hereinafter referred to as “basic depth model”) and high frequency components of the luminance signal of 2D image data. Depth estimation data regarding pull-in is generated, image data for the left eye and image data for the right eye are generated from the 2D image data based on the depth estimation data, and the 2D image data is converted into 3D image data.

基本奥行きモデルとして、図4に例示した3モデルが中央制御部200のROM又は画像処理装置1の図示しない記録部に記録されている。図4(a)に示した基本奥行きモデルaは、球面状の凹面による奥行きモデルである。図4(b)に示した基本奥行きモデルbは、基本奥行きモデルaの上部を球面状ではなくアーチ型の円筒面に置き換えたもので、上部を円筒面とし下部を凹面としたモデルである。図4(c)に示した基本奥行きモデルcは、上部を平面、下部をその平面から連続し、下に向かうほど手前側に向かう円筒面状をしたもので、上部を平面とし下部を円筒面としたモデルである。   As the basic depth model, the three models illustrated in FIG. 4 are recorded in the ROM of the central control unit 200 or the recording unit (not shown) of the image processing apparatus 1. The basic depth model a shown in FIG. 4A is a depth model with a spherical concave surface. The basic depth model b shown in FIG. 4B is a model in which the upper part of the basic depth model a is replaced with an arched cylindrical surface instead of a spherical shape, and the upper part is a cylindrical surface and the lower part is a concave surface. The basic depth model c shown in FIG. 4 (c) has a cylindrical surface shape in which the upper part is a plane, the lower part is continuous from the plane, and toward the near side as it goes down. The upper part is a plane and the lower part is a cylindrical surface. It is a model.

画像変換部103は、2D画像データの輝度信号の高域成分を算出する。そして、算出された値から上記3種類の基本奥行きモデルの合成比率を決定し、その合成比率から奥行き推定データを生成する。   The image conversion unit 103 calculates a high frequency component of the luminance signal of 2D image data. Then, a synthesis ratio of the three types of basic depth models is determined from the calculated values, and depth estimation data is generated from the synthesis ratio.

次に、画像変換部103は、この奥行き推定データをもとに元の2D画像データとは別の視点(左眼用又は右眼用)の2D画像データを生成する。すなわち奥行き推定データに基づいて、元の2D画像のテクスチャを左方向ないし右方向にシフトさせて配置していき、元の2D画像に対して視差をもった新たな2D画像を生成する。そして、この新たな2D画像に係る画像データを別の視点の2D画像データとする。   Next, the image conversion unit 103 generates 2D image data of a viewpoint (for the left eye or for the right eye) different from the original 2D image data based on the depth estimation data. That is, based on the depth estimation data, the texture of the original 2D image is shifted and arranged in the left direction or the right direction, and a new 2D image having parallax with respect to the original 2D image is generated. Then, the image data relating to the new 2D image is set as 2D image data of another viewpoint.

この元の2D画像データ及び新たに生成された別の視点の2D画像データを、左眼用画像データないし右眼用画像データとすることで、2D画像データを3D画像に変換することができる。   By using the original 2D image data and the newly generated 2D image data of another viewpoint as image data for left eye or image data for right eye, 2D image data can be converted into a 3D image.

ここで、画像変換部103は、2D画像全体のテクスチャを奥行き推定データに基づいてシフトさせることもできるし、特定の被写体画像のテクスチャのみを奥行き推定データに基づいてシフトさせることもできる。   Here, the image conversion unit 103 can shift the texture of the entire 2D image based on the depth estimation data, or can shift only the texture of a specific subject image based on the depth estimation data.

画像変換部103は、上記の手法以外にも、単純に元の2D画像を右方向ないし左方向にシフトさせて別の視点の2D画像データを生成してもよい。上述した2D画像データの3D画像データへの変換の手法は例示であり、他の既知の手法等を採用することもできる。   In addition to the above method, the image conversion unit 103 may simply shift the original 2D image in the right direction or the left direction to generate 2D image data of another viewpoint. The above-described method for converting 2D image data into 3D image data is merely an example, and other known methods may be employed.

このとき、画像変換部103は、元の2D画像データをその時点における上記奥行き推定データに基づく視差量を有する3D画像にいきなり変換するのではなく、新たに生成された別の視点の2D画像データとの間の視差量が所定時間かけて奥行き推定データの視差量の大きさに到達するように、上記元の2D画像のテクスチャを左方向ないし右方向にシフトさせた配置を順次行っていく。   At this time, the image conversion unit 103 does not immediately convert the original 2D image data into a 3D image having a parallax amount based on the depth estimation data at that time, but newly generated 2D image data of another viewpoint. The arrangement of shifting the texture of the original 2D image in the left direction or the right direction is sequentially performed so that the amount of parallax between the two reaches the magnitude of the parallax amount of the depth estimation data over a predetermined time.

以上のようにすることで、画像変換部103は、切換点検出部201が切り換わり点を検出してから所定時間だけ前の時点(例えば3秒前の時点)から切り替わり点の直前に至るまで、元の2D画像データと新たに生成された別の視点の2D画像データとの間の視差量が徐々に増加し、切り換わり点の直前で奥行き推定データに基づく視差を有する3D画像に到達するように順次変換していくことができる。   By doing as described above, the image conversion unit 103 starts from a time point (for example, a point 3 seconds before) a predetermined time after the switching point detection unit 201 detects the switching point to immediately before the switching point. The amount of parallax between the original 2D image data and the newly generated 2D image data of another viewpoint gradually increases, and arrives at the 3D image having the parallax based on the depth estimation data immediately before the switching point. Can be converted sequentially.

ここで、画像変換部103が上述の変換処理を行う際に、被写体特定部204が特定した被写体画像、又は領域特定部205が特定した特定の画像領域に含まれる被写体画像についてのみ、視差量を徐々に増加させることができる。図1の被写体特定部204及び領域特定部205それぞれの機能について、以下に説明する。   Here, when the image conversion unit 103 performs the above-described conversion process, only the subject image specified by the subject specifying unit 204 or the subject image included in the specific image region specified by the region specifying unit 205 is subjected to the parallax amount. Can be gradually increased. The functions of the subject specifying unit 204 and the region specifying unit 205 in FIG. 1 will be described below.

被写体特定部204は、画像変換部103が3D画像に変換する2D画像中の被写体画像のなかから、視差量を徐々に増加させる被写体画像を特定する。   The subject specifying unit 204 specifies a subject image that gradually increases the parallax amount from among the subject images in the 2D image that the image conversion unit 103 converts into a 3D image.

この被写体特定部204は、まず、切換点検出部201が検出した切り換わり点の直前若しくは所定時間前の2D画像データ、及び切り換わり点若しくは所定時間後の3D画像データを比較し、双方に同じ被写体画像データがあった場合に2D画像データからその被写体画像データを特定する。   The subject specifying unit 204 first compares the 2D image data immediately before or a predetermined time before the switching point detected by the switching point detection unit 201 and the 3D image data after the switching point or a predetermined time, and the same for both. When there is subject image data, the subject image data is specified from the 2D image data.

この特定は、既知の被写体認識の技術に基づき実施される。例えば、既知の顔検出等の技術により2D画像データ中の被写体の顔画像データの特徴値、及び3D画像データ中の被写体の顔画像データの特徴値を算出し比較する。そして、それらの特徴値が所定の類似の範囲内にある場合には、切り換わり点の直前若しくは所定時間前の2D画像データ、及び切り換わり点若しくは所定時間後の3D画像データで同じ人物が被写体画像として存在するとして、2D画像データからその人物の画像データを特定する。   This identification is performed based on a known subject recognition technique. For example, the feature value of the face image data of the subject in the 2D image data and the feature value of the face image data of the subject in the 3D image data are calculated and compared by a known technique such as face detection. If these feature values are within a predetermined similar range, the same person is the subject in the 2D image data immediately before or at a predetermined time before the switching point and at the switching point or 3D image data after the predetermined time. Assuming that the image exists as an image, the image data of the person is specified from the 2D image data.

そして、特定された被写体画像データに対応する3D画像データ中の被写体画像データが、視差量判定部203により所定の視差量を上回っていると判定さていた場合には、被写体特定部204は抽出された被写体画像データに係る被写体画像を、視差量を徐々に増加させる対象として特定する。   If the subject image data in the 3D image data corresponding to the specified subject image data is determined by the parallax amount determination unit 203 to exceed the predetermined amount of parallax, the subject specifying unit 204 is extracted. The subject image related to the subject image data is specified as a target for gradually increasing the parallax amount.

画像変換部103は、この特定された被写体画像が所定時間かけて所定の視差量となるように、上述の2D画像データから3D画像データへの変換を実施する。   The image conversion unit 103 performs conversion from the above-described 2D image data to 3D image data so that the specified subject image has a predetermined amount of parallax over a predetermined time.

2D画像データから3D画像データに切り換わってすぐのタイミングで、特定の被写体画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。被写体特定部204が、上記の被写体の特定の処理をすることで、こういった可能性のある被写体画像と同じ被写体画像が2Dで表示されるはずの段階で、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。   If a specific subject image is perceived as an image that is excessively popping out or drawn in at the timing immediately after switching from 2D image data to 3D image data, there is a possibility that it becomes a burden on the observer. When the subject specifying unit 204 performs the above-described subject specifying processing, the same subject image as the possible subject image should be displayed in 2D, and gradually toward the switching point. It can be popped out or pulled in, and the burden on the observer can be reduced by getting used to the observer.

領域特定部204は、画像変換部103が3D画像に変換する2D画像のなかから、視差量を徐々に増加させる被写体画像が含まれる画像領域を特定する。   The area specifying unit 204 specifies an image area including a subject image that gradually increases the amount of parallax from the 2D images that the image conversion unit 103 converts into 3D images.

この領域特定部204は、まず切換点検出部201が検出した切り換わり点の直後又は所定時間分の3D画像データのなかから、視差量判定部203により所定の視差量を上回っていると判定された視差量を有する画像領域を特定する。   The area specifying unit 204 is determined by the parallax amount determination unit 203 to exceed the predetermined amount of parallax immediately after the switching point detected by the switching point detection unit 201 or from the 3D image data for a predetermined time. An image area having a specified amount of parallax is identified.

そして、特定された領域と表示座標(位置)上で対応する領域を切り換わり点より前の所定時間分の2D画像データのなかから特定し、その領域に含まれる被写体画像を、視差量を徐々に増加させる対象として特定する。   Then, the region corresponding to the identified region on the display coordinates (position) is identified from the 2D image data for a predetermined time before the switching point, and the subject image included in the region is gradually increased in parallax amount. Specify as the target to increase.

画像変換部103は、この2D画像内で特定された画像領域に含まれる被写体画像が所定時間かけて所定の視差量となるように、上述の2D画像データから3D画像データへの変換を実施する。   The image conversion unit 103 performs the conversion from the 2D image data to the 3D image data so that the subject image included in the image region specified in the 2D image has a predetermined amount of parallax over a predetermined time. .

2D画像データから3D画像データに切り換わってすぐのタイミングで、特定の領域の画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。領域特定部205が、上記の領域特定の処理を行うことで、2D画像が表示さるはずの段階で、3D画像に切りかわったときにこういった可能性のある表示領域に対応する表示領域に含まれる被写体画像を、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。   If an image in a specific area is perceived as an image that is excessively popping out or pulled in immediately after switching from 2D image data to 3D image data, there is a possibility of burdening the viewer. The area specifying unit 205 performs the above-described area specifying process to display a display area corresponding to such a display area when switching to the 3D image at the stage where the 2D image should be displayed. The included subject image can be gradually jumped out or drawn toward the switching point, and the burden on the observer can be reduced by getting used to the observer.

(画像処理)
次に、本実施形態の画像処理装置1による、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換する画像処理について説明する。
(Image processing)
Next, when outputting image data in which 2D image data and 3D image data are mixed by the image processing apparatus 1 according to the present embodiment, a switching point from 2D image data to 3D image data is detected and switched. Image processing for converting predetermined 2D image data before a point to 3D image data that increases toward the point when the parallax is switched will be described.

図5は、画像処理装置1が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。   FIG. 5 is a flowchart for explaining image processing according to the embodiment of the present invention performed by the image processing apparatus 1.

操作部110の操作に応じて、各種記録媒体、デジタルテレビチューナ、又は撮像装置等から2D画像データと3D画像データとが混在した画像データが順次、画像データ入力部101に入力される(ステップS101)。   In accordance with the operation of the operation unit 110, image data in which 2D image data and 3D image data are mixed is sequentially input to the image data input unit 101 from various recording media, a digital television tuner, an imaging device, or the like (step S101). ).

画像データ入力部101に画像データが入力されると、一時記憶部102が順次、その画像データを一時記憶する(ステップS102)。図6に一時記憶部102が一時記憶する画像データの概念図を示す。   When image data is input to the image data input unit 101, the temporary storage unit 102 sequentially stores the image data in sequence (step S102). FIG. 6 shows a conceptual diagram of image data temporarily stored in the temporary storage unit 102.

図6には、時点t1までは2D画像データD601、時点t1以降で時点t2までは3D画像データD602、時点t2以降で時点t3までは2D画像データD603、そして時点t3以降は3D画像データD604が、一時記憶部102に一時記憶されている様子を示す。このように、一時記憶部102には、2D画像データと3D画像データとが混在した画像が順次、一時記憶される。   FIG. 6 shows 2D image data D601 until time t1, 3D image data D602 after time t1 and until time t2, 2D image data D603 after time t2 and until time t3, and 3D image data D604 after time t3. FIG. 2 shows a state temporarily stored in the temporary storage unit 102. As described above, the temporary storage unit 102 sequentially and temporarily stores images in which 2D image data and 3D image data are mixed.

図5に戻り、ステップS102で画像データが一時記憶されると、切換点検出部201が、一時記憶されていく画像データが2D画像データから3D画像データに切り換わる時点を、切り換わり点として検出する(ステップS103)。   Returning to FIG. 5, when the image data is temporarily stored in step S <b> 102, the switching point detection unit 201 detects a time point when the temporarily stored image data is switched from 2D image data to 3D image data as a switching point. (Step S103).

切換点検出部201は、画像データの有する、各シーンが2D画像のシーンであるか3D画像のシーンであるかを示す制御情報から切り換わり点を検出する。又は、2D画像データと3D画像データのデータ構造の相違から切り換わり点を検出する。   The switching point detection unit 201 detects a switching point from control information indicating whether each scene is a 2D image scene or a 3D image scene included in the image data. Alternatively, the switching point is detected from the difference in data structure between 2D image data and 3D image data.

図6では、2D画像データD601が3D画像データD602に切り換わる時点t1が切り換わり点P1として検出される。同様に、2D画像データD603が3D画像データ604に切り換わる時点t3が切り換わり点P2として検出される。   In FIG. 6, a time point t1 at which the 2D image data D601 is switched to the 3D image data D602 is detected as a switching point P1. Similarly, a time point t3 when the 2D image data D603 is switched to the 3D image data 604 is detected as a switching point P2.

なお、切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出しなかった場合(ステップS103でNO)、画像処理装置1は以降の処理を実施しない。   When the switching point detection unit 201 does not detect a switching point from 2D image data to 3D image data (NO in step S103), the image processing apparatus 1 does not perform the subsequent processing.

切換点検出部201が2D画像データから3D画像データへの切り換わり点を検出した場合(ステップS103でYES)、視差量導出部202は切り換わり点における、又は切り換わり点以降の所定の時間分の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する(ステップS104)。なお、この視差量の導出は、上述の通りテンプレートマッチングを利用した手法等により行われる。   When the switching point detection unit 201 detects a switching point from 2D image data to 3D image data (YES in step S103), the parallax amount deriving unit 202 is for a predetermined time at or after the switching point. The amount of parallax between the left-eye image and the right-eye image in the 3D image data is derived (step S104). The parallax amount is derived by a method using template matching or the like as described above.

図6では、視差量導出部202は、時点t1における又は時点t1から所定時間後までの間(例えば、5秒間)における3D画像データD602の視差量の導出を行なう。同様に、視差量導出部202は、t3における又はt3から所定時間後までの間における3D画像データD604の視差量の導出を行なう。   In FIG. 6, the parallax amount deriving unit 202 derives the parallax amount of the 3D image data D602 at the time point t1 or between the time point t1 and a predetermined time later (for example, 5 seconds). Similarly, the parallax amount deriving unit 202 derives the parallax amount of the 3D image data D604 at t3 or between t3 and a predetermined time.

図5のステップS104で、視差量導出部202が上記視差量の導出を行なうと、視差量判定部203が導出された視差量が所定の大きさを上回っているかどうかを判定する(ステップS105)。   When the parallax amount deriving unit 202 derives the parallax amount in step S104 of FIG. 5, the parallax amount determining unit 203 determines whether or not the derived parallax amount exceeds a predetermined size (step S105). .

切り換わり点直後に、又は切り換わり点から所定時間以内に表示される3D画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれていた場合、そのままその3D画像が表示されると、それまで2D画像を観察していて、3D画像の観察に目が慣れていない観察者に負担を与える可能性がある。   If a 3D image displayed immediately after the switching point or within a predetermined time from the switching point includes a subject image having a large amount of parallax that may impose a burden on the observer, When the 3D image is displayed, there is a possibility that a burden may be placed on an observer who has been observing the 2D image until then and is not accustomed to observing the 3D image.

図7に、表示される画像が2D画像から3D画像に切り換わる様子の模式図を示す。この図7では観察者の左眼をLE30及び右眼をRE30としている。   FIG. 7 shows a schematic diagram of how the displayed image is switched from a 2D image to a 3D image. In FIG. 7, the left eye of the observer is LE30 and the right eye is RE30.

図7(a)は、時点t1まで2D画像であるD71が表示され、時点t1で3D画像として左眼用画像LD71及び右眼用画像RD71が表示される様子を模式的に示している。   FIG. 7A schematically shows a state in which D71 as a 2D image is displayed until time t1, and the left-eye image LD71 and right-eye image RD71 are displayed as 3D images at time t1.

ここで観察者は、時点t1までは被写体画像G71を2D画像として、表示画像D71内に知覚している。ところが、時点t1で3D画像に切り換わり、左眼用画像LD71と右眼用画像RD71との間の視差に基づき、被写体画像TG71を表示面からZf701だけ飛び出して知覚している。 Here, the observer perceives the subject image G71 as a 2D image in the display image D71 until time t1. However, at time t1, the image is switched to a 3D image, and based on the parallax between the left-eye image LD71 and the right-eye image RD71, the subject image TG71 jumps out of the display surface by Z f 701 and is perceived.

この被写体画像TG71の飛び出しの大きさZf701に係る視差量が上述した閾値VSfを上回っていた場合、まだ3D画像の知覚になれていない観察者の目に負担を掛ける可能性がある。 When the amount of parallax related to the pop-out size Z f 701 of the subject image TG71 exceeds the threshold value VS f described above, there is a possibility of placing a burden on the eyes of an observer who has not yet perceived a 3D image.

このとき、視差量判定部203は、3D画像に切り換わる時点t1において、左眼用画像と右眼用画像との間に、所定の閾値VSfを上回る、すなわち観察者に負担を与える可能性のある視差量がある旨の判定を行う。 At this time, the parallax amount determination unit 203 may exceed the predetermined threshold VS f between the left-eye image and the right-eye image at the time point t1 when switching to the 3D image, that is, may impose a burden on the observer. It is determined that there is a certain amount of parallax.

図7(b)は、時点t3まで2D画像であるD72が表示され、時点t3で3D画像として左眼用画像LD72及び右眼用画像RD72が表示され、そして時点t3から所定時間Δt後に、同じく3D画像として左眼用画像LD73及びRD73が表示される様子を模式的に示している。   In FIG. 7B, D72 which is a 2D image is displayed until time t3, left eye image LD72 and right eye image RD72 are displayed as 3D images at time t3, and after a predetermined time Δt from time t3, A state in which the left-eye images LD73 and RD73 are displayed as 3D images is schematically shown.

ここで、観察者は時点t3までは被写体画像G72を2D画像として、表示画像D72内に知覚している。そして、時点t3で3D画像に切り換わり、左眼用画像LD72と右眼用画像RD72との間の視差に基づき、被写体画像TG72を表示面からZf702だけ飛び出していると知覚している。 Here, the observer perceives the subject image G72 as a 2D image in the display image D72 until time t3. At time t3, the image is switched to a 3D image, and it is perceived that the subject image TG72 is projected from the display surface by Z f 702 based on the parallax between the left-eye image LD72 and the right-eye image RD72.

この切り換わり点である時点t3では、被写体画像TG72の飛び出しの大きさZf702に係る視差量が上述した閾値VSfを下回っている場合、視差量判定部203は、左眼用画像LD72と右眼用画像RD72との間に、観察者に負担を与える可能性のある視差量がある旨の判定は行わない。 At the time point t3 that is the switching point, when the parallax amount related to the pop-out size Z f 702 of the subject image TG72 is below the threshold value VS f described above, the parallax amount determination unit 203 and the left-eye image LD72 It is not determined that there is a parallax amount that may impose a burden on the viewer between the right-eye image RD72.

一方で、時点t3からΔt経過して表示されることになる左眼像画像LD73と右眼用画像RD73との間では、被写体画像TG73がZf702よりも大きなZf703だけ飛び出しているように知覚される。 On the other hand, the subject image TG73 appears to protrude by Z f 703 larger than Z f 702 between the left-eye image LD73 and the right-eye image RD73 that are displayed after Δt has elapsed from time t3. Perceived.

この被写体画像TG73の飛び出しの大きさZf703に係る視差量が上述した閾値VSfを上回っていた場合、視差量判定部203は観察者に負担を与える可能性のある視差量がある旨の判定を行う。 When the parallax amount related to the pop-out size Z f 703 of the subject image TG73 exceeds the threshold value VS f described above, the parallax amount determination unit 203 indicates that there is a parallax amount that may impose a burden on the observer. Make a decision.

2D画像から3D画像に切り換わった時点では、観察者に負担を与える可能性がある視差量を有する画像が含まれていない場合でも、それまで2D画像を観察していた観察者が3D画像の知覚に慣れる前に、上述した閾値VSfを上回る被写体画像が表示されると、観察者の目に負担を掛ける可能性があるからである。 At the time when the 2D image is switched to the 3D image, even if an image having a parallax amount that may impose a burden on the observer is not included, the observer who has observed the 2D image until then has changed the 3D image. This is because if a subject image that exceeds the threshold value VS f described above is displayed before getting used to perception, it may put a burden on the eyes of the observer.

なお、視差量判定部203が、切り換わり点直後に、又は切り換わり点から所定時間以内に表示される3D画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれている旨の判定をしなかった場合(S105でNO)、画像処理装置1は以降の処理を実施しない。   It should be noted that the parallax amount determination unit 203 has a parallax amount of a size that may cause a burden on the observer in a 3D image displayed immediately after the switching point or within a predetermined time from the switching point. If it is not determined that an image is included (NO in S105), the image processing apparatus 1 does not perform the subsequent processing.

図5に戻り、ステップS105で視差量判定部203が、左眼用画像と右眼用画像との間の視差量が所定の値を上回ると判定した場合(ステップS105でYES)、画像変換部103は一時記憶部に一時記憶された画像データにおける、切り換わり点から所定時間分だけ前の時点から、切り換わり点の時点までの2D画像データを、視差量が切り換わり点に向かって増加する3D画像に変換する(S106)。   Returning to FIG. 5, when the parallax amount determination unit 203 determines in step S105 that the parallax amount between the left-eye image and the right-eye image exceeds a predetermined value (YES in step S105), the image conversion unit. Reference numeral 103 denotes 2D image data from the time point a predetermined time before the switching point to the switching point in the image data temporarily stored in the temporary storage unit, and the amount of parallax increases toward the switching point. The image is converted into a 3D image (S106).

画像変換部103による2D画像を3D画像に変換する手法については、上述した通りである。以下に、画像変換部103が、2D画像全体を3D画像に変換する変換処理、被写体特定部204が特定した被写体画像に視差を設けて3D画像に変換する変換処理、及び領域特定部205が特定した領域に含まれる被写体画像に視差を設けて3D画像に変換する変換処理のそれぞれについて説明する。   The method for converting a 2D image into a 3D image by the image conversion unit 103 is as described above. Below, the image conversion unit 103 converts the entire 2D image into a 3D image, the conversion processing that converts the subject image specified by the subject specifying unit 204 into a 3D image by providing parallax, and the region specifying unit 205 specifies Each of the conversion processes for converting the subject image included in the region into a 3D image by providing parallax will be described.

(2D画像全体を3D画像に変換する変換処理)
画像変換部103は、切り換わり点より前の所定時間分の2D画像全体を3D画像に変換する画像処理を行う。図8に、この画像変換部103による変換の処理について説明する概念図を示す。
(Conversion processing for converting the entire 2D image into a 3D image)
The image conversion unit 103 performs image processing for converting the entire 2D image for a predetermined time before the switching point into a 3D image. FIG. 8 is a conceptual diagram for explaining conversion processing by the image conversion unit 103.

図8は、時点t81から切り換わり点の直前である時点t84に至るまでの、変換前の2D画像、及びその2D画像を変換した3D画像の経過を模式的に示した図である。図8(a)は変換前の2D画像を、図8(b)は変換後の3D画像を示している。   FIG. 8 is a diagram schematically illustrating the progress of the 2D image before conversion and the 3D image obtained by converting the 2D image from time t81 to time t84 immediately before the switching point. FIG. 8A shows a 2D image before conversion, and FIG. 8B shows a 3D image after conversion.

時点t81では、一時記憶部102に一時記憶された画像データである2D画像データが、そのまま2D画像D81として画像出力部104を介して外部のディスプレイ等に出力されている。   At time t81, 2D image data that is image data temporarily stored in the temporary storage unit 102 is output as it is as a 2D image D81 to an external display or the like via the image output unit 104.

次に、画像変換部103は、時点t81から1秒後の時点t82において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D82として出力される画像データを、画像変換部103が3D画像データTD82として、視差を有する2つの画像に変換する。   Next, the image conversion unit 103 converts 2D image data into 3D image data at a time t82 that is one second after the time t81. That is, if this conversion is not performed, the image data output as the 2D image D82 is converted into two images having parallax by the image conversion unit 103 as the 3D image data TD82.

このとき左眼用画像中の被写体画像LG821と右眼用画像中の被写体画像RG821との間の視差量がV821、左眼用画像中の被写体画像LG822と右眼用画像中の被写体画像RG822との間の視差量がV822となるように変換が行われる。ここで、これらの視差量V821及びV822は、画像変換部103が生成した奥行き推定データに基づく視差量の1/3の大きさを持つように2D画像D82中の被写体画像G821及びG822に係るテクスチャを配置することで生成される。   At this time, the parallax amount between the subject image LG821 in the left-eye image and the subject image RG821 in the right-eye image is V821, the subject image LG822 in the left-eye image, and the subject image RG822 in the right-eye image The conversion is performed so that the amount of parallax between is V822. Here, the textures related to the subject images G821 and G822 in the 2D image D82 so that the parallax amounts V821 and V822 have a size of 1/3 of the parallax amount based on the depth estimation data generated by the image conversion unit 103. It is generated by arranging.

続いて、画像変換部103は、時点t82から1秒後の時点t83において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D83として出力される画像データを、画像変換部103が3D画像データTD83として、視差を有する2つの画像に変換する。   Subsequently, the image conversion unit 103 converts the 2D image data into 3D image data at a time t83 one second after the time t82. That is, if this conversion is not performed, the image data output as the 2D image D83 is converted by the image conversion unit 103 into two images having parallax as the 3D image data TD83.

このとき左眼用画像中の被写体画像LG831と右眼用画像中の被写体画像RG831との間の視差量がV831、左眼用画像中の被写体画像LG832と右眼用画像中の被写体画像RG832との間の視差量がV832となるように変換が行われる。ここで、これらの視差量V831及びV832は、画像変換部103が生成した奥行き推定データに基づく視差の2/3の大きさを持つように2D画像D83中の被写体画像G831及びG832に係るテクスチャを配置することで生成される。   At this time, the parallax amount between the subject image LG831 in the left-eye image and the subject image RG831 in the right-eye image is V831, and the subject image LG832 in the left-eye image and the subject image RG832 in the right-eye image Conversion is performed so that the amount of parallax between is V832. Here, the parallax amounts V831 and V832 have the textures related to the subject images G831 and G832 in the 2D image D83 so that the parallax amounts V831 and V832 have a size of 2/3 of the parallax based on the depth estimation data generated by the image conversion unit 103. Generated by placing.

そして、画像変換部103は、時点t83から1秒後の時点t4において、2D画像データを3D画像データに変換する。つまり、この変換を行わなければ2D画像D84として出力される画像データを、画像変換部103が3D画像データTD84として、視差を有する2つの画像に変換する。なお、この時点t4が切換点検出部201が検出した切り換わり点の直前に相当する。   Then, the image conversion unit 103 converts the 2D image data into 3D image data at a time t4 one second after the time t83. That is, if this conversion is not performed, the image data output as the 2D image D84 is converted by the image conversion unit 103 into two images having parallax as the 3D image data TD84. Note that this time point t4 corresponds to immediately before the switching point detected by the switching point detector 201.

このとき左眼用画像中の被写体画像LG841と右眼用画像中の被写体画像RG841との間の視差量がV841、左眼用画像中の被写体画像LG842と右眼用画像中の被写体画像RG842との間の視差量がV822となるように変換が行われる。ここで、これらの視差量V841及びV842は、画像変換部103が生成した奥行き推定データに基づく大きさを持つように2D画像D84中の被写体画像G841及びG842に係るテクスチャを配置することで生成される。   At this time, the parallax amount between the subject image LG841 in the left-eye image and the subject image RG841 in the right-eye image is V841, the subject image LG842 in the left-eye image, and the subject image RG842 in the right-eye image The conversion is performed so that the amount of parallax between is V822. Here, these parallax amounts V841 and V842 are generated by arranging the textures related to the subject images G841 and G842 in the 2D image D84 so as to have a size based on the depth estimation data generated by the image conversion unit 103. The

以上のように画像変換部103が、切り換わり点より前の所定の時間における2D画像全体を、各時点における奥行き推定データに基づく視差量に対する変換後の3D画像の視差量の割合が、切り換わり点に向かって徐々に増加するように2D画像から3D画像への変換を行う。   As described above, the image conversion unit 103 switches the ratio of the parallax amount of the converted 3D image to the parallax amount based on the depth estimation data at each time point for the entire 2D image at a predetermined time before the switching point. Conversion from a 2D image to a 3D image is performed so as to gradually increase toward the point.

これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在する場合に、事前に観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。   As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, the 3D image is perceived as being projected too far from the observer or perceived as being pulled too much. When there is an image to be observed, the observer's eyes can be accustomed to the 3D image in advance, and the burden can be greatly reduced.

なお、上記では、画像変換部103が、奥行き推定データに基づいて2D画像データを3D画像データに変換する場合について記載したが、画像変換部103は単純に元の2D画像を右方向ないし左方向にシフトさせて別の視点の画像を生成することで2D画像データを3D画像データに変換することもできる。   In the above description, the case where the image conversion unit 103 converts 2D image data into 3D image data based on the depth estimation data is described. However, the image conversion unit 103 simply converts the original 2D image to the right or left direction. It is also possible to convert 2D image data into 3D image data by generating an image of another viewpoint by shifting to.

この場合は、シフトさせる大きさを徐々に大きくしていくことで、切り換わり点までの各時点における視差量が切り換わり点に向かって増加するように変換を行う。   In this case, conversion is performed so that the amount of parallax at each time point up to the switching point increases toward the switching point by gradually increasing the size to be shifted.

(被写体を基準にした変換処理)
視差量判定部203が、所定の閾値以上の視差量を有すると判定した被写体画像が、切り換わり点より前の2D画像にも存在した場合、2D画像が表示されている段階で、その被写体画像を切り換わり点に向かって徐々に視差量が増えていく3D画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。
(Conversion processing based on the subject)
When a subject image determined by the parallax amount determination unit 203 to have a parallax amount equal to or greater than a predetermined threshold is also present in the 2D image before the switching point, the subject image is displayed when the 2D image is displayed. Is converted into a 3D image in which the amount of parallax gradually increases toward the switching point, it is possible to accustom the eyes of the observer and reduce the burden.

そこで、被写体特定部204は、まず切り換わり点の直前若しくは所定時間分の2D画像データ、及び切り換わり点直後若しくは所定時間分の3D画像データを比較し、同じ被写体画像データが存在するかどうかを判断する。   Therefore, the subject specifying unit 204 first compares the 2D image data immediately before the switching point or for a predetermined time with the 3D image data immediately after the switching point or for the predetermined time, and determines whether or not the same subject image data exists. to decide.

そして、同じ被写体画像データが存在した場合は、2D画像データの被写体画像データを、視差量を増加させる対象として特定する。   If the same subject image data exists, the subject image data of the 2D image data is specified as a target for increasing the amount of parallax.

そして、画像変換部103は、被写体特定部204が特定した被写体画像を2D画像データから3D画像データに変換する。図9に、この画像変換部103による変換の処理について説明する概念図を示す。   Then, the image conversion unit 103 converts the subject image specified by the subject specifying unit 204 from 2D image data to 3D image data. FIG. 9 is a conceptual diagram for explaining conversion processing by the image conversion unit 103.

図9は、時点t91から切り換わり点の直前の時点t94に至るまでの、変換前の2D画像、及びその2D画像を変換した3D画像の経過を模式的に示した図である。図9(a)は変換前の2D画像を、図9(b)は変換後の3D画像を示している。   FIG. 9 is a diagram schematically illustrating the progress of the 2D image before conversion and the 3D image obtained by converting the 2D image from time t91 to time t94 immediately before the switching point. FIG. 9A shows a 2D image before conversion, and FIG. 9B shows a 3D image after conversion.

時点t91では一時記憶部102に一時記憶された画像データである2D画像データがそのまま2D画像D91として画像データ出力部104を介して外部のディスプレイ等に出力されている。   At time t91, 2D image data, which is image data temporarily stored in the temporary storage unit 102, is output as it is as a 2D image D91 to an external display or the like via the image data output unit 104.

次に時点t91から1秒後の時点t92において、被写体特定部204は2D画像D92のなかの被写体画像G921を、視差量を増加させる被写体画像として特定している。そして画像変換部103は、被写体画像G921を、視差量を有する被写体画像LG921とRG921とをそれぞれ左眼用画像データ及び右眼用画像データに有する3D画像TD92に変換する。   Next, at time t92, which is one second after time t91, the subject specifying unit 204 specifies the subject image G921 in the 2D image D92 as a subject image that increases the amount of parallax. Then, the image conversion unit 103 converts the subject image G921 into a 3D image TD92 having the subject images LG921 and RG921 having a parallax amount in the left-eye image data and the right-eye image data, respectively.

このとき被写体画像LG921と被写体画像RG921との間の視差量V921は、画像変換部103が生成した奥行き推定データに基づく視差量の1/3の大きさを持つように2D画像D92中の被写体画像G921に係るテクスチャを配置することで生成される。   At this time, the parallax amount V921 between the subject image LG921 and the subject image RG921 has a size of 1/3 of the parallax amount based on the depth estimation data generated by the image conversion unit 103, and the subject image in the 2D image D92. It is generated by arranging textures related to G921.

次に時点t92から1秒後の時点t93において、被写体特定部204は2D画像D92のなかの被写体画像G921と同じ被写体の画像である、2D画像D93のなかの被写体画像G931を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部103は、被写体画像G931を、視差量を有する被写体画像LG931とRG931とを左眼用画像データ及び右眼用画像データに有する3D画像TD93に変換する。   Next, at time point t93 one second after time point t92, the subject specifying unit 204 increases the parallax amount of the subject image G931 in the 2D image D93, which is the same subject image as the subject image G921 in the 2D image D92. It is specified as a subject image to be used as a reference. At this time, the image conversion unit 103 converts the subject image G931 into a 3D image TD93 having the subject images LG931 and RG931 having a parallax amount in the left-eye image data and the right-eye image data.

このとき被写体画像LG931と被写体画像RG931との間の視差量V931は、画像変換部103が生成した奥行き推定データに基づく視差量の2/3の大きさを持つように2D画像D93中の被写体画像G931に係るテクスチャを配置することで生成される。   At this time, the subject image in the 2D image D93 is such that the parallax amount V931 between the subject image LG931 and the subject image RG931 has a size of 2/3 of the amount of parallax based on the depth estimation data generated by the image conversion unit 103. It is generated by arranging textures related to G931.

そして、時点t83から1秒後の時点t84において、被写体特定部204は2D画像D92のなかの被写体画像G921と同じ被写体の画像である、2D画像D94のなかの被写体画像G941を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部103は、被写体画像G941を、視差量を有する被写体画像LG941とRG941とを左眼用画像データ及び右眼用画像データに有する3D画像に変換する。なお、この時点t4が切換点検出部201が検出した切り換わり点の直前に相当する。   Then, at time point t84 one second after time point t83, the subject specifying unit 204 increases the amount of parallax for the subject image G941 in the 2D image D94, which is the same subject image as the subject image G921 in the 2D image D92. It is specified as a subject image to be used as a reference. At this time, the image conversion unit 103 converts the subject image G941 into a 3D image having the subject images LG941 and RG941 having a parallax amount in the left-eye image data and the right-eye image data. Note that this time point t4 corresponds to immediately before the switching point detected by the switching point detector 201.

このとき被写体画像LG941と被写体画像RG941との間の視差量V941は、画像変換部103が生成した奥行き推定データに基づく大きさを持つように2D画像D94中の被写体画像G941に係るテクスチャを配置することで生成される。   At this time, the texture related to the subject image G941 in the 2D image D94 is arranged so that the parallax amount V941 between the subject image LG941 and the subject image RG941 has a size based on the depth estimation data generated by the image conversion unit 103. Is generated.

以上の通り、被写体特定部204によれば、所定の閾値よりも大きい視差量を有すると判定された被写体画像が、切り換わり点より前の所定時間内の2D画像にも存在した場合、2D画像が表示されている段階で、その被写体画像を、各時点における奥行き推定データに基づく視差量に対する変換後の3D画像の視差量の割合が、切り換わり点に向かって徐々に増加するように2D画像から3D画像への変換することができる。   As described above, according to the subject specifying unit 204, when a subject image determined to have a parallax amount larger than a predetermined threshold is also present in a 2D image within a predetermined time before the switching point, the 2D image 2D image so that the ratio of the parallax amount of the converted 3D image to the parallax amount based on the depth estimation data at each time point gradually increases toward the switching point. To 3D images.

これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される被写体画像又は引き込み過ぎているように知覚される被写体画像が存在する場合に、事前にその被写体に対する観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。   As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, the subject image is perceived as being projected too far as viewed by the observer from the 3D image, or perceived as being drawn too much. When the subject image to be displayed exists, the observer's eyes on the subject can be accustomed to the 3D image in advance, and the burden can be greatly reduced.

(領域を基準にした変換処理)
視差量判定部203が、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる3D画像内の領域に対応する2D画像内の領域に含まれる被写体画像を、2D画像が表示されている段階で、切り換わり点に向かって徐々に視差量が増えていく3D画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。
(Conversion processing based on area)
The subject image included in the region in the 2D image corresponding to the region in the 3D image corresponding to the region in the 3D image including the subject image determined by the parallax amount determination unit 203 to have a parallax amount equal to or greater than the predetermined threshold is displayed. If it is converted to a 3D image in which the amount of parallax gradually increases toward the switching point, the observer's eyes can be used and the burden can be reduced.

そこで、領域特定部205は、まず視差量判定部203により所定の視差量を上回っていると判定された視差量を有する被写体画像を含む領域を3D画像から特定し、その領域に対応する2D画像内の領域を特定する。   Accordingly, the region specifying unit 205 first specifies a region including a subject image having a parallax amount determined by the parallax amount determining unit 203 to exceed the predetermined parallax amount from the 3D image, and a 2D image corresponding to the region. Identify the area within.

そして、画像変換部103は、その特定された領域内に含まれる被写体画像の視差量が増加していくように2D画像データの3D画像データへの変換を行う。   Then, the image conversion unit 103 converts the 2D image data into 3D image data so that the amount of parallax of the subject image included in the specified region increases.

この被写体画像自体の変換については、上述の被写体特定204が特定した被写体画像の2D画像から3D画像への変換と同様にして行う。   The conversion of the subject image itself is performed in the same manner as the conversion of the subject image specified by the subject specification 204 described above from the 2D image to the 3D image.

領域特定部205によれば、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる領域に対応する2D画像内の領域に含まれる被写体画像を、2D画像が表示されている段階で、徐々に視差量が増えていく3D画像に変換することができる。従って、観察者の目を慣れさせて負担を軽減することができる。   According to the region specifying unit 205, the subject image included in the region in the 2D image corresponding to the region including the subject image determined to have the parallax amount equal to or greater than the predetermined threshold is displayed at the stage where the 2D image is displayed. It can be converted into a 3D image in which the amount of parallax gradually increases. Therefore, it is possible to reduce the burden by accustoming the eyes of the observer.

これによって、表示される画像が2D画像から3D画像に切り換わってすぐのタイミングで、その3D画像に観察者から見て飛び出し過ぎているように知覚される画像領域(表示領域)に対して、事前にその画像領域に対する観察者の目を3D画像に慣らすことができ、その負担を大きく減少させることができる。   As a result, at the timing immediately after the displayed image is switched from the 2D image to the 3D image, with respect to the image area (display area) perceived as jumping out too much when viewed by the observer in the 3D image, The observer's eyes for the image area can be accustomed to the 3D image in advance, and the burden can be greatly reduced.

図5に戻り、上記のようにして画像変換部103が元の2D画像データを3D画像データに変換すると、変換された3D画像データに係る左眼用画像データ及び右眼用画像データがそれぞれ画像データ出力部104から外部のディスプレイ装置等に出力される(ステップS107)。   Returning to FIG. 5, when the image conversion unit 103 converts the original 2D image data into 3D image data as described above, the image data for the left eye and the image data for the right eye related to the converted 3D image data are respectively images. The data is output from the data output unit 104 to an external display device (step S107).

以上のように、本実施形態の画像処理装置1によれば、2D画像データと3D画像データとが混在した画像データを出力する際に、2D画像データから3D画像データへの切り換わり点を検出し、切り換わり点より前の所定の2D画像データを視差が切り換わり点に向かって増加する3D画像データに変換することができる。   As described above, according to the image processing apparatus 1 of the present embodiment, when outputting image data in which 2D image data and 3D image data are mixed, a switching point from 2D image data to 3D image data is detected. Then, the predetermined 2D image data before the switching point can be converted into 3D image data in which the parallax increases toward the switching point.

これにより、2D画像データが3D画像データに切り換わってすぐのタイミングで、観察者に負担を与える可能性がある被写体画像が表示されるような場合に、画像処理をしなければ2D画像が表示される段階で、前もって徐々に視差が増加する3D画像を表示することができ、観察者の目を慣れさせることでその負担を大きく減少させることができる。   As a result, when a subject image that may impose a burden on the observer is displayed at the timing immediately after the 2D image data is switched to the 3D image data, the 2D image is displayed without image processing. At this stage, a 3D image in which parallax gradually increases can be displayed in advance, and the burden can be greatly reduced by accustoming the eyes of the observer.

1 画像処理装置
101 画像データ入力部
102 一時記憶部
103 画像変換部
104 画像データ出力部
110 操作部
200 中央制御部
201 切換点検出部
202 視差量導出部
203 視差量判定部
204 被写体特定部
205 領域特定部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 101 Image data input part 102 Temporary memory | storage part 103 Image conversion part 104 Image data output part 110 Operation part 200 Central control part 201 Switching point detection part 202 Parallax amount derivation part 203 Parallax amount determination part 204 Subject specification part 205 Area | region Specific part

Claims (4)

2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出部と、
前記切換点検出部が検出した切り換わり点以後の所定の3D画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部と、
前記視差量導出部が導出した視差量が所定値を超えているか否かを判定する視差量判定部と、
前記視差量判定部が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部が検出した切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換部とを有し、
前記視差量判定部が前記視差量導出部の導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出部が検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定部をさらに備え、
前記画像変換部は、前記領域特定部が特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理装置。
A switching point detecting unit for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed;
A parallax amount deriving unit for deriving a parallax amount between left-eye image data and right-eye image data in predetermined 3D image data after the switching point detected by the switching point detection unit;
A parallax amount determination unit that determines whether or not the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value;
When the parallax amount determining unit determines that the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value, predetermined 2D image data before the switching point detected by the switching point detecting unit and possess an image converter for converting the 3D image data parallax amount increases towards the switched-point,
The switching point detecting unit detects an image area corresponding to the image area in the 3D image data that the parallax amount determining unit determines that the parallax amount derived by the parallax amount deriving unit exceeds a predetermined value. An area specifying unit that specifies from 2D image data of a predetermined time before the point;
The image conversion unit converts the subject image data included in the image region in the 2D image data specified by the region specifying unit into 3D image data in which a parallax amount increases toward the switching point. Image processing device.
前記画像変換部は、前記切換点検出部が検出した切り換わり点から所定時間前までの2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする請求項1に記載の画像処理装置。   The image conversion unit converts 2D image data from a switching point detected by the switching point detection unit to a predetermined time before the 3D image data in which the amount of parallax increases toward the switching point. The image processing apparatus according to claim 1. 2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、
前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとからなり、
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさらに備え、
前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することを特徴とする画像処理方法。
A switching point detecting step for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed;
A parallax amount derivation step for deriving a parallax amount between the image for the left eye and the image for the right eye in the predetermined 3D image data after the switching point detected in the switching point detection step;
A parallax amount determining step for determining whether or not the parallax amount derived in the parallax amount deriving step exceeds a predetermined value;
In the parallax amount determining step, when it is determined that the parallax amount derived in the parallax amount deriving step exceeds a predetermined value, a predetermined amount before the switching point detected in the switching point detecting step is determined. the 2D image data, Ri Do from the image conversion step of converting the 3D image data parallax amount increases towards the switched-point,
The switching point detecting step detects the image region corresponding to the image region in the 3D image data in which the parallax amount determining step has determined that the parallax amount derived by the parallax amount deriving step exceeds a predetermined value. A region specifying step of specifying from 2D image data of a predetermined time before the point,
The image conversion step converts the subject image data included in the image region in the 2D image data specified by the region specifying step into 3D image data in which the amount of parallax increases toward the switching point. Image processing method.
2D画像データと3D画像データとが混在した画像データにおいて、その画像データが2D画像データから3D画像データに切り換わる切り換わり点を検出する切換点検出ステップと、  A switching point detecting step for detecting a switching point at which the image data is switched from 2D image data to 3D image data in image data in which 2D image data and 3D image data are mixed;
前記切換点検出ステップで検出された切り換わり点以後の所定の3D画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、  A parallax amount derivation step for deriving a parallax amount between the image for the left eye and the image for the right eye in the predetermined 3D image data after the switching point detected in the switching point detection step;
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、  A parallax amount determining step for determining whether or not the parallax amount derived in the parallax amount deriving step exceeds a predetermined value;
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の2D画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換する画像変換ステップとをコンピュータに実行させ、  In the parallax amount determining step, when it is determined that the parallax amount derived in the parallax amount deriving step exceeds a predetermined value, a predetermined amount before the switching point detected in the switching point detecting step is determined. Causing the computer to execute an image conversion step of converting the 2D image data into 3D image data in which the amount of parallax increases toward the switching point;
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした3D画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の2D画像データから特定する領域特定ステップをさら二コンピュータに実行させ、  The switching point detecting step detects the image region corresponding to the image region in the 3D image data in which the parallax amount determining step has determined that the parallax amount derived by the parallax amount deriving step exceeds a predetermined value. Causing the two computers to execute an area specifying step for specifying the 2D image data for a predetermined time before the point;
前記画像変換ステップは、前記領域特定ステップが特定した2D画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する3D画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラム。  In the image conversion step, the subject image data included in the image area in the 2D image data specified by the area specifying step is converted into 3D image data in which the amount of parallax increases toward the switching point. An image processing program characterized in that
JP2011283373A 2011-12-26 2011-12-26 Image processing apparatus, image processing method, and image processing program Active JP5720561B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011283373A JP5720561B2 (en) 2011-12-26 2011-12-26 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011283373A JP5720561B2 (en) 2011-12-26 2011-12-26 Image processing apparatus, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2013135276A JP2013135276A (en) 2013-07-08
JP5720561B2 true JP5720561B2 (en) 2015-05-20

Family

ID=48911718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011283373A Active JP5720561B2 (en) 2011-12-26 2011-12-26 Image processing apparatus, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP5720561B2 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (en) * 1994-06-20 2001-04-16 三洋電機株式会社 3D image device
JP2001236521A (en) * 2000-02-22 2001-08-31 Japan Science & Technology Corp Virtual reality system based on image dividing system
JP4121888B2 (en) * 2003-04-28 2008-07-23 シャープ株式会社 Content display device and content display program
JP4214976B2 (en) * 2003-09-24 2009-01-28 日本ビクター株式会社 Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system
JP4850768B2 (en) * 2007-03-27 2012-01-11 独立行政法人情報通信研究機構 Apparatus and program for reconstructing 3D human face surface data
JP5434231B2 (en) * 2009-04-24 2014-03-05 ソニー株式会社 Image information processing apparatus, imaging apparatus, image information processing method, and program
JP5463747B2 (en) * 2009-06-15 2014-04-09 ソニー株式会社 Reception device, transmission device, communication system, display control method, program, and data structure
JP5444955B2 (en) * 2009-08-31 2014-03-19 ソニー株式会社 Stereoscopic image display system, parallax conversion device, parallax conversion method, and program
CN102598051B (en) * 2009-10-30 2014-10-29 富士胶片株式会社 Image processing device and image processing method

Also Published As

Publication number Publication date
JP2013135276A (en) 2013-07-08

Similar Documents

Publication Publication Date Title
US9729845B2 (en) Stereoscopic view synthesis method and apparatus using the same
US20130051659A1 (en) Stereoscopic image processing device and stereoscopic image processing method
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8866881B2 (en) Stereoscopic image playback device, stereoscopic image playback system, and stereoscopic image playback method
JP2012156680A (en) Three dimensional image processing device
WO2012037685A1 (en) Generating 3d stereoscopic content from monoscopic video content
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
WO2011105220A1 (en) Three-dimensional video processing apparatus, method therefor, and program
US9167223B2 (en) Stereoscopic video processing device and method, and program
JP2012204852A (en) Image processing apparatus and method, and program
JP4996720B2 (en) Image processing apparatus, image processing program, and image processing method
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
JP6033625B2 (en) Multi-viewpoint image generation device, image generation method, display device, program, and recording medium
JP5581452B2 (en) Parallax adjustment device and operation control method thereof
JP5493155B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP2012186652A (en) Electronic apparatus, image processing method and image processing program
JP2012080294A (en) Electronic device, video processing method, and program
KR101228916B1 (en) Apparatus and method for displaying stereoscopic 3 dimensional image in multi vision
JP6377155B2 (en) Multi-view video processing apparatus and video processing method thereof
JP5899910B2 (en) Image processing apparatus, image processing method, and image processing program
JP5720561B2 (en) Image processing apparatus, image processing method, and image processing program
JP5025768B2 (en) Electronic apparatus and image processing method
JP2013546281A (en) Image processing apparatus using energy value, image processing method thereof, and display method
KR101080988B1 (en) A 3D Picture Producing Method Using Optimum Parallax, And A Storage Medium
US20130136336A1 (en) Image processing apparatus and controlling method for image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150309

R150 Certificate of patent or registration of utility model

Ref document number: 5720561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150