JP2011085868A - Image generating device, image generating method and program - Google Patents

Image generating device, image generating method and program Download PDF

Info

Publication number
JP2011085868A
JP2011085868A JP2009240803A JP2009240803A JP2011085868A JP 2011085868 A JP2011085868 A JP 2011085868A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2011085868 A JP2011085868 A JP 2011085868A
Authority
JP
Japan
Prior art keywords
image
eye
eye image
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009240803A
Other languages
Japanese (ja)
Inventor
Kajiro Ushio
嘉次郎 潮
Yutaka Ichihara
裕 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009240803A priority Critical patent/JP2011085868A/en
Publication of JP2011085868A publication Critical patent/JP2011085868A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To visually show the texture of a bright portion of an object in a two-dimensional image. <P>SOLUTION: There is provided an image generating apparatus which generates right- and left-eye images to be presented for viewer's right and left eyes, respectively, and includes: a detection part to detect the bright portion of the object in each of the right- and left-eye images; a changing part to change at least one of the position and size of the corresponding area between the right- and left-eye images; and an output part to output the right- and left-eye images changed by the changing part. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像生成装置、画像生成方法およびプログラムに関する。   The present invention relates to an image generation device, an image generation method, and a program.

表示画像内で物体がきらめいているような表現を実現する技術として、特許文献1および2が挙げられる。   Patent Documents 1 and 2 are examples of techniques for realizing an expression in which an object is sparkling in a display image.

特開平10−51630号公報Japanese Patent Laid-Open No. 10-51630 特開2000−197766号公報JP 2000-197766 A

ところで、このような表現手法は、所定の輝きパターンを予め準備すること、あるいは複数の演算を選択的に使用すること等が用いられ、画像作成の労力および/または複雑な処理手順が必要であった。   By the way, in such an expression method, a predetermined brightness pattern is prepared in advance, or a plurality of operations are selectively used, and an image creation effort and / or a complicated processing procedure is required. It was.

そこで本発明は、上記の課題を解決することのできる画像生成装置および方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Therefore, an object of the present invention is to provide an image generation apparatus and method that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

上記課題を解決するために、本発明の第1の態様においては、観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、右眼用画像および左眼用画像における、被写体が輝いている領域を検出する検出部と、右眼用画像および左眼用画像の間で、対応する領域の位置および大きさの少なくとも一方を変更する変更部と、変更部により変更された右眼用画像および左眼用画像を出力する出力部と、を備える画像生成装置を提供する。   In order to solve the above-described problem, in a first aspect of the present invention, an image generation apparatus that generates a right-eye image and a left-eye image to be presented to a viewer's right eye and left eye is provided. In the right-eye image and the left-eye image, at least one of the position and the size of the corresponding region between the detection unit that detects the area where the subject is shining and the right-eye image and the left-eye image An image generation apparatus is provided that includes a changing unit that changes, and an output unit that outputs a right-eye image and a left-eye image changed by the changing unit.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本実施形態に係る画像生成装置100の構成を示す。1 shows a configuration of an image generation apparatus 100 according to the present embodiment. 本実施形態に係る画像生成装置100が生成する画像の一例を示す。An example of the image which the image generation apparatus 100 concerning this embodiment produces | generates is shown. 本実施形態に係る画像生成装置100の動作フローを示す。The operation | movement flow of the image generation apparatus 100 which concerns on this embodiment is shown. 本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。2 shows an exemplary hardware configuration of a computer 1900 according to the present embodiment.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、本実施形態に係る画像生成装置100の構成を示す。画像生成装置100は、被写体の輝きを表現するために、被写体の2次元画像から観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する。画像生成装置100は、撮像部110と、記憶部120と、生成部130と、検出部140と、境界特定部150と、変更部160と、出力部170と、距離測定部180とを備える。   FIG. 1 shows a configuration of an image generation apparatus 100 according to the present embodiment. The image generation device 100 generates a right-eye image and a left-eye image to be presented to the viewer's right eye and left eye from the two-dimensional image of the subject in order to express the brightness of the subject. The image generation apparatus 100 includes an imaging unit 110, a storage unit 120, a generation unit 130, a detection unit 140, a boundary specifying unit 150, a change unit 160, an output unit 170, and a distance measurement unit 180.

撮像部110は、被写体を撮像して2次元画像を生成する。撮像部110は、被写体の1以上の複数の2次元画像を生成してよく、これに代えて連続的に複数の2次元画像を生成してもよい。撮像部110は、撮像した画像および撮像に用いたパラメータ等を記憶部120に記憶する。   The imaging unit 110 captures a subject and generates a two-dimensional image. The imaging unit 110 may generate one or more two-dimensional images of the subject, or may continuously generate a plurality of two-dimensional images instead. The imaging unit 110 stores the captured image and the parameters used for imaging in the storage unit 120.

記憶部120は、撮像部110が撮像した画像および撮像に用いたパラメータ等を記憶する。記憶部120は、一例として、フラッシュメモリ、内蔵ハードディスクまたは外付ハードディスク等の記憶装置であってよい。なお、記憶する画像は、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。   The storage unit 120 stores an image captured by the imaging unit 110, parameters used for imaging, and the like. For example, the storage unit 120 may be a storage device such as a flash memory, an internal hard disk, or an external hard disk. Note that the image to be stored may be a still image or a moving image including a plurality of still images that are temporally continuous.

生成部130は、共通の画像を左右にずらして右眼用画像および左眼用画像を生成する。生成部130は、共通の2次元画像を、表示領域内において左右に瞳孔間距離以下の距離分ずらして左側画像および右側画像を生成してよい。   The generation unit 130 generates a right-eye image and a left-eye image by shifting the common image to the left and right. The generation unit 130 may generate a left image and a right image by shifting the common two-dimensional image left and right within the display region by a distance equal to or less than the inter-pupil distance.

ここで、瞳孔間距離は、人間の瞳間の距離(40mmから90mm)であって、当該距離だけ離した位置に左側画像および右側画像を表示すると、人間が、左眼で見た左側画像の表示物と右眼で見た右側画像の表示物とを融合して一つの像として認識することができ、且つ、融合した像を無限遠に認識することができる距離である。この場合、観視者の両眼の視線は平行となっている。従って、生成部130は、2次元画像を表示領域内において左右に0より大きく90mm以下の距離分ずらした左側画像および右側画像を生成することが望ましい。   Here, the interpupillary distance is the distance between the human pupils (40 mm to 90 mm), and when the left image and the right image are displayed at positions separated by the distance, the human image of the left image viewed by the left eye is displayed. The distance is such that the display object and the display object of the right image viewed with the right eye can be merged and recognized as one image, and the merged image can be recognized at infinity. In this case, the eyes of the viewer's eyes are parallel. Therefore, it is desirable that the generation unit 130 generates a left image and a right image obtained by shifting the two-dimensional image by a distance greater than 0 and 90 mm or less in the left and right directions within the display region.

なお、人間は、両眼の視線が平行な状態から左右に2〜3度程度開いた方向にある対象でも、両眼融合視をできる場合がある。従って、左側画像と右側画像との間の距離は、左眼の視線が平行状態から左側に3度以下(好ましくは2度)、右眼の視線が平行状態から右側に3度以下(好ましくは2度)ずれる距離であってもよい。左側画像と右側画像との間の距離が、瞳孔間距離からずれてよい許容量は、観視者と表示面との間の距離が遠くなるほど大きくなる。   It should be noted that a human may be able to perform binocular fusion even with an object in a direction that is opened about 2 to 3 degrees to the left and right from the state where the eyes of both eyes are parallel. Therefore, the distance between the left image and the right image is 3 degrees or less (preferably 2 degrees) from the parallel state of the left eye to the left side, preferably 3 degrees or less (preferably from the parallel state of the right eye). (2 degrees) may be a distance shifted. The allowable amount that the distance between the left image and the right image may deviate from the interpupillary distance increases as the distance between the viewer and the display surface increases.

検出部140は、右眼用画像および左眼用画像における、鏡面反射している領域を検出する。ここで鏡面反射は、物体の表面での反射のことであり、この場合反射光に色があまり入らず白色に近い場合が多い。また鏡面反射は、正反射に近い場合が多い。   The detection unit 140 detects a specularly reflected region in the right-eye image and the left-eye image. Here, the specular reflection refers to reflection on the surface of an object, and in this case, the reflected light is often not colored and is almost white. In many cases, the specular reflection is close to regular reflection.

また、本願において鏡面反射とは、物体の表面における、光源方向に依存した指向性を有する反射を意図しており、キラキラ、ぴかぴかしている部分、光沢部を差し、必ずしも鏡面での反射でなくてよい。例えば、物体を照らす光源の強度が十分に強い場合、ざらついた表面であっても正反射に近い反射光の成分に対して、観視者は輝いていると感じるので、検出部140は鏡面反射している領域としてもよい。したがって、検出部140は、被写体が輝いている領域について、鏡面反射している領域として検出してよい。   In addition, in the present application, the specular reflection is intended to have a directivity depending on the direction of the light source on the surface of the object, and it is not necessarily a reflection on the mirror surface, except for a glitter, a shiny part, and a glossy part. It's okay. For example, when the intensity of a light source that illuminates an object is sufficiently strong, the viewer 140 feels that the reflected light component close to regular reflection is shining even on a rough surface. It is good also as an area. Therefore, the detection unit 140 may detect a region where the subject is shining as a region that is specularly reflected.

境界特定部150は、右眼用画像および左眼用画像における、鏡面反射している領域を含む被写体の境界を特定する。境界特定部150は、被写体を同質な物体または物体の一部として、被写体の境界を特定してよい。境界特定部150は、被写体の境界を特定できた場合、特定した境界の情報と鏡面反射している領域の情報とを併せて変更部160に送信してよい。   The boundary specifying unit 150 specifies the boundary of the subject including the specularly reflected region in the right-eye image and the left-eye image. The boundary specifying unit 150 may specify the boundary of the subject with the subject as a homogeneous object or a part of the object. When the boundary of the subject can be specified, the boundary specifying unit 150 may transmit the specified boundary information and the specularly reflected region information together to the changing unit 160.

変更部160は、右眼用画像および左眼用画像の間で、対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更する。変更部160は、境界特定部が特定した被写体の境界の範囲内で、右眼用画像および左眼用画像の間で対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更してよい。   The changing unit 160 changes at least one of the position and size of the corresponding mirror-reflected region between the right-eye image and the left-eye image. The changing unit 160 changes at least one of the position and size of the corresponding specularly reflected region between the right-eye image and the left-eye image within the range of the subject boundary specified by the boundary specifying unit. It's okay.

出力部170は、変更部160により変更された右眼用画像および左眼用画像を出力する。出力部170は、右眼用画像および左眼用画像を画像データとして外部記憶装置に出力してもよく、これに代えて右眼用画像および左眼用画像を画像として出力してもよい。出力部170は、右眼用画像を観視者の右眼に与え、左眼用画像を観視者の左眼に与える。なお、出力部170は、立体像を観視者に表示する表示装置に対して、右眼用画像のデータおよび左眼用画像のデータを出力する構成であってもよい。   The output unit 170 outputs the right eye image and the left eye image changed by the changing unit 160. The output unit 170 may output the image for the right eye and the image for the left eye as image data to the external storage device. Alternatively, the output unit 170 may output the image for the right eye and the image for the left eye as an image. The output unit 170 gives the right-eye image to the viewer's right eye, and gives the left-eye image to the viewer's left eye. The output unit 170 may be configured to output right-eye image data and left-eye image data to a display device that displays a stereoscopic image to a viewer.

出力部170は、表示装置と画像分離用のメガネとの組み合わせであってもよい。表示装置は、右眼用画像を表示するための複数の右眼用画素と、左眼用画像を表示するための複数の左眼用画像とを含んでよい。右眼用画素と左眼用画素とは、互いに異なる偏光の光を出力する。   The output unit 170 may be a combination of a display device and image separation glasses. The display device may include a plurality of right eye pixels for displaying a right eye image and a plurality of left eye images for displaying a left eye image. The right-eye pixel and the left-eye pixel output light having different polarizations.

画像分離メガネは、観視者に装着される。画像分離メガネは、装着時において右眼に対応する位置に設けられる右眼用フィルタと、装着時において左眼に対応する位置に設けられる左眼用フィルタとを有する。右眼用フィルタは、右眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。左眼用フィルタは、左眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。   The image separation glasses are worn by the viewer. The image separation glasses include a right eye filter provided at a position corresponding to the right eye when worn and a left eye filter provided at a position corresponding to the left eye when worn. The right-eye filter transmits the polarization component of the light output from the right-eye pixel and blocks other polarization components. The left-eye filter transmits the polarization component of the light output from the left-eye pixel and blocks other polarization components.

このような出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができる。これにより、出力部170は、観視者に立体像を提示することができる。   Such an output unit 170 can provide an image for the right eye to the right eye of the viewer and an image for the left eye to the left eye of the viewer. Thereby, the output unit 170 can present a stereoscopic image to the viewer.

なお、出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができれば、他の構成であってもよい。出力部170は、一例として、右眼用画像と左眼用画像とを交互に切り替えて表示する表示部と、右眼用画像の表示期間に右眼側のシャッタを開いて左眼側のシャッタを閉じ、左眼用画像の表示期間に左眼側のシャッタを開いて右眼側のシャッタを閉じる画像分離メガネとを有する構成であってもよい。   The output unit 170 may have other configurations as long as it can provide the right-eye image to the viewer's right eye and the left-eye image to the viewer's left eye. . As an example, the output unit 170 switches between a right-eye image and a left-eye image for display, and opens the right-eye shutter during the right-eye image display period, thereby opening the left-eye shutter. And image separation glasses that close the left eye and close the right eye shutter while the left eye image display period is closed.

また、出力部170は、一例として、ヘッドマウントディスプレイであってもよい。また、出力部170は、一例として、画像分離メガネを用いない裸眼立体視方式の表示装置であってもよい。また、出力部170は、一例として、パララックスバリアおよびレンチキュラー等を用いた表示パネルであってもよい。   Further, the output unit 170 may be a head mounted display as an example. For example, the output unit 170 may be an autostereoscopic display device that does not use image separation glasses. Further, the output unit 170 may be a display panel using a parallax barrier, a lenticular, or the like as an example.

距離測定部180は、被写体の距離を測定する。距離測定部180は、撮像部110が被写体を撮像する直前もしくは直後に、撮像部110と被写体との距離を測定してよい。距離測定部180は、測定した距離の情報を、変更部160に送信してよい。また距離測定部180は、撮像部110が被写体を撮像する直前に撮像部110と被写体との距離を測定した場合、測定した距離の情報を撮像部110に送信してもよい。   The distance measuring unit 180 measures the distance of the subject. The distance measuring unit 180 may measure the distance between the imaging unit 110 and the subject immediately before or after the imaging unit 110 images the subject. The distance measuring unit 180 may transmit information on the measured distance to the changing unit 160. In addition, the distance measurement unit 180 may transmit information on the measured distance to the imaging unit 110 when the imaging unit 110 measures the distance between the imaging unit 110 and the subject immediately before imaging the subject.

図2は、本実施形態に係る画像生成装置100が生成する画像の一例を示す。撮像部110は、被写体200を撮像した共通の画像210を記憶部120に記憶する。生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する。   FIG. 2 shows an example of an image generated by the image generation apparatus 100 according to the present embodiment. The imaging unit 110 stores a common image 210 obtained by imaging the subject 200 in the storage unit 120. The generation unit 130 shifts the common image 210 left and right to generate a right eye image 220 and a left eye image 230.

生成部130は、一例として、共通の画像210を右方向にずらして右眼用画像220を生成する。生成部130は、一例として、共通の画像210を左方向にずらして左眼用画像230を生成する。ここで生成部130は、一例として、共通の画像210を右方向にずらして生成された右眼用画像220における、表示領域の右側境界から右側にはみ出した部分を削除してもよい。また生成部130は、一例として、共通の画像210を左方向にずらして生成された左眼用画像230における、表示領域の左側境界から左側にはみ出した部分を削除してもよい。   For example, the generation unit 130 generates the right-eye image 220 by shifting the common image 210 in the right direction. For example, the generation unit 130 generates the left-eye image 230 by shifting the common image 210 leftward. Here, as an example, the generation unit 130 may delete a portion of the right-eye image 220 generated by shifting the common image 210 in the right direction and extending beyond the right boundary of the display area to the right. For example, the generation unit 130 may delete a portion of the left eye image 230 generated by shifting the common image 210 in the left direction from the left boundary of the display area to the left.

また、生成部130は、一例として、共通の画像210を右方向にずらした結果できた右眼用画像220の左側の空白部分に、左側画像225を付加してよい。生成部130は、一例として、共通の画像210を左方向にずらした結果できた左眼用画像230の右側の空白部分に、右側画像235を付加してよい。   Further, as an example, the generation unit 130 may add the left image 225 to the left blank portion of the right eye image 220 obtained as a result of shifting the common image 210 in the right direction. For example, the generation unit 130 may add the right image 235 to the blank portion on the right side of the left-eye image 230 obtained as a result of shifting the common image 210 to the left.

生成部130は、付加する左側画像225および右側画像235として、黒等の暗色または白等の明色の画像をそれぞれ付加してよい。これによって画像生成装置100は、表示領域における右端部および左端部において、観視者に枠を意識させるような表示をすることができ、画像生成装置100は、窓枠から外の風景を見ているような自然な画像を観視者に提供することができる。   The generation unit 130 may add a dark color image such as black or a light color image such as white as the left image 225 and the right image 235 to be added. As a result, the image generating apparatus 100 can perform display so that the viewer is aware of the frame at the right end and the left end in the display area, and the image generating apparatus 100 looks at the scenery outside the window frame. It is possible to provide the viewer with such a natural image.

これに代えて生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分を左側画像225として付加してよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分を右側画像235として付加してよい。   Instead of this, for example, the generation unit 130 may add, as the left image 225, a portion displayed within a predetermined range from the left end of the display area in the left eye image 230 on the left side of the right eye image 220. . For example, the generation unit 130 may add, as the right image 235, a portion displayed within a predetermined range from the right end of the display area in the right eye image 220 on the right side of the left eye image 230.

表示領域の右端部または左端部に注目している場合において輻輳が生起される(左眼および右眼の視線が交差する)と、右眼と左眼との間で見ているものが異なる視野闘争の問題が生じる。この場合、右眼に与えられる画像と左眼に与えられる画像とがかけ離れているほど、人間に与える不自然感は大きい。しかし、上の例において画像生成装置100は、表示領域の右端部または左端部において右眼および左眼に同一の画像を与える。従って、本例に係る画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合であっても、視野闘争を軽減して、不自然に感じない画像を提供することができる。なお、表示領域の中央部においては、両眼融合の条件が保たれているので、端部と比較して輻輳が生起される可能性は低い。   When the right edge or left edge of the display area is focused and congestion occurs (the left and right eye gazes intersect), the field of view that is different between the right and left eyes A struggle problem arises. In this case, the greater the distance between the image given to the right eye and the image given to the left eye, the greater the unnatural feeling given to humans. However, in the above example, the image generation apparatus 100 gives the same image to the right eye and the left eye at the right end or the left end of the display area. Therefore, the image generation apparatus 100 according to the present example can provide an image that does not feel unnatural even when congestion occurs in the right end portion or the left end portion of the display area. it can. Note that, in the central portion of the display area, the binocular fusion condition is maintained, so that the possibility of congestion occurring is lower than that at the end portion.

また、生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分をぼかした画像を左側画像225として付加してもよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分をぼかした画像を右側画像235として付加してもよい。   Further, as an example, the generation unit 130 adds, as the left image 225, an image obtained by blurring a portion displayed within a predetermined range from the left end of the display area in the left eye image 230 on the left side of the right eye image 220. May be. For example, the generation unit 130 adds, as the right image 235, an image obtained by blurring a portion displayed within a predetermined range from the right end of the display area in the right eye image 220 on the right side of the left eye image 230. May be.

右眼および左眼にフォーカスレベルが異なる画像が与えられた場合、人間は、与えられる画像を立体的に感じる。従って、このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、視野闘争を軽減させることができる。   When images with different focus levels are given to the right eye and the left eye, a human feels the given image three-dimensionally. Therefore, such an image generation apparatus 100 can reduce the visual field conflict when congestion occurs in the right end portion or the left end portion of the display area.

また、生成部130は、一例として、左側画像225の色を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、左側画像225の輝度を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。   For example, the generation unit 130 may set the color of the left image 225 as the average color of the portion of the right-eye image 220 that is displayed within a predetermined range from the left end of the display area. Further, in addition to or instead of this, the generation unit 130 may use the luminance of the left image 225 as the average luminance of the portion of the right-eye image 220 that is displayed within a predetermined range from the left end of the display area. Good.

同様に、生成部130は、一例として、右側画像235の色を、左眼用画像230における、表示領域の右端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、右側画像235の輝度を、左眼用画像230における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、色合いまたは輝度の同じ画像を左眼と右眼に与えることができるので、視野闘争を軽減することができる。   Similarly, as an example, the generation unit 130 may set the color of the right image 235 as the average color of the portion of the left-eye image 230 that is displayed within a predetermined range from the right end of the display area. Further, in addition to or instead of this, the generation unit 130 may use the luminance of the right image 235 as the average luminance of the portion of the left-eye image 230 that is displayed within a predetermined range from the left end of the display area. Good. Such an image generation apparatus 100 can provide the left eye and the right eye with images having the same hue or luminance when congestion occurs in the right end portion or the left end portion of the display area. Can do.

また、生成部130は、一例として、共通の画像210を左右に拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。この場合において、生成部130は、共通の画像210を左右の端部に近いほど大きい拡大率で拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。これにより画像生成装置100は、端部において画像が連続した自然な画像を提供することができる。   Further, as an example, the generation unit 130 may enlarge the common image 210 to the left and right to generate the right eye image 220 including the left image 225 and the left eye image 230 including the right image 235. In this case, the generation unit 130 enlarges the common image 210 at a larger enlargement ratio as it is closer to the left and right ends, and the right eye image 220 including the left image 225 and the left eye image 230 including the right image 235. May be generated. As a result, the image generation apparatus 100 can provide a natural image in which the images are continuous at the end.

検出部140は、生成部130が生成した右眼用画像220および左眼用画像230から、鏡面反射している領域240を検出する。例えば検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、予め定められた基準輝度以上の領域を、領域240として検出してよい。これに代えて検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、周囲に対して輝度が予め定められた基準輝度以上高い領域を、領域240として検出してもよい。   The detection unit 140 detects a mirror-reflected region 240 from the right-eye image 220 and the left-eye image 230 generated by the generation unit 130. For example, the detection unit 140 may detect, as the region 240, a region having a predetermined reference luminance or higher in at least one of the right eye image 220 and the left eye image 230. Instead of this, the detection unit 140 may detect, as the region 240, a region in which at least one of the right-eye image 220 and the left-eye image 230 has a luminance higher than a predetermined reference luminance with respect to the surroundings. .

また、検出部140は、上記の輝度による判断に代え、または当該判断と共に、カラーコードで白に近いコードを有することを条件として領域240を検出してもよい。例えば、白はRGBのコードでは「255.255.255」であり、白に近いと判断できる範囲の基準値を一例として「240.240.240」等と予め定め、RGBのコードのそれぞれが基準値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。   Alternatively, the detection unit 140 may detect the region 240 on the condition that a code close to white is used as a color code instead of or together with the determination based on the luminance. For example, white is “255.255.255” in the RGB code, and a reference value in a range that can be determined to be close to white is set to “240.240.240” as an example, and each of the RGB codes is a reference. You may judge that the area | region beyond a value is an area | region close | similar to white. The detection unit 140 may detect a region close to white and having a reference luminance or higher as the region 240.

また、検出部140は、周辺の領域と比較して白に近い領域を見つけてもよい。例えば、RGBのコードで、周辺の領域との差分が予め定められた値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。   In addition, the detection unit 140 may find a region close to white compared to the surrounding region. For example, in the RGB code, an area where the difference from the surrounding area is a predetermined value or more may be determined as an area close to white. The detection unit 140 may detect a region close to white and having a reference luminance or higher as the region 240.

境界特定部150は、右眼用画像220および左眼用画像230における、検出部140が検出した領域240を含む被写体200の境界250を特定する。境界特定部150は、領域240の周囲の画像データに基づき、被写体200の境界250を特定してよい。例えば境界特定部150は、領域240の周囲の輝度が、予め定められた範囲にある境界を、被写体200の境界250としてよい。   The boundary specifying unit 150 specifies the boundary 250 of the subject 200 including the region 240 detected by the detection unit 140 in the right eye image 220 and the left eye image 230. The boundary specifying unit 150 may specify the boundary 250 of the subject 200 based on the image data around the area 240. For example, the boundary specifying unit 150 may set a boundary where the luminance around the area 240 is in a predetermined range as the boundary 250 of the subject 200.

これに代えて境界特定部150は、領域240の周囲のカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてよい。また、境界特定部150は、領域240の周囲の輝度および/またはカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてもよい。   Instead, the boundary specifying unit 150 may set a boundary where the color code around the area 240 is in a predetermined range as the boundary 250 of the subject 200. In addition, the boundary specifying unit 150 may set a boundary where the luminance and / or color code around the area 240 is in a predetermined range as the boundary 250 of the subject 200.

変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する。ここで、境界特定部150によって境界250が特定されている領域240の場合、変更部160は、境界特定部150が特定した被写体200の境界250の範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。   The changing unit 160 changes at least one of the position and the size of the corresponding region 240 between the right-eye image 220 and the left-eye image 230. Here, in the case of the region 240 in which the boundary 250 is specified by the boundary specifying unit 150, the changing unit 160 includes the right eye image 220 and the left eye within the range of the boundary 250 of the subject 200 specified by the boundary specifying unit 150. You may change the position and magnitude | size of the area | region 240 corresponding between the work images 230. FIG.

図中の例では、変更部160は、右眼用画像220の領域240を縮小して右眼用出力画像260と変更し、同時に左眼用画像230の領域240を拡大して左眼用出力画像270と変更している。これに代えて変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置を左右にずらしてもよい。   In the example in the figure, the changing unit 160 reduces the area 240 of the right eye image 220 to change it to the right eye output image 260, and simultaneously enlarges the area 240 of the left eye image 230 to output the left eye. The image 270 is changed. Instead, the changing unit 160 may shift the position of the corresponding region 240 to the left or right between the right-eye image 220 and the left-eye image 230.

観視者290は、出力部170によって右眼で右眼用出力画像260を、左眼で左眼用出力画像270を観視して、合成画像280を認識する。以上の画像生成装置100によれば、2次元画像を左右にずらすことで立体的に見えうる画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを表現した立体的画像をユーザに提供することができる。   The viewer 290 recognizes the composite image 280 by viewing the output image 260 for the right eye with the right eye and the output image 270 for the left eye with the left eye. According to the image generating apparatus 100 described above, it is possible to emphasize a specularly reflected portion in an image while generating an image that can be viewed stereoscopically by shifting the two-dimensional image to the left and right. As a result, it is possible to provide a user with a stereoscopic image that is very simple processing and expresses brightness at a low cost.

人間が近距離の2次元画像を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは同一ではなく視差がある。人間は、この視差から、見ているものが2次元画像であると認識する。また、人間が無限遠(例えば10m以上)の物体を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは、視差がなく同一となる。人間は、無限遠を見ている場合、右眼に与えられている画像と左眼に与えられている画像との間に視差が無いことにより、見ている物体及び景色等に立体感および臨場感を感じる。   When a human is viewing a two-dimensional image at a short distance, the image given to the right eye and the left eye are not the same, but have parallax. From this parallax, a human recognizes that what he is looking at is a two-dimensional image. Further, when a human is looking at an object at infinity (for example, 10 m or more), the image given to the right eye and the image given to the left eye are the same with no parallax. When a human is looking at infinity, there is no parallax between the image given to the right eye and the image given to the left eye, so that the object and scenery being viewed are three-dimensional and realistic. I feel a feeling.

画像生成装置100は、ユーザの瞳孔間距離と同じだけ左右に距離ずらした視差のない(即ち、互いに同じ)右眼用出力画像260および左眼用出力画像270を生成する。そして、画像生成装置100は、右眼用出力画像260をユーザの右眼に与え、左眼用出力画像270をユーザの左眼に与える。この結果、画像生成装置100は、ユーザの右眼および左眼の視線を平行状態とする、即ち、ユーザの視線を輻輳させない(右眼および左眼の視線を交差させない)状態とすることができる。これにより、画像生成装置100は、ユーザを、無限遠を見ている状態にすることができる。   The image generation apparatus 100 generates a right-eye output image 260 and a left-eye output image 270 that are not parallax (that is, the same as each other) without a parallax that is shifted to the left and right by the same distance as the user's pupillary distance. Then, the image generation apparatus 100 provides the right-eye output image 260 to the user's right eye and the left-eye output image 270 to the user's left eye. As a result, the image generating apparatus 100 can set the user's right eye and left eye's line of sight in a parallel state, that is, the user's line of sight is not congested (the right eye and the left eye's line of sight do not intersect). . Thereby, the image generation apparatus 100 can make the user look at infinity.

このように画像生成装置100は、ユーザに無限遠を見ている状態として且つ右眼と左眼とに視差のない画像を与えることにより、ユーザに立体的を感じる画像を提供することができる。例えば、画像生成装置100は、例えば風景画像等に、窓から外を見たような臨場感を与えることができる。また、画像生成装置100は、マクロ撮影などの近距離撮影の画像に、虫眼鏡でみたような実物感を与えることができる。   As described above, the image generation apparatus 100 can provide a user with a stereoscopic image by giving the user an image without parallax to the right eye and the left eye while viewing the image at infinity. For example, the image generating apparatus 100 can give a realistic sensation as if looking out from a window, for example, in a landscape image or the like. Further, the image generating apparatus 100 can give a real feeling as seen with a magnifying glass to an image taken at a short distance such as macro photography.

そして画像生成装置100は、領域240の大きさおよび/または位置を右眼と左眼で異なるように変更することで、より輝きを感じる画像を提供することができる。   The image generating apparatus 100 can provide an image that feels more brilliant by changing the size and / or position of the region 240 so that the right eye and the left eye are different.

図3は、本実施形態に係る画像生成装置100の動作フローを示す。撮像部110は、被写体200を撮像して共通の画像210を生成する(S300)。ここで撮像部110は、距離測定部180が測定した撮像部110と被写体200との距離に基づきピント等のパラメータを設定してもよい。   FIG. 3 shows an operation flow of the image generation apparatus 100 according to the present embodiment. The imaging unit 110 captures the subject 200 and generates a common image 210 (S300). Here, the imaging unit 110 may set parameters such as focus based on the distance between the imaging unit 110 measured by the distance measuring unit 180 and the subject 200.

生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する(S310)。検出部140は、右眼用画像220および左眼用画像230における、領域240を検出する(S320)。検出部140は、輝度およびカラーコードによって領域240を検出してよく、白色以外にも被写体200を照らす光源の色に近いカラーコードに基づいて検出してもよい。   The generation unit 130 shifts the common image 210 left and right to generate the right eye image 220 and the left eye image 230 (S310). The detection unit 140 detects the region 240 in the right-eye image 220 and the left-eye image 230 (S320). The detection unit 140 may detect the region 240 based on luminance and a color code, or may detect based on a color code close to the color of the light source that illuminates the subject 200 in addition to white.

境界特定部150は、右眼用画像220および左眼用画像230における、領域240を含む被写体200の境界250を特定する(S330)。ここで被写体200が視野よりも大きい場合、あるいは被写体200を拡大して撮像した場合等によって境界250が判別できない画像を撮像部110が撮像した場合、境界特定部150は境界250を検出できなくてもよい。   The boundary specifying unit 150 specifies the boundary 250 of the subject 200 including the region 240 in the right-eye image 220 and the left-eye image 230 (S330). Here, when the imaging unit 110 captures an image in which the boundary 250 cannot be determined due to the subject 200 being larger than the field of view or when the subject 200 is enlarged and captured, the boundary specifying unit 150 cannot detect the boundary 250. Also good.

変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する(S340)。変更部160は、被写体200の境界250を境界特定部150が特定していれば、その範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。   The changing unit 160 changes at least one of the position and the size of the corresponding region 240 between the right-eye image 220 and the left-eye image 230 (S340). If the boundary specifying unit 150 specifies the boundary 250 of the subject 200, the changing unit 160 is within the range, and the position and size of the corresponding region 240 between the right eye image 220 and the left eye image 230. At least one of them may be changed.

ここで変更部160は、距離測定部180の測定した距離情報を基に、被写体200と撮像部110との距離がより小さい場合に、被写体200と撮像部110との距離がより大きい場合と比較して領域240の位置のずれ量を大きくしてもよい。これによって、被写体200の輝いている部分の奥行きを観視者290に与えることができる。   Here, the changing unit 160 compares the distance between the subject 200 and the imaging unit 110 with a larger distance between the subject 200 and the imaging unit 110 based on the distance information measured by the distance measuring unit 180. Thus, the displacement amount of the position of the region 240 may be increased. Thereby, the viewer 290 can be given the depth of the shining portion of the subject 200.

出力部170は、変更部160により変更された右眼用出力画像260および左眼用出力画像270を出力する(S350)。出力部170は、観視者290に出力画像を出力する場合、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力する。出力部170が出力画像を記憶装置などに記憶させ、画像生成装置100と別の装置で観視者290に撮像画像を観視させる場合も同様に、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力することが望ましい。   The output unit 170 outputs the right-eye output image 260 and the left-eye output image 270 changed by the changing unit 160 (S350). When outputting an output image to the viewer 290, the output unit 170 outputs a right-eye output image 260 to the right eye of the viewer 290 and a left-eye output image 270 to the left eye. Similarly, when the output unit 170 stores the output image in a storage device or the like and causes the viewer 290 to view the captured image using a device different from the image generation device 100, the right eye of the viewer 290 is used for the right eye. It is desirable to output the output image 260 and the left-eye output image 270 to the left eye.

以上の画像生成装置100によれば、撮像した2次元画像から立体的画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを強調した臨場感のある立体的画像をユーザに提供することができる。   According to the image generating apparatus 100 described above, it is possible to emphasize a specularly reflected portion in an image while generating a stereoscopic image from the captured two-dimensional image. As a result, it is possible to provide a user with a realistic 3D image that is a very simple process and emphasizes the brightness at a low cost.

以上の本実施例は、撮像部110が生成する観視者290の視野とほぼ同一の共通の画像210から、右眼用画像220および左眼用画像230を生成部130が生成することを説明した。これに代えて、画像生成装置は、右眼用画像および左眼用画像から鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。   In the above-described embodiment, the generation unit 130 generates the right-eye image 220 and the left-eye image 230 from the common image 210 that is almost the same as the visual field of the viewer 290 generated by the imaging unit 110. did. Instead, the image generation apparatus detects a specularly reflected area from the right-eye image and the left-eye image, changes at least one of the position and size of the area, and changes the right-eye image 220. And the image 230 for left eyes may be produced | generated.

画像生成装置は、予め別の装置で撮像された右眼用画像および左眼用画像から、右眼用画像220および左眼用画像230を生成してよく、これに代えて画像生成装置は、撮像部110によって右眼用画像および左眼用画像を撮像してから、右眼用画像220および左眼用画像230を生成してもよい。これによって、輝きを強調した臨場感のある立体画像をユーザに提供することができる。   The image generation device may generate the right eye image 220 and the left eye image 230 from the right eye image and the left eye image captured in advance by another device. Instead, the image generation device The right eye image 220 and the left eye image 230 may be generated after the right eye image and the left eye image are captured by the imaging unit 110. As a result, it is possible to provide a user with a realistic stereoscopic image that emphasizes the brightness.

また、画像生成装置は、同一の画像に対して、鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。これによって画像生成装置は、同一の画像から右眼用画像220および左眼用画像230を生成することで、輝きを強調した臨場感のある2次元画像をユーザに提供することができる。   In addition, the image generation device detects a specularly reflected region for the same image, changes at least one of the position and size of the region, and performs the right eye image 220 and the left eye image 230. May be generated. Thus, the image generation apparatus can provide the user with a realistic two-dimensional image with enhanced brightness by generating the right eye image 220 and the left eye image 230 from the same image.

以上の本実施例は、観視者290の視点を1つとして説明したが、これに代えて観視者290の視点を複数存在させてもよい。また、複数の視点の画像を生成する場合に、水平の方向の角度を変えた画像を生成してもよい。   In the above embodiment, the viewpoint of the viewer 290 is described as one, but a plurality of viewpoints of the viewer 290 may exist instead. Further, when generating images from a plurality of viewpoints, an image in which the angle in the horizontal direction is changed may be generated.

右眼用出力画像260および左眼用出力画像270を表示する表示面を見る水平方向の角度が互いに異なる複数の視点のそれぞれに対して提示する右眼用出力画像260および左眼用出力画像270を生成する場合において、変更部160は、複数の視点の間における水平方向の角度の変化に伴って領域240の位置のずれ量を漸増または漸減させる。   The right-eye output image 260 and the left-eye output image 270 presented to each of a plurality of viewpoints having different horizontal angles from each other when viewing the display surface on which the right-eye output image 260 and the left-eye output image 270 are displayed. Is generated, the changing unit 160 gradually increases or decreases the shift amount of the position of the region 240 in accordance with the change in the horizontal angle between the plurality of viewpoints.

これによって、観視者290に複数の視点から見たときの被写体200の輝きの変化を与えることができ、より臨場感のある複数の画像を提供することができる。また、これらの複数の画像を連続的に観視者290に観視させることで、臨場感のある動画として提供することもできる。   Thus, the viewer 290 can be given a change in the brightness of the subject 200 when viewed from a plurality of viewpoints, and a plurality of images with a more realistic feeling can be provided. Moreover, it is also possible to provide a moving image with a sense of reality by causing the viewer 290 to continuously view the plurality of images.

以上の本実施例は、撮像部110が撮像した画像を処理することを説明したが、これに代えて画像生成装置100は、ユーザが画像生成装置100とは別の装置で撮像した画像について処理してもよい。またこの用途で画像生成装置100を用いる場合、画像生成装置100は、撮像部110および距離測定部180を備えなくてもよい。   In the above-described embodiment, it has been described that the image picked up by the image pickup unit 110 is processed. Instead, the image generating device 100 processes an image picked up by a user using a device different from the image generating device 100. May be. Further, when the image generation device 100 is used for this purpose, the image generation device 100 may not include the imaging unit 110 and the distance measurement unit 180.

このような画像生成装置100によれば、輝きのある自然な立体画像を簡易な処理で生成して、ユーザに立体画像を提供することができる。   According to such an image generation device 100, it is possible to generate a brilliant natural stereoscopic image by a simple process and provide the stereoscopic image to the user.

図4は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びDVDドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。   FIG. 4 shows an example of the hardware configuration of the computer 1900 according to this embodiment. A computer 1900 according to this embodiment is connected to a CPU peripheral unit having a CPU 2000, a RAM 2020, a graphic controller 2075, and a display device 2080 that are connected to each other by a host controller 2082, and to the host controller 2082 by an input / output controller 2084. An input / output unit having a communication interface 2030, a hard disk drive 2040, and a DVD drive 2060, and a legacy input / output unit having a ROM 2010, a flexible disk drive 2050, and an input / output chip 2070 connected to the input / output controller 2084. Prepare.

ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 2082 connects the RAM 2020 to the CPU 2000 and the graphic controller 2075 that access the RAM 2020 at a high transfer rate. The CPU 2000 operates based on programs stored in the ROM 2010 and the RAM 2020 and controls each unit. The graphic controller 2075 acquires image data generated by the CPU 2000 or the like on a frame buffer provided in the RAM 2020 and displays it on the display device 2080. Instead of this, the graphic controller 2075 may include a frame buffer for storing image data generated by the CPU 2000 or the like.

入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、DVDドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。DVDドライブ2060は、DVD2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。   The input / output controller 2084 connects the host controller 2082 to the communication interface 2030, the hard disk drive 2040, and the DVD drive 2060, which are relatively high-speed input / output devices. The communication interface 2030 communicates with other devices via a network. The hard disk drive 2040 stores programs and data used by the CPU 2000 in the computer 1900. The DVD drive 2060 reads a program or data from the DVD 2095 and provides it to the hard disk drive 2040 via the RAM 2020.

また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。   The input / output controller 2084 is connected to the ROM 2010, the flexible disk drive 2050, and the relatively low-speed input / output device of the input / output chip 2070. The ROM 2010 stores a boot program that the computer 1900 executes at startup and / or a program that depends on the hardware of the computer 1900. The flexible disk drive 2050 reads a program or data from the flexible disk 2090 and provides it to the hard disk drive 2040 via the RAM 2020. The input / output chip 2070 connects the flexible disk drive 2050 to the input / output controller 2084 and inputs / outputs various input / output devices via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like. Connect to controller 2084.

RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、DVD2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。   A program provided to the hard disk drive 2040 via the RAM 2020 is stored in a recording medium such as the flexible disk 2090, the DVD 2095, or an IC card and provided by the user. The program is read from the recording medium, installed in the hard disk drive 2040 in the computer 1900 via the RAM 2020, and executed by the CPU 2000.

コンピュータ1900にインストールされ、コンピュータ1900を画像生成装置100として機能させるプログラムは、生成モジュールと、検出モジュールと、境界特定モジュールと、変更モジュールと、出力モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、生成部130、検出部140、境界特定部150、変更部160、および出力部170としてそれぞれ機能させる。   A program that is installed in the computer 1900 and causes the computer 1900 to function as the image generation apparatus 100 includes a generation module, a detection module, a boundary identification module, a change module, and an output module. These programs or modules work with the CPU 2000 or the like to cause the computer 1900 to function as the generating unit 130, the detecting unit 140, the boundary specifying unit 150, the changing unit 160, and the output unit 170, respectively.

これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である生成部130、検出部140、境界特定部150、変更部160、および出力部170として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像生成装置100が構築される。   The information processing described in these programs is read by the computer 1900, so that the generating unit 130, the detecting unit 140, the boundary specifying unit, which are specific means in which the software and the various hardware resources described above cooperate. 150, the change unit 160, and the output unit 170. And the specific image generation apparatus 100 according to the intended use is constructed | assembled by implement | achieving the calculation or processing of the information according to the intended use of the computer 1900 in this embodiment by these specific means.

一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はDVD2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。   As an example, when communication is performed between the computer 1900 and an external device or the like, the CPU 2000 executes a communication program loaded on the RAM 2020 and executes a communication interface based on the processing content described in the communication program. A communication process is instructed to 2030. Under the control of the CPU 2000, the communication interface 2030 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 2020, the hard disk drive 2040, the flexible disk 2090, or the DVD 2095, and transmits it to the network. Alternatively, the reception data received from the network is written into a reception buffer area or the like provided on the storage device. As described above, the communication interface 2030 may transfer transmission / reception data to / from the storage device by a DMA (direct memory access) method. Instead, the CPU 2000 transfers the storage device or the communication interface 2030 as a transfer source. The transmission / reception data may be transferred by reading the data from the data and writing the data to the communication interface 2030 or the storage device of the transfer destination.

また、CPU2000は、ハードディスクドライブ2040、DVDドライブ2060(DVD2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。   In addition, the CPU 2000 DMAs all or necessary portions from among files or databases stored in an external storage device such as the hard disk drive 2040, the DVD drive 2060 (DVD 2095), and the flexible disk drive 2050 (flexible disk 2090). The data is read into the RAM 2020 by transfer or the like, and various processes are performed on the data on the RAM 2020. Then, CPU 2000 writes the processed data back to the external storage device by DMA transfer or the like. In such processing, since the RAM 2020 can be regarded as temporarily holding the contents of the external storage device, in the present embodiment, the RAM 2020 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device. Various types of information such as various programs, data, tables, and databases in the present embodiment are stored on such a storage device and are subjected to information processing. Note that the CPU 2000 can also hold a part of the RAM 2020 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 2020. Therefore, in the present embodiment, the cache memory is also included in the RAM 2020, the memory, and / or the storage device unless otherwise indicated. To do.

また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。   In addition, the CPU 2000 performs various operations, such as various operations, information processing, condition determination, information search / replacement, etc., described in the present embodiment, specified for the data read from the RAM 2020 by the instruction sequence of the program. Is written back to the RAM 2020. For example, when performing the condition determination, the CPU 2000 determines whether or not the various variables shown in the present embodiment satisfy the conditions such as large, small, above, below, equal, etc., compared to other variables or constants. If the condition is satisfied (or not satisfied), the program branches to a different instruction sequence or calls a subroutine.

また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。   Further, the CPU 2000 can search for information stored in a file or database in the storage device. For example, in the case where a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 2000 displays the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、DVD2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。   The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the flexible disk 2090 and the DVD 2095, an optical recording medium such as DVD or CD, a magneto-optical recording medium such as MO, a tape medium, a semiconductor memory such as an IC card, and the like can be used. Further, a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1900 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

100 画像生成装置、110 撮像部、120 記憶部、130 生成部、140 検出部、150 境界特定部、160 変更部、170 出力部、180 距離測定部、200 被写体、210 共通の画像、220 右眼用画像、225 左側画像、230 左眼用画像、235 右側画像、240 領域、250 境界、260 右眼用出力画像、270 左眼用出力画像、280 合成画像、290 観視者、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 DVDドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 DVD DESCRIPTION OF SYMBOLS 100 Image generation device, 110 Imaging part, 120 Storage part, 130 Generation part, 140 Detection part, 150 Boundary specification part, 160 Change part, 170 Output part, 180 Distance measurement part, 200 Subject, 210 Common image, 220 Right eye Image for 225 Left image, 230 Image for left eye, 235 Right image, 240 region, 250 border, 260 Output image for right eye, 270 Output image for left eye, 280 Composite image, 290 Viewer, 1900 Computer, 2000 CPU, 2010 ROM, 2020 RAM, 2030 communication interface, 2040 hard disk drive, 2050 flexible disk drive, 2060 DVD drive, 2070 input / output chip, 2075 graphic controller, 2080 display device, 2082 host Controller, 2084 input-output controller, 2090 flexible disk, 2095 DVD

Claims (11)

観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
を備える画像生成装置。
An image generation device that generates a right eye image and a left eye image to be presented to a viewer's right eye and left eye,
A detection unit for detecting a specularly reflected region in the right-eye image and the left-eye image;
A changing unit that changes at least one of the position and the size of the corresponding mirror-reflecting region between the right-eye image and the left-eye image;
An output unit that outputs the right-eye image and the left-eye image changed by the changing unit;
An image generation apparatus comprising:
共通の画像を左右にずらして前記右眼用画像および前記左眼用画像を生成する生成部を更に備える請求項1に記載の画像生成装置。   The image generation apparatus according to claim 1, further comprising: a generation unit that generates the right-eye image and the left-eye image by shifting a common image to the left and right. 前記検出部は、前記右眼用画像および前記左眼用画像の少なくとも一方における、予め定められた基準輝度以上の領域を、前記鏡面反射している領域として検出する請求項1または2に記載の画像生成装置。   The said detection part detects the area | region more than the predetermined reference | standard brightness | luminance in at least one of the said image for right eyes, and the said image for left eyes as the area | region which carried out the specular reflection. Image generation device. 前記検出部は、前記右眼用画像および前記左眼用画像の少なくとも一方における、周囲に対して輝度が予め定められた基準輝度以上高い領域を、前記鏡面反射している領域として検出する請求項1から3のいずれかに記載の画像生成装置。   The said detection part detects the area | region whose brightness | luminance is more than the reference | standard brightness | luminance predetermined with respect to the circumference | surroundings in at least one of the said image for right eyes and the image for left eyes as the area | region which is carrying out the mirror reflection. The image generating apparatus according to any one of 1 to 3. 前記右眼用画像および前記左眼用画像における、前記鏡面反射している領域を含む被写体の境界を特定する境界特定部を更に備え、
前記変更部は、前記境界特定部が特定した前記被写体の境界の範囲内で、前記右眼用画像および前記左眼用画像の間で対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する
請求項1から4のいずれかに記載の画像生成装置。
A boundary specifying unit that specifies a boundary of a subject including the specularly reflected region in the right-eye image and the left-eye image;
The changing unit has a position and a size of the corresponding mirror-reflected region between the right-eye image and the left-eye image within the boundary of the subject specified by the boundary specifying unit. The image generating apparatus according to claim 1, wherein at least one of the two is changed.
前記変更部は、前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置を左右にずらす請求項5に記載の画像生成装置。   The image generation apparatus according to claim 5, wherein the changing unit shifts the position of the corresponding specularly reflected region between the right-eye image and the left-eye image. 前記被写体の距離を測定する距離測定部を更に備え、
前記変更部は、前記被写体の距離がより小さい場合に、前記被写体の距離がより大きい場合と比較して前記鏡面反射している領域の位置のずれ量を大きくする請求項6に記載の画像生成装置。
A distance measuring unit for measuring the distance of the subject;
The image generation according to claim 6, wherein the changing unit increases the amount of positional deviation of the mirror-reflected region when the subject distance is smaller than when the subject distance is larger. apparatus.
前記右眼用画像および前記左眼用画像を表示する表示面を見る水平方向の角度が互いに異なる複数の視点のそれぞれに対して提示する前記右眼用画像および前記左眼用画像を生成する場合において、前記変更部は、前記複数の視点の間における前記水平方向の角度の変化に伴って前記鏡面反射している領域の位置のずれ量を漸増または漸減させる請求項1から7のいずれかに記載の画像生成装置。   When generating the image for the right eye and the image for the left eye to be presented to each of a plurality of viewpoints having different horizontal angles of viewing the display surface displaying the image for the right eye and the image for the left eye 8. The change unit according to claim 1, wherein the change unit gradually increases or decreases the shift amount of the position of the mirror-reflected region according to a change in the horizontal angle between the plurality of viewpoints. The image generating apparatus described. 前記出力部は、前記右眼用画像および前記左眼用画像を、観視者の右眼および左眼に対して表示する請求項1から8のいずれかに記載の画像生成装置。   The image generation apparatus according to claim 1, wherein the output unit displays the right-eye image and the left-eye image with respect to a right eye and a left eye of a viewer. 観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成方法であって、
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出ステップと、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更ステップと、
前記変更ステップにより変更された前記右眼用画像および前記左眼用画像を出力する出力ステップと、
を備える画像生成方法。
An image generation method for generating an image for a right eye and an image for a left eye to be presented to a right eye and a left eye of a viewer,
A detection step of detecting a specularly reflected region in the right-eye image and the left-eye image;
A change step of changing at least one of the position and size of the corresponding specularly reflected region between the right-eye image and the left-eye image;
An output step of outputting the right-eye image and the left-eye image changed by the changing step;
An image generation method comprising:
コンピュータを、観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置として機能させるためのプログラムであって、
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
して機能させるプログラム。
A program for causing a computer to function as an image generation device that generates a right-eye image and a left-eye image to be presented to the right and left eyes of a viewer,
A detection unit for detecting a specularly reflected region in the right-eye image and the left-eye image;
A changing unit that changes at least one of the position and the size of the corresponding mirror-reflecting region between the right-eye image and the left-eye image;
An output unit that outputs the right-eye image and the left-eye image changed by the changing unit;
Program to make it work.
JP2009240803A 2009-10-19 2009-10-19 Image generating device, image generating method and program Withdrawn JP2011085868A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009240803A JP2011085868A (en) 2009-10-19 2009-10-19 Image generating device, image generating method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009240803A JP2011085868A (en) 2009-10-19 2009-10-19 Image generating device, image generating method and program

Publications (1)

Publication Number Publication Date
JP2011085868A true JP2011085868A (en) 2011-04-28

Family

ID=44078839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009240803A Withdrawn JP2011085868A (en) 2009-10-19 2009-10-19 Image generating device, image generating method and program

Country Status (1)

Country Link
JP (1) JP2011085868A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074969A (en) * 2012-10-02 2014-04-24 Toshiba Corp Image processor, and method thereof
JP2016033551A (en) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 Display device, control method of the same and program
JP2019511067A (en) * 2016-01-19 2019-04-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. Augmented reality system and method utilizing reflection
US11460698B2 (en) 2016-04-26 2022-10-04 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074969A (en) * 2012-10-02 2014-04-24 Toshiba Corp Image processor, and method thereof
US9111377B2 (en) 2012-10-02 2015-08-18 Kabushiki Kaisha Toshiba Apparatus and method for generating a multi-viewpoint image
JP2016033551A (en) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 Display device, control method of the same and program
JP2019511067A (en) * 2016-01-19 2019-04-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. Augmented reality system and method utilizing reflection
US11244485B2 (en) 2016-01-19 2022-02-08 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11460698B2 (en) 2016-04-26 2022-10-04 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems

Similar Documents

Publication Publication Date Title
Kruijff et al. Perceptual issues in augmented reality revisited
US9916517B2 (en) Image processing method and apparatus
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
TWI508519B (en) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
JP5476910B2 (en) Image generating apparatus, image generating method, and program
CN107660338A (en) The stereoscopic display of object
JP2012079291A (en) Program, information storage medium and image generation system
US20160180514A1 (en) Image processing method and electronic device thereof
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
JP4270347B2 (en) Distance calculator
JP2011205195A (en) Image processing device, program, image processing method, chair, and appreciation system
CN111095348A (en) Transparent display based on camera
JP2010259017A (en) Display device, display method and display program
JP2011085868A (en) Image generating device, image generating method and program
JP2010226390A (en) Imaging apparatus and imaging method
EP3038061A1 (en) Apparatus and method to display augmented reality data
KR101212223B1 (en) Device taking a picture and method to generating the image with depth information
JP2019118004A (en) Information processing apparatus, information processing method, and recording medium
JP2010226391A (en) Image processing unit, program, and method of processing image
Dąbała et al. Manipulating refractive and reflective binocular disparity
GB2585197A (en) Method and system for obtaining depth data
JP5663854B2 (en) Display device, display method, and program
JP2011061330A (en) Image generation device, image generation method, and program
JP5428723B2 (en) Image generating apparatus, image generating method, and program
JP2011082698A (en) Image generation device, image generation method, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108