JP2011085868A - Image generating device, image generating method and program - Google Patents
Image generating device, image generating method and program Download PDFInfo
- Publication number
- JP2011085868A JP2011085868A JP2009240803A JP2009240803A JP2011085868A JP 2011085868 A JP2011085868 A JP 2011085868A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2011085868 A JP2011085868 A JP 2011085868A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- eye image
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、画像生成装置、画像生成方法およびプログラムに関する。 The present invention relates to an image generation device, an image generation method, and a program.
表示画像内で物体がきらめいているような表現を実現する技術として、特許文献1および2が挙げられる。 Patent Documents 1 and 2 are examples of techniques for realizing an expression in which an object is sparkling in a display image.
ところで、このような表現手法は、所定の輝きパターンを予め準備すること、あるいは複数の演算を選択的に使用すること等が用いられ、画像作成の労力および/または複雑な処理手順が必要であった。 By the way, in such an expression method, a predetermined brightness pattern is prepared in advance, or a plurality of operations are selectively used, and an image creation effort and / or a complicated processing procedure is required. It was.
そこで本発明は、上記の課題を解決することのできる画像生成装置および方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Therefore, an object of the present invention is to provide an image generation apparatus and method that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第1の態様においては、観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、右眼用画像および左眼用画像における、被写体が輝いている領域を検出する検出部と、右眼用画像および左眼用画像の間で、対応する領域の位置および大きさの少なくとも一方を変更する変更部と、変更部により変更された右眼用画像および左眼用画像を出力する出力部と、を備える画像生成装置を提供する。 In order to solve the above-described problem, in a first aspect of the present invention, an image generation apparatus that generates a right-eye image and a left-eye image to be presented to a viewer's right eye and left eye is provided. In the right-eye image and the left-eye image, at least one of the position and the size of the corresponding region between the detection unit that detects the area where the subject is shining and the right-eye image and the left-eye image An image generation apparatus is provided that includes a changing unit that changes, and an output unit that outputs a right-eye image and a left-eye image changed by the changing unit.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、本実施形態に係る画像生成装置100の構成を示す。画像生成装置100は、被写体の輝きを表現するために、被写体の2次元画像から観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する。画像生成装置100は、撮像部110と、記憶部120と、生成部130と、検出部140と、境界特定部150と、変更部160と、出力部170と、距離測定部180とを備える。
FIG. 1 shows a configuration of an
撮像部110は、被写体を撮像して2次元画像を生成する。撮像部110は、被写体の1以上の複数の2次元画像を生成してよく、これに代えて連続的に複数の2次元画像を生成してもよい。撮像部110は、撮像した画像および撮像に用いたパラメータ等を記憶部120に記憶する。
The
記憶部120は、撮像部110が撮像した画像および撮像に用いたパラメータ等を記憶する。記憶部120は、一例として、フラッシュメモリ、内蔵ハードディスクまたは外付ハードディスク等の記憶装置であってよい。なお、記憶する画像は、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。
The
生成部130は、共通の画像を左右にずらして右眼用画像および左眼用画像を生成する。生成部130は、共通の2次元画像を、表示領域内において左右に瞳孔間距離以下の距離分ずらして左側画像および右側画像を生成してよい。
The
ここで、瞳孔間距離は、人間の瞳間の距離(40mmから90mm)であって、当該距離だけ離した位置に左側画像および右側画像を表示すると、人間が、左眼で見た左側画像の表示物と右眼で見た右側画像の表示物とを融合して一つの像として認識することができ、且つ、融合した像を無限遠に認識することができる距離である。この場合、観視者の両眼の視線は平行となっている。従って、生成部130は、2次元画像を表示領域内において左右に0より大きく90mm以下の距離分ずらした左側画像および右側画像を生成することが望ましい。
Here, the interpupillary distance is the distance between the human pupils (40 mm to 90 mm), and when the left image and the right image are displayed at positions separated by the distance, the human image of the left image viewed by the left eye is displayed. The distance is such that the display object and the display object of the right image viewed with the right eye can be merged and recognized as one image, and the merged image can be recognized at infinity. In this case, the eyes of the viewer's eyes are parallel. Therefore, it is desirable that the
なお、人間は、両眼の視線が平行な状態から左右に2〜3度程度開いた方向にある対象でも、両眼融合視をできる場合がある。従って、左側画像と右側画像との間の距離は、左眼の視線が平行状態から左側に3度以下(好ましくは2度)、右眼の視線が平行状態から右側に3度以下(好ましくは2度)ずれる距離であってもよい。左側画像と右側画像との間の距離が、瞳孔間距離からずれてよい許容量は、観視者と表示面との間の距離が遠くなるほど大きくなる。 It should be noted that a human may be able to perform binocular fusion even with an object in a direction that is opened about 2 to 3 degrees to the left and right from the state where the eyes of both eyes are parallel. Therefore, the distance between the left image and the right image is 3 degrees or less (preferably 2 degrees) from the parallel state of the left eye to the left side, preferably 3 degrees or less (preferably from the parallel state of the right eye). (2 degrees) may be a distance shifted. The allowable amount that the distance between the left image and the right image may deviate from the interpupillary distance increases as the distance between the viewer and the display surface increases.
検出部140は、右眼用画像および左眼用画像における、鏡面反射している領域を検出する。ここで鏡面反射は、物体の表面での反射のことであり、この場合反射光に色があまり入らず白色に近い場合が多い。また鏡面反射は、正反射に近い場合が多い。
The
また、本願において鏡面反射とは、物体の表面における、光源方向に依存した指向性を有する反射を意図しており、キラキラ、ぴかぴかしている部分、光沢部を差し、必ずしも鏡面での反射でなくてよい。例えば、物体を照らす光源の強度が十分に強い場合、ざらついた表面であっても正反射に近い反射光の成分に対して、観視者は輝いていると感じるので、検出部140は鏡面反射している領域としてもよい。したがって、検出部140は、被写体が輝いている領域について、鏡面反射している領域として検出してよい。
In addition, in the present application, the specular reflection is intended to have a directivity depending on the direction of the light source on the surface of the object, and it is not necessarily a reflection on the mirror surface, except for a glitter, a shiny part, and a glossy part. It's okay. For example, when the intensity of a light source that illuminates an object is sufficiently strong, the
境界特定部150は、右眼用画像および左眼用画像における、鏡面反射している領域を含む被写体の境界を特定する。境界特定部150は、被写体を同質な物体または物体の一部として、被写体の境界を特定してよい。境界特定部150は、被写体の境界を特定できた場合、特定した境界の情報と鏡面反射している領域の情報とを併せて変更部160に送信してよい。
The boundary specifying unit 150 specifies the boundary of the subject including the specularly reflected region in the right-eye image and the left-eye image. The boundary specifying unit 150 may specify the boundary of the subject with the subject as a homogeneous object or a part of the object. When the boundary of the subject can be specified, the boundary specifying unit 150 may transmit the specified boundary information and the specularly reflected region information together to the changing
変更部160は、右眼用画像および左眼用画像の間で、対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更する。変更部160は、境界特定部が特定した被写体の境界の範囲内で、右眼用画像および左眼用画像の間で対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更してよい。
The changing
出力部170は、変更部160により変更された右眼用画像および左眼用画像を出力する。出力部170は、右眼用画像および左眼用画像を画像データとして外部記憶装置に出力してもよく、これに代えて右眼用画像および左眼用画像を画像として出力してもよい。出力部170は、右眼用画像を観視者の右眼に与え、左眼用画像を観視者の左眼に与える。なお、出力部170は、立体像を観視者に表示する表示装置に対して、右眼用画像のデータおよび左眼用画像のデータを出力する構成であってもよい。
The
出力部170は、表示装置と画像分離用のメガネとの組み合わせであってもよい。表示装置は、右眼用画像を表示するための複数の右眼用画素と、左眼用画像を表示するための複数の左眼用画像とを含んでよい。右眼用画素と左眼用画素とは、互いに異なる偏光の光を出力する。
The
画像分離メガネは、観視者に装着される。画像分離メガネは、装着時において右眼に対応する位置に設けられる右眼用フィルタと、装着時において左眼に対応する位置に設けられる左眼用フィルタとを有する。右眼用フィルタは、右眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。左眼用フィルタは、左眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。 The image separation glasses are worn by the viewer. The image separation glasses include a right eye filter provided at a position corresponding to the right eye when worn and a left eye filter provided at a position corresponding to the left eye when worn. The right-eye filter transmits the polarization component of the light output from the right-eye pixel and blocks other polarization components. The left-eye filter transmits the polarization component of the light output from the left-eye pixel and blocks other polarization components.
このような出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができる。これにより、出力部170は、観視者に立体像を提示することができる。
Such an
なお、出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができれば、他の構成であってもよい。出力部170は、一例として、右眼用画像と左眼用画像とを交互に切り替えて表示する表示部と、右眼用画像の表示期間に右眼側のシャッタを開いて左眼側のシャッタを閉じ、左眼用画像の表示期間に左眼側のシャッタを開いて右眼側のシャッタを閉じる画像分離メガネとを有する構成であってもよい。
The
また、出力部170は、一例として、ヘッドマウントディスプレイであってもよい。また、出力部170は、一例として、画像分離メガネを用いない裸眼立体視方式の表示装置であってもよい。また、出力部170は、一例として、パララックスバリアおよびレンチキュラー等を用いた表示パネルであってもよい。
Further, the
距離測定部180は、被写体の距離を測定する。距離測定部180は、撮像部110が被写体を撮像する直前もしくは直後に、撮像部110と被写体との距離を測定してよい。距離測定部180は、測定した距離の情報を、変更部160に送信してよい。また距離測定部180は、撮像部110が被写体を撮像する直前に撮像部110と被写体との距離を測定した場合、測定した距離の情報を撮像部110に送信してもよい。
The
図2は、本実施形態に係る画像生成装置100が生成する画像の一例を示す。撮像部110は、被写体200を撮像した共通の画像210を記憶部120に記憶する。生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する。
FIG. 2 shows an example of an image generated by the
生成部130は、一例として、共通の画像210を右方向にずらして右眼用画像220を生成する。生成部130は、一例として、共通の画像210を左方向にずらして左眼用画像230を生成する。ここで生成部130は、一例として、共通の画像210を右方向にずらして生成された右眼用画像220における、表示領域の右側境界から右側にはみ出した部分を削除してもよい。また生成部130は、一例として、共通の画像210を左方向にずらして生成された左眼用画像230における、表示領域の左側境界から左側にはみ出した部分を削除してもよい。
For example, the
また、生成部130は、一例として、共通の画像210を右方向にずらした結果できた右眼用画像220の左側の空白部分に、左側画像225を付加してよい。生成部130は、一例として、共通の画像210を左方向にずらした結果できた左眼用画像230の右側の空白部分に、右側画像235を付加してよい。
Further, as an example, the
生成部130は、付加する左側画像225および右側画像235として、黒等の暗色または白等の明色の画像をそれぞれ付加してよい。これによって画像生成装置100は、表示領域における右端部および左端部において、観視者に枠を意識させるような表示をすることができ、画像生成装置100は、窓枠から外の風景を見ているような自然な画像を観視者に提供することができる。
The
これに代えて生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分を左側画像225として付加してよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分を右側画像235として付加してよい。
Instead of this, for example, the
表示領域の右端部または左端部に注目している場合において輻輳が生起される(左眼および右眼の視線が交差する)と、右眼と左眼との間で見ているものが異なる視野闘争の問題が生じる。この場合、右眼に与えられる画像と左眼に与えられる画像とがかけ離れているほど、人間に与える不自然感は大きい。しかし、上の例において画像生成装置100は、表示領域の右端部または左端部において右眼および左眼に同一の画像を与える。従って、本例に係る画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合であっても、視野闘争を軽減して、不自然に感じない画像を提供することができる。なお、表示領域の中央部においては、両眼融合の条件が保たれているので、端部と比較して輻輳が生起される可能性は低い。
When the right edge or left edge of the display area is focused and congestion occurs (the left and right eye gazes intersect), the field of view that is different between the right and left eyes A struggle problem arises. In this case, the greater the distance between the image given to the right eye and the image given to the left eye, the greater the unnatural feeling given to humans. However, in the above example, the
また、生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分をぼかした画像を左側画像225として付加してもよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分をぼかした画像を右側画像235として付加してもよい。
Further, as an example, the
右眼および左眼にフォーカスレベルが異なる画像が与えられた場合、人間は、与えられる画像を立体的に感じる。従って、このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、視野闘争を軽減させることができる。
When images with different focus levels are given to the right eye and the left eye, a human feels the given image three-dimensionally. Therefore, such an
また、生成部130は、一例として、左側画像225の色を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、左側画像225の輝度を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。
For example, the
同様に、生成部130は、一例として、右側画像235の色を、左眼用画像230における、表示領域の右端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、右側画像235の輝度を、左眼用画像230における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、色合いまたは輝度の同じ画像を左眼と右眼に与えることができるので、視野闘争を軽減することができる。
Similarly, as an example, the
また、生成部130は、一例として、共通の画像210を左右に拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。この場合において、生成部130は、共通の画像210を左右の端部に近いほど大きい拡大率で拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。これにより画像生成装置100は、端部において画像が連続した自然な画像を提供することができる。
Further, as an example, the
検出部140は、生成部130が生成した右眼用画像220および左眼用画像230から、鏡面反射している領域240を検出する。例えば検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、予め定められた基準輝度以上の領域を、領域240として検出してよい。これに代えて検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、周囲に対して輝度が予め定められた基準輝度以上高い領域を、領域240として検出してもよい。
The
また、検出部140は、上記の輝度による判断に代え、または当該判断と共に、カラーコードで白に近いコードを有することを条件として領域240を検出してもよい。例えば、白はRGBのコードでは「255.255.255」であり、白に近いと判断できる範囲の基準値を一例として「240.240.240」等と予め定め、RGBのコードのそれぞれが基準値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。
Alternatively, the
また、検出部140は、周辺の領域と比較して白に近い領域を見つけてもよい。例えば、RGBのコードで、周辺の領域との差分が予め定められた値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。
In addition, the
境界特定部150は、右眼用画像220および左眼用画像230における、検出部140が検出した領域240を含む被写体200の境界250を特定する。境界特定部150は、領域240の周囲の画像データに基づき、被写体200の境界250を特定してよい。例えば境界特定部150は、領域240の周囲の輝度が、予め定められた範囲にある境界を、被写体200の境界250としてよい。
The boundary specifying unit 150 specifies the
これに代えて境界特定部150は、領域240の周囲のカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてよい。また、境界特定部150は、領域240の周囲の輝度および/またはカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてもよい。
Instead, the boundary specifying unit 150 may set a boundary where the color code around the
変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する。ここで、境界特定部150によって境界250が特定されている領域240の場合、変更部160は、境界特定部150が特定した被写体200の境界250の範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。
The changing
図中の例では、変更部160は、右眼用画像220の領域240を縮小して右眼用出力画像260と変更し、同時に左眼用画像230の領域240を拡大して左眼用出力画像270と変更している。これに代えて変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置を左右にずらしてもよい。
In the example in the figure, the changing
観視者290は、出力部170によって右眼で右眼用出力画像260を、左眼で左眼用出力画像270を観視して、合成画像280を認識する。以上の画像生成装置100によれば、2次元画像を左右にずらすことで立体的に見えうる画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを表現した立体的画像をユーザに提供することができる。
The
人間が近距離の2次元画像を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは同一ではなく視差がある。人間は、この視差から、見ているものが2次元画像であると認識する。また、人間が無限遠(例えば10m以上)の物体を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは、視差がなく同一となる。人間は、無限遠を見ている場合、右眼に与えられている画像と左眼に与えられている画像との間に視差が無いことにより、見ている物体及び景色等に立体感および臨場感を感じる。 When a human is viewing a two-dimensional image at a short distance, the image given to the right eye and the left eye are not the same, but have parallax. From this parallax, a human recognizes that what he is looking at is a two-dimensional image. Further, when a human is looking at an object at infinity (for example, 10 m or more), the image given to the right eye and the image given to the left eye are the same with no parallax. When a human is looking at infinity, there is no parallax between the image given to the right eye and the image given to the left eye, so that the object and scenery being viewed are three-dimensional and realistic. I feel a feeling.
画像生成装置100は、ユーザの瞳孔間距離と同じだけ左右に距離ずらした視差のない(即ち、互いに同じ)右眼用出力画像260および左眼用出力画像270を生成する。そして、画像生成装置100は、右眼用出力画像260をユーザの右眼に与え、左眼用出力画像270をユーザの左眼に与える。この結果、画像生成装置100は、ユーザの右眼および左眼の視線を平行状態とする、即ち、ユーザの視線を輻輳させない(右眼および左眼の視線を交差させない)状態とすることができる。これにより、画像生成装置100は、ユーザを、無限遠を見ている状態にすることができる。
The
このように画像生成装置100は、ユーザに無限遠を見ている状態として且つ右眼と左眼とに視差のない画像を与えることにより、ユーザに立体的を感じる画像を提供することができる。例えば、画像生成装置100は、例えば風景画像等に、窓から外を見たような臨場感を与えることができる。また、画像生成装置100は、マクロ撮影などの近距離撮影の画像に、虫眼鏡でみたような実物感を与えることができる。
As described above, the
そして画像生成装置100は、領域240の大きさおよび/または位置を右眼と左眼で異なるように変更することで、より輝きを感じる画像を提供することができる。
The
図3は、本実施形態に係る画像生成装置100の動作フローを示す。撮像部110は、被写体200を撮像して共通の画像210を生成する(S300)。ここで撮像部110は、距離測定部180が測定した撮像部110と被写体200との距離に基づきピント等のパラメータを設定してもよい。
FIG. 3 shows an operation flow of the
生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する(S310)。検出部140は、右眼用画像220および左眼用画像230における、領域240を検出する(S320)。検出部140は、輝度およびカラーコードによって領域240を検出してよく、白色以外にも被写体200を照らす光源の色に近いカラーコードに基づいて検出してもよい。
The
境界特定部150は、右眼用画像220および左眼用画像230における、領域240を含む被写体200の境界250を特定する(S330)。ここで被写体200が視野よりも大きい場合、あるいは被写体200を拡大して撮像した場合等によって境界250が判別できない画像を撮像部110が撮像した場合、境界特定部150は境界250を検出できなくてもよい。
The boundary specifying unit 150 specifies the
変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する(S340)。変更部160は、被写体200の境界250を境界特定部150が特定していれば、その範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。
The changing
ここで変更部160は、距離測定部180の測定した距離情報を基に、被写体200と撮像部110との距離がより小さい場合に、被写体200と撮像部110との距離がより大きい場合と比較して領域240の位置のずれ量を大きくしてもよい。これによって、被写体200の輝いている部分の奥行きを観視者290に与えることができる。
Here, the changing
出力部170は、変更部160により変更された右眼用出力画像260および左眼用出力画像270を出力する(S350)。出力部170は、観視者290に出力画像を出力する場合、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力する。出力部170が出力画像を記憶装置などに記憶させ、画像生成装置100と別の装置で観視者290に撮像画像を観視させる場合も同様に、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力することが望ましい。
The
以上の画像生成装置100によれば、撮像した2次元画像から立体的画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを強調した臨場感のある立体的画像をユーザに提供することができる。
According to the
以上の本実施例は、撮像部110が生成する観視者290の視野とほぼ同一の共通の画像210から、右眼用画像220および左眼用画像230を生成部130が生成することを説明した。これに代えて、画像生成装置は、右眼用画像および左眼用画像から鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。
In the above-described embodiment, the
画像生成装置は、予め別の装置で撮像された右眼用画像および左眼用画像から、右眼用画像220および左眼用画像230を生成してよく、これに代えて画像生成装置は、撮像部110によって右眼用画像および左眼用画像を撮像してから、右眼用画像220および左眼用画像230を生成してもよい。これによって、輝きを強調した臨場感のある立体画像をユーザに提供することができる。
The image generation device may generate the
また、画像生成装置は、同一の画像に対して、鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。これによって画像生成装置は、同一の画像から右眼用画像220および左眼用画像230を生成することで、輝きを強調した臨場感のある2次元画像をユーザに提供することができる。
In addition, the image generation device detects a specularly reflected region for the same image, changes at least one of the position and size of the region, and performs the
以上の本実施例は、観視者290の視点を1つとして説明したが、これに代えて観視者290の視点を複数存在させてもよい。また、複数の視点の画像を生成する場合に、水平の方向の角度を変えた画像を生成してもよい。
In the above embodiment, the viewpoint of the
右眼用出力画像260および左眼用出力画像270を表示する表示面を見る水平方向の角度が互いに異なる複数の視点のそれぞれに対して提示する右眼用出力画像260および左眼用出力画像270を生成する場合において、変更部160は、複数の視点の間における水平方向の角度の変化に伴って領域240の位置のずれ量を漸増または漸減させる。
The right-
これによって、観視者290に複数の視点から見たときの被写体200の輝きの変化を与えることができ、より臨場感のある複数の画像を提供することができる。また、これらの複数の画像を連続的に観視者290に観視させることで、臨場感のある動画として提供することもできる。
Thus, the
以上の本実施例は、撮像部110が撮像した画像を処理することを説明したが、これに代えて画像生成装置100は、ユーザが画像生成装置100とは別の装置で撮像した画像について処理してもよい。またこの用途で画像生成装置100を用いる場合、画像生成装置100は、撮像部110および距離測定部180を備えなくてもよい。
In the above-described embodiment, it has been described that the image picked up by the
このような画像生成装置100によれば、輝きのある自然な立体画像を簡易な処理で生成して、ユーザに立体画像を提供することができる。
According to such an
図4は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びDVDドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
FIG. 4 shows an example of the hardware configuration of the
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、DVDドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。DVDドライブ2060は、DVD2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
The input /
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
The input /
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、DVD2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
A program provided to the
コンピュータ1900にインストールされ、コンピュータ1900を画像生成装置100として機能させるプログラムは、生成モジュールと、検出モジュールと、境界特定モジュールと、変更モジュールと、出力モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、生成部130、検出部140、境界特定部150、変更部160、および出力部170としてそれぞれ機能させる。
A program that is installed in the
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である生成部130、検出部140、境界特定部150、変更部160、および出力部170として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像生成装置100が構築される。
The information processing described in these programs is read by the
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はDVD2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communication is performed between the
また、CPU2000は、ハードディスクドライブ2040、DVDドライブ2060(DVD2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
In addition, the
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
In addition, the
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
Further, the
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、DVD2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
100 画像生成装置、110 撮像部、120 記憶部、130 生成部、140 検出部、150 境界特定部、160 変更部、170 出力部、180 距離測定部、200 被写体、210 共通の画像、220 右眼用画像、225 左側画像、230 左眼用画像、235 右側画像、240 領域、250 境界、260 右眼用出力画像、270 左眼用出力画像、280 合成画像、290 観視者、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 DVDドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 DVD
DESCRIPTION OF
Claims (11)
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
を備える画像生成装置。 An image generation device that generates a right eye image and a left eye image to be presented to a viewer's right eye and left eye,
A detection unit for detecting a specularly reflected region in the right-eye image and the left-eye image;
A changing unit that changes at least one of the position and the size of the corresponding mirror-reflecting region between the right-eye image and the left-eye image;
An output unit that outputs the right-eye image and the left-eye image changed by the changing unit;
An image generation apparatus comprising:
前記変更部は、前記境界特定部が特定した前記被写体の境界の範囲内で、前記右眼用画像および前記左眼用画像の間で対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する
請求項1から4のいずれかに記載の画像生成装置。 A boundary specifying unit that specifies a boundary of a subject including the specularly reflected region in the right-eye image and the left-eye image;
The changing unit has a position and a size of the corresponding mirror-reflected region between the right-eye image and the left-eye image within the boundary of the subject specified by the boundary specifying unit. The image generating apparatus according to claim 1, wherein at least one of the two is changed.
前記変更部は、前記被写体の距離がより小さい場合に、前記被写体の距離がより大きい場合と比較して前記鏡面反射している領域の位置のずれ量を大きくする請求項6に記載の画像生成装置。 A distance measuring unit for measuring the distance of the subject;
The image generation according to claim 6, wherein the changing unit increases the amount of positional deviation of the mirror-reflected region when the subject distance is smaller than when the subject distance is larger. apparatus.
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出ステップと、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更ステップと、
前記変更ステップにより変更された前記右眼用画像および前記左眼用画像を出力する出力ステップと、
を備える画像生成方法。 An image generation method for generating an image for a right eye and an image for a left eye to be presented to a right eye and a left eye of a viewer,
A detection step of detecting a specularly reflected region in the right-eye image and the left-eye image;
A change step of changing at least one of the position and size of the corresponding specularly reflected region between the right-eye image and the left-eye image;
An output step of outputting the right-eye image and the left-eye image changed by the changing step;
An image generation method comprising:
前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
して機能させるプログラム。 A program for causing a computer to function as an image generation device that generates a right-eye image and a left-eye image to be presented to the right and left eyes of a viewer,
A detection unit for detecting a specularly reflected region in the right-eye image and the left-eye image;
A changing unit that changes at least one of the position and the size of the corresponding mirror-reflecting region between the right-eye image and the left-eye image;
An output unit that outputs the right-eye image and the left-eye image changed by the changing unit;
Program to make it work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240803A JP2011085868A (en) | 2009-10-19 | 2009-10-19 | Image generating device, image generating method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240803A JP2011085868A (en) | 2009-10-19 | 2009-10-19 | Image generating device, image generating method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011085868A true JP2011085868A (en) | 2011-04-28 |
Family
ID=44078839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009240803A Withdrawn JP2011085868A (en) | 2009-10-19 | 2009-10-19 | Image generating device, image generating method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011085868A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014074969A (en) * | 2012-10-02 | 2014-04-24 | Toshiba Corp | Image processor, and method thereof |
JP2016033551A (en) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | Display device, control method of the same and program |
JP2019511067A (en) * | 2016-01-19 | 2019-04-18 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Augmented reality system and method utilizing reflection |
US11460698B2 (en) | 2016-04-26 | 2022-10-04 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
-
2009
- 2009-10-19 JP JP2009240803A patent/JP2011085868A/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014074969A (en) * | 2012-10-02 | 2014-04-24 | Toshiba Corp | Image processor, and method thereof |
US9111377B2 (en) | 2012-10-02 | 2015-08-18 | Kabushiki Kaisha Toshiba | Apparatus and method for generating a multi-viewpoint image |
JP2016033551A (en) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | Display device, control method of the same and program |
JP2019511067A (en) * | 2016-01-19 | 2019-04-18 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Augmented reality system and method utilizing reflection |
US11244485B2 (en) | 2016-01-19 | 2022-02-08 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
US11460698B2 (en) | 2016-04-26 | 2022-10-04 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kruijff et al. | Perceptual issues in augmented reality revisited | |
US9916517B2 (en) | Image processing method and apparatus | |
JP5515301B2 (en) | Image processing apparatus, program, image processing method, recording method, and recording medium | |
TWI508519B (en) | An image processing apparatus, a program, an image processing method, a recording method, and a recording medium | |
JP5476910B2 (en) | Image generating apparatus, image generating method, and program | |
CN107660338A (en) | The stereoscopic display of object | |
JP2012079291A (en) | Program, information storage medium and image generation system | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
JP5396877B2 (en) | Image processing apparatus, program, image processing method, and recording method | |
JP4270347B2 (en) | Distance calculator | |
JP2011205195A (en) | Image processing device, program, image processing method, chair, and appreciation system | |
CN111095348A (en) | Transparent display based on camera | |
JP2010259017A (en) | Display device, display method and display program | |
JP2011085868A (en) | Image generating device, image generating method and program | |
JP2010226390A (en) | Imaging apparatus and imaging method | |
EP3038061A1 (en) | Apparatus and method to display augmented reality data | |
KR101212223B1 (en) | Device taking a picture and method to generating the image with depth information | |
JP2019118004A (en) | Information processing apparatus, information processing method, and recording medium | |
JP2010226391A (en) | Image processing unit, program, and method of processing image | |
Dąbała et al. | Manipulating refractive and reflective binocular disparity | |
GB2585197A (en) | Method and system for obtaining depth data | |
JP5663854B2 (en) | Display device, display method, and program | |
JP2011061330A (en) | Image generation device, image generation method, and program | |
JP5428723B2 (en) | Image generating apparatus, image generating method, and program | |
JP2011082698A (en) | Image generation device, image generation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130108 |