JP2009077276A - Image generation method, printed matter for stereoscopic vision, method of manufacturing printed matter for stereoscopic vision, and program - Google Patents

Image generation method, printed matter for stereoscopic vision, method of manufacturing printed matter for stereoscopic vision, and program Download PDF

Info

Publication number
JP2009077276A
JP2009077276A JP2007245726A JP2007245726A JP2009077276A JP 2009077276 A JP2009077276 A JP 2009077276A JP 2007245726 A JP2007245726 A JP 2007245726A JP 2007245726 A JP2007245726 A JP 2007245726A JP 2009077276 A JP2009077276 A JP 2009077276A
Authority
JP
Japan
Prior art keywords
image
eye image
eye
stereoscopic
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007245726A
Other languages
Japanese (ja)
Other versions
JP5060231B2 (en
Inventor
Shigeki Toyama
茂樹 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandai Namco Entertainment Inc
Original Assignee
Namco Bandai Games Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Bandai Games Inc filed Critical Namco Bandai Games Inc
Priority to JP2007245726A priority Critical patent/JP5060231B2/en
Publication of JP2009077276A publication Critical patent/JP2009077276A/en
Application granted granted Critical
Publication of JP5060231B2 publication Critical patent/JP5060231B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image generation method by which images for stereoscopic vision with respect to first and second objects can properly be composed, and to provide a printed matter for stereoscopic vision. <P>SOLUTION: A first left-eye image IL1 and a first right-eye image IR1 for a first object are captured, and a second left-eye image IL2 and a second right-eye image IR2 for a second object are captured. The captured first left-eye image IL1 and second left-eye image IL2 are composed to generate a third left-eye image IL3, and the captured first right-eye image IR1 and second right-eye image IR2 are composed to generate a third right-eye image IR3. On the basis of the generated third left-eye image IL3 and third right-eye image IR3, a 3D view image IST is generated. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムに関する。   The present invention relates to an image generation method, a stereoscopic print, a method for manufacturing a stereoscopic print, and a program.

従来より、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ(anaglyph)処理などにより合成し、立体視用画像(立体視用印刷物)を得る技術が知られている。このような立体視手法の従来技術としては例えば特許文献1、2がある。
特開2000−56411号公報 特開平2004−178579号公報
Conventionally, a left-eye image taken with a camera corresponding to the left eye and a right-eye image taken with a camera equivalent to the right eye are prepared, and these images are synthesized by anaglyph processing, etc. A technique for obtaining an image for use (stereoscopic print) is known. For example, Patent Documents 1 and 2 are known as conventional techniques for such a stereoscopic viewing method.
JP 2000-56411 A Japanese Patent Laid-Open No. 2004-178579

しかしながら、従来の立体視手法では、立体視の対象となる1つの被写体(物体、オブジェクト)を、左目用カメラ、右目用カメラで1回だけ撮影して、立体視用画像を作成していた。即ち、異なる被写体を別撮りして合成することは行われていなかった。これは、第1の被写体を撮影して得られた立体視用画像と第2の被写体を撮影して得られた立体視用画像を単純に合成するだけでは、適正な合成画像を得ることができないからである。   However, in the conventional stereoscopic viewing method, one subject (object, object) to be stereoscopically viewed is photographed only once with the left-eye camera and the right-eye camera to create a stereoscopic image. That is, it has not been performed to shoot and synthesize different subjects. This is because an appropriate composite image can be obtained by simply synthesizing the stereoscopic image obtained by photographing the first subject and the stereoscopic image obtained by photographing the second subject. It is not possible.

本発明の幾つかの態様によれば、第1、第2の物体についての立体視用画像を適正に合成できる画像生成方法、立体視用印刷物、立体視用印刷物の製造方法及びプログラムを提供できる。   According to some aspects of the present invention, it is possible to provide an image generation method, a stereoscopic printed material, a stereoscopic printed material manufacturing method, and a program that can appropriately synthesize stereoscopic images of the first and second objects. .

本発明は、立体視用画像を生成するための画像生成方法であって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成する画像生成方法に関係する。   The present invention is an image generation method for generating an image for stereoscopic vision, which acquires a first left-eye image and a first right-eye image for a first object, and obtains a first object for a second object. The second left-eye image and the second right-eye image are acquired, and the acquired first left-eye image and the second left-eye image are combined to generate a third left-eye image. The first right-eye image and the second right-eye image are combined to generate a third right-eye image, and based on the generated third left-eye image and the third right-eye image. The present invention relates to an image generation method for generating the stereoscopic image.

本発明によれば、第1の物体についての第1の左目用画像と第2の物体についての第2の左目用画像が合成されて、第3の左目用画像が生成される。また、第1の物体についての第1の右目用画像と第2の物体についての第2の右目用画像が合成されて、第3の右目用画像が生成される。そして、生成された第3の左目用画像と第3の右目用画像に基づいて、立体視用画像が生成される。このようにすれば、第1、第2の物体についての立体視用画像を適正に合成して、第1、第2の物体の両方の立体視について適正に表現された立体視用画像を得ることが可能になる。   According to the present invention, the first left-eye image for the first object and the second left-eye image for the second object are combined to generate a third left-eye image. In addition, the first right-eye image for the first object and the second right-eye image for the second object are combined to generate a third right-eye image. Then, a stereoscopic image is generated based on the generated third left-eye image and third right-eye image. If it does in this way, the image for stereoscopic vision about the 1st and 2nd object is combined appropriately, and the image for stereoscopic vision appropriately expressed about the stereoscopic vision of both the 1st and 2nd object is obtained. It becomes possible.

また本発明では、前記第1の左目用画像が格納されるレイヤと前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、前記第3の左目用画像を生成し、前記第1の右目用画像が格納されるレイヤと前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、前記第3の右目用画像を生成してもよい。   In the present invention, the layer for storing the first left-eye image and the layer for storing the second left-eye image are combined to generate the third left-eye image, and The third right-eye image may be generated by layer combining a layer in which one right-eye image is stored and a layer in which the second right-eye image is stored.

このようにすれば、レイヤ合成を利用して、左目用画像と右目用画像を独立に合成できるようになる。   In this way, the left eye image and the right eye image can be independently synthesized using layer synthesis.

また本発明では、前記第1の左目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の左目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の左目用画像が格納されるレイヤとトリミング後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成し、前記第1の右目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の右目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の右目用画像が格納されるレイヤとトリミング後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成してもよい。   In the present invention, an image other than the image of the first object in the first left-eye image is trimmed, and an image other than the image of the second object in the second left-eye image is trimmed. Then, a layer in which the first left-eye image after trimming is stored and a layer in which the second left-eye image after trimming is stored are combined, and the first of the first right-eye images is Trimming an image other than the image of one object, trimming an image other than the image of the second object in the second right-eye image, and storing the first right-eye image after trimming. The layer and the layer in which the second right-eye image after trimming is stored may be combined.

このようなトリミングを行えば、第1、第2の物体に上下関係がある場合に、これらの第1、第2の物体の画像の適正な合成が可能になる。   By performing such trimming, when the first and second objects have a vertical relationship, it is possible to appropriately combine the images of the first and second objects.

また本発明では、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、補正処理後の前記第1の左目用画像と補正処理後の前記第2の左目用画像を合成して、前記第3の左目用画像を生成し、補正処理後の前記第1の右目用画像と補正処理後の前記第2の右目用画像を合成して、前記第3の右目用画像を生成してもよい。   In the present invention, the correction processing for eliminating the perspective of the image on the reference plane at least in the depth direction includes the first left-eye image, the first right-eye image, the second left-eye image, Performing the second right-eye image, combining the first left-eye image after the correction process and the second left-eye image after the correction process to generate the third left-eye image; The first right-eye image after the correction process and the second right-eye image after the correction process may be synthesized to generate the third right-eye image.

このような基準面での画像(例えば基準面自体の画像や、基準面に接する部分での物体画像等)のパースペクティブを無くすための補正処理を行えば、ピント調整や奥行き感の矛盾が少なく、リアルで自然な立体視を実現できる。   If correction processing is performed to eliminate the perspective of such an image on the reference plane (for example, an image of the reference plane itself or an object image in contact with the reference plane), there is little inconsistency in focus adjustment or depth, Realistic and natural stereoscopic vision can be realized.

また本発明では、前記第1の左目用画像、前記第1の右目用画像に対して両眼視差調整を行って、立体視における前記第1の物体についての基準面の高さ調整を行ってもよい。   In the present invention, binocular parallax adjustment is performed on the first left-eye image and the first right-eye image, and the height of the reference plane for the first object in stereoscopic view is adjusted. Also good.

このようにすれば、第1の左目用画像、第1の右目用画像を取得した後、これらの画像に映る第1の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。   In this way, after obtaining the first left-eye image and the first right-eye image, the height of the reference plane for the first object appearing in these images can be arbitrarily adjusted. It is possible to realize fine adjustments in vision and various stereoscopic expressions.

また本発明では、前記両眼視差調整は、前記第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第1の右目用画像を、前記一方とは異なる他方の方向にずらす処理であってもよい。   In the present invention, the binocular parallax adjustment may be performed by shifting the first left-eye image in either the left direction or the right direction, and changing the first right-eye image to the other one different from the one. It may be a process of shifting in the direction.

このようにすれば、第1の左目用画像、第1の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。   In this way, binocular parallax adjustment can be realized by simply shifting the first left-eye image and the first right-eye image leftward or rightward, and the adjustment can be simplified.

また本発明では、前記第2の左目用画像、前記第2の右目用画像に対して両眼視差調整を行って、立体視における前記第2の物体についての基準面の高さ調整を行ってもよい。   In the present invention, binocular parallax adjustment is performed on the second left-eye image and the second right-eye image to adjust the height of the reference plane for the second object in stereoscopic view. Also good.

このようにすれば、第2の左目用画像、第2の右目用画像を取得した後、これらの画像に映る第2の物体についての基準面の高さを任意に調整することができ、立体視における微調整や多様な立体視表現を実現できる。   In this way, after obtaining the second left-eye image and the second right-eye image, the height of the reference plane for the second object reflected in these images can be arbitrarily adjusted, It is possible to realize fine adjustments in vision and various stereoscopic expressions.

また本発明では、前記両眼視差調整は、前記第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第2の右目用画像を、前記一方とは異なる他方の方向にずらす調整であってもよい。   Further, in the present invention, the binocular parallax adjustment is performed by shifting the second left-eye image in either the left direction or the right direction, and changing the second right-eye image to the other one different from the one. Adjustment that shifts in the direction of may be possible.

このようにすれば、第2の左目用画像、第2の右目用画像を左方向又は右方向へずらすだけで、両眼視差調整を実現でき、調整を簡素化できる。   In this way, binocular parallax adjustment can be realized by simply shifting the second left-eye image and the second right-eye image leftward or rightward, and the adjustment can be simplified.

また本発明では、前記第2の物体は、前記第1の物体の上方に浮遊する物体であってもよい。   In the present invention, the second object may be an object that floats above the first object.

また本発明では、前記第2の物体の影についての左目用影画像と右目用影画像を生成し、前記第1の左目用画像と前記第2の左目用画像と前記左目用影画像を合成して前記第3の左目用画像を生成し、前記第1の右目用画像と前記第2の右目用画像と前記右目用影画像を合成して前記第3の右目用画像を生成してもよい。   In the present invention, a left-eye shadow image and a right-eye shadow image for the shadow of the second object are generated, and the first left-eye image, the second left-eye image, and the left-eye shadow image are synthesized. The third left-eye image is generated, and the first right-eye image, the second right-eye image, and the right-eye shadow image are combined to generate the third right-eye image. Good.

このようにすれば、第2の物体の影についても表現された立体視用画像を生成でき、立体視用画像の品質やリアル度を向上できる。   In this way, it is possible to generate a stereoscopic image that is expressed also about the shadow of the second object, and to improve the quality and realism of the stereoscopic image.

また本発明では、前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行ってもよい。   In the present invention, the binocular parallax information at the location where the shadow of the second object falls is acquired based on the first left-eye image and the first right-eye image, and the acquired binocular Based on the parallax information, binocular parallax adjustment may be performed on the left-eye shadow image and the right-eye shadow image.

このようにすれば、立体視時に第1の物体から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。   In this way, it is possible to prevent a situation where a shadow is seen at a position floating from the first object during stereoscopic viewing, and to realize stereoscopic viewing in which more natural and realistic shadows are expressed.

また本発明では、前記第2の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行ってもよい。   In the present invention, the blurring process of the left eye shadow image and the right eye shadow image may be performed based on the height information of the second object.

このようにすれば、高さに応じてぼかし具合が変化する影が表現されたリアルな立体視用画像を提供できる。   In this way, it is possible to provide a realistic stereoscopic image in which a shadow whose blur condition changes according to the height is expressed.

また本発明では、生成された前記第3の左目用画像と前記第3の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成してもよい。   In the present invention, the stereoscopic image may be generated by performing anaglyph processing of the generated third left-eye image and the third right-eye image.

なおアナグリフ以外の手法の立体視用画像を生成してもよい。   Note that stereoscopic images other than anaglyphs may be generated.

また本発明では生成された前記立体視用画像に対して、両眼視差の無い画像を更に合成してもよい。   In the present invention, an image without binocular parallax may be further combined with the generated stereoscopic image.

このようにすれば、両眼視差の無いロゴや文字などの画像が表現された立体視用画像を提供できる。   In this way, it is possible to provide a stereoscopic image in which an image such as a logo or a character having no binocular parallax is expressed.

また本発明は、上記のいずれに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物に関係する。   The present invention also relates to a stereoscopic printed matter on which a stereoscopic image generated by any of the image generating methods described above is printed.

また本発明は、立体視用印刷物の製造方法であって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、補正処理後の前記第1の左目用画像が格納されるレイヤと補正処理後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成し、補正処理後の前記第1の右目用画像が格納されるレイヤと補正処理後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、立体視用印刷物を作成する立体視用印刷物の製造方法に関係する。   The present invention is also a method of manufacturing a printed matter for stereoscopic viewing, wherein a first left-eye image and a first right-eye image for a first object are acquired, and a second left-eye image for a second object is obtained. Correction processing for acquiring an image and a second right-eye image and eliminating a perspective in the depth direction of the image on the reference plane at least in the first left-eye image, the first right-eye image, the first The second left-eye image and the second right-eye image are stored, and the layer in which the first left-eye image after correction processing is stored and the second left-eye image after correction processing are stored. Layers are combined with each other to generate a third left-eye image, and the layer in which the first right-eye image after correction processing is stored and the second right-eye image after correction processing are stored The layer is combined with the layer to generate the third right-eye image. Based on the third the left-eye image of the third right-eye image, related to the manufacturing method of the printed material for stereoscopic viewing to create a printed material for stereoscopic viewing.

また本発明は、上記に記載の製造方法により作成された立体視用印刷物に関係する。   Moreover, this invention relates to the printed matter for stereoscopic vision produced by the manufacturing method as described above.

また本発明は、上記に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物に関係する。   The present invention also relates to a stereoscopic printed matter created by duplicating a stereoscopic printed matter created by the manufacturing method described above.

また本発明は、立体視のためのプログラムであって、第1の物体についての第1の左目用画像と第1の右目用画像を取得し、第2の物体についての第2の左目用画像と第2の右目用画像を取得し、取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成する手順を、コンピュータに実行させるプログラムに関係する。   The present invention is also a program for stereoscopic viewing, which acquires a first left-eye image and a first right-eye image for a first object, and a second left-eye image for a second object. And the second right-eye image, the acquired first left-eye image and the second left-eye image are combined to generate a third left-eye image, and the acquired first left-eye image is acquired. A right eye image and the second right eye image are combined to generate a third right eye image, and the stereoscopic view is generated based on the generated third left eye image and the third right eye image. This relates to a program for causing a computer to execute a procedure for generating a commercial image.

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。   Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.

1.本実施形態の立体視手法
図1に本実施形態の立体視手法(立体視用画像生成手法)を説明するためのフローチャートを示す。
1. Stereoscopic Technique of Present Embodiment FIG. 1 is a flowchart for explaining the stereoscopic technique (stereoscopic image generation technique) of the present embodiment.

まず、第1の物体OB1についての第1の左目用画像IL1、第1の右目用画像IR1を取得する(ステップS1)。具体的には、図2(A)に示すように基準面BSに物体OB1を配置(設定)する。例えば被写体となる物体OB1(オブジェクト、ベース物体、ベースオブジェクト)を基準面BSとなる台(白い台紙が置かれた台)の上に置く。そして左目用視点位置VPLから見える左目用画像IL1と、右目用視点位置VPRから見える右目用画像IR1を取得する。   First, a first left-eye image IL1 and a first right-eye image IR1 for the first object OB1 are acquired (step S1). Specifically, as shown in FIG. 2A, the object OB1 is arranged (set) on the reference plane BS. For example, an object OB1 (object, base object, base object) that is a subject is placed on a table (a table on which a white mount is placed) that serves as a reference plane BS. Then, a left-eye image IL1 that is visible from the left-eye viewpoint position VPL and a right-eye image IR1 that is visible from the right-eye viewpoint position VPR are acquired.

ここで左目用、右目用視点位置VPL、VPRは、観者(viewer)の左目、右目の位置として想定される位置である。例えば、カメラ(デジタルカメラ等)による実写により左目用、右目用画像IL1、IR1を作成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL1、IR1を撮影する。この場合、2台のカメラをVPL、VPRに配置して同時に撮影してもよいし、1台のカメラの位置を変えて撮影してもよい。一方、CG(Computer Graphics)画像やゲーム画像(リアルタイム動画像)を生成するシステムにより左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置に仮想カメラ(広義にはカメラ)を配置して左目用、右目用画像IL1、IR1を生成する。即ち、オブジェクト空間においてVPL、VPRから見える画像を生成する。   Here, the left-eye and right-eye viewpoint positions VPL and VPR are positions assumed as positions of the left eye and right eye of the viewer. For example, when the left-eye and right-eye images IL1 and IR1 are created by actual shooting by a camera (digital camera or the like), the cameras are arranged at the positions of these VPL and VPR, and the left-eye and right-eye images IL1 and IR1. Shoot. In this case, two cameras may be arranged in the VPL and VPR and photographed at the same time, or the position of one camera may be changed and photographed. On the other hand, when the left-eye and right-eye images IL1 and IR1 are generated by a system that generates CG (Computer Graphics) images and game images (real-time moving images), a virtual camera (in a broad sense) is placed at the position of these VPL and VPR. Are arranged to generate left-eye and right-eye images IL1 and IR1. That is, an image that can be seen from VPL and VPR in the object space is generated.

なお基準面BSは、例えば視線方向SL(視点位置と注視点を結ぶ方向)に対して斜め方向となる面であり、視線方向SLに直交しない面である。即ち基準面BSは、視線方向SLに常に直交する透視投影スクリーンとは異なる面である。この基準面BSは、立体視時において立体視用印刷物を載置する面に対応する。この基準面は2つに限定されず、3つ以上の基準面(連結された複数の基準面)を用いてもよい。   Note that the reference plane BS is, for example, a plane that is oblique with respect to the line-of-sight direction SL (a direction connecting the viewpoint position and the gazing point) and is a plane that is not orthogonal to the line-of-sight direction SL. That is, the reference plane BS is a plane different from the perspective projection screen that is always orthogonal to the line-of-sight direction SL. This reference surface BS corresponds to the surface on which the stereoscopic printed material is placed during stereoscopic viewing. The reference plane is not limited to two, and three or more reference planes (a plurality of linked reference planes) may be used.

次に、第2の物体OB2についての第2の左目用画像IL2、第2の右目用画像IR2を取得する(ステップS2)。具体的には、図2(B)に示すように基準面BSに第2の物体OB2を配置(設定)する。例えば被写体となる物体OB2(オブジェクト、浮遊物体、浮遊オブジェクト)を基準面BSとなる台(白い台紙が置かれた台)の上に置く。そして左目用視点位置VPLから見える左目用画像IL2と、右目用視点位置VPRから見える右目用画像IR2を取得する。例えば、カメラによる実写により左目用、右目用画像IL2、IR2を作成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL2、IR2を撮影する。一方、CG画像やゲーム画像を生成するシステムにより左目用、右目用画像IL2、IR2を生成する場合には、これらのVPL、VPRの位置に仮想カメラを配置して左目用、右目用画像IL2、IR2を生成する。   Next, a second left-eye image IL2 and a second right-eye image IR2 for the second object OB2 are acquired (step S2). Specifically, as shown in FIG. 2B, the second object OB2 is arranged (set) on the reference plane BS. For example, an object OB2 (object, floating object, floating object) that is a subject is placed on a table that serves as a reference plane BS (a table on which a white mount is placed). Then, a left-eye image IL2 that is visible from the left-eye viewpoint position VPL and a right-eye image IR2 that is visible from the right-eye viewpoint position VPR are acquired. For example, when the left-eye and right-eye images IL2 and IR2 are created by actual shooting by the camera, the cameras are arranged at these VPL and VPR positions, and the left-eye and right-eye images IL2 and IR2 are photographed. On the other hand, when the left-eye and right-eye images IL2 and IR2 are generated by a system that generates CG images and game images, virtual cameras are arranged at the positions of these VPL and VPR, and the left-eye and right-eye images IL2, IR2 is generated.

次に図3のA1に示すように、ステップS1で取得された物体OB1についての左目用画像IL1と、ステップS2で取得された物体OB2についての左目用画像IL2を合成して、第3の左目用画像IL3を生成(作成、取得)する(ステップS3)。   Next, as shown in A1 of FIG. 3, the left-eye image IL1 for the object OB1 acquired in step S1 and the left-eye image IL2 for the object OB2 acquired in step S2 are combined to form the third left-eye. A production image IL3 is generated (created and acquired) (step S3).

具体的には、例えば、左目用画像IL1が格納されるレイヤ(第1の左目用レイヤ)と、左目用画像IL2が格納されるレイヤ(第1の左目用レイヤの上層の第2の左目用レイヤ)とを、レイヤ合成(統合)して、左目用画像IL3を生成する。更に具体的には、左目用画像IL1のうち物体OB1の画像以外の画像をトリミングすると共に、左目用画像IL2のうち物体OB2の画像以外の画像をトリミングし、トリミング後の左目用画像IL1が格納されるレイヤと、トリミング後の左目用画像IL2が格納されるレイヤを、レイヤ合成する。   Specifically, for example, a layer in which the left-eye image IL1 is stored (first left-eye layer) and a layer in which the left-eye image IL2 is stored (for the second left eye above the first left-eye layer) Layer) is combined (integrated) to generate a left-eye image IL3. More specifically, an image other than the image of the object OB1 in the left-eye image IL1 is trimmed, and an image other than the image of the object OB2 in the left-eye image IL2 is trimmed, and the trimmed left-eye image IL1 is stored. And the layer in which the trimmed left-eye image IL2 is stored are combined.

次に図3のA2に示すように、ステップS1で取得された物体OB1についての右目用画像IR1と、ステップS2で取得された物体OB2についての右目用画像IR2を合成して、第3の右目用画像IR3を生成(作成、取得)する(ステップS4)。   Next, as shown in A2 of FIG. 3, the right-eye image IR1 for the object OB1 acquired in step S1 and the right-eye image IR2 for the object OB2 acquired in step S2 are combined to form the third right-eye. A production image IR3 is generated (created and acquired) (step S4).

具体的には、例えば、右目用画像IR1が格納されるレイヤ(第1の右目用レイヤ)と、右目用画像IR2が格納されるレイヤ(第1の右目用レイヤの上層の第2の右目用レイヤ)とを、レイヤ合成(統合)して、右目用画像IR3を生成する。更に具体的には、右目用画像IR1のうち物体OB1の画像以外の画像をトリミングすると共に、右目用画像IR2のうち物体OB2の画像以外の画像をトリミングし、トリミング後の右目用画像IR1が格納されるレイヤと、トリミング後の右目用画像IR2が格納されるレイヤを、レイヤ合成する。   Specifically, for example, a layer storing the right-eye image IR1 (first right-eye layer) and a layer storing the right-eye image IR2 (for the second right eye above the first right-eye layer) Layer) is combined (integrated) to generate a right-eye image IR3. More specifically, the image other than the image of the object OB1 in the right-eye image IR1 is trimmed, and the image other than the image of the object OB2 in the right-eye image IR2 is trimmed, and the trimmed right-eye image IR1 is stored. The layer to be combined with the layer in which the trimmed right-eye image IR2 is stored.

次に図3のA3に示すように、ステップS3で生成された左目用画像IL3と、ステップS4で生成された右目用画像IR3に基づいて、立体視用画像ISTを生成(作成)する(ステップS5)。具体的には、例えば、左目用画像IL3と右目用画像IR3とに基づきアナグリフ処理などを行って立体視用画像ISTを生成する。   Next, as shown at A3 in FIG. 3, a stereoscopic image IST is generated (created) based on the left-eye image IL3 generated in step S3 and the right-eye image IR3 generated in step S4 (step) S5). Specifically, for example, an anaglyph process is performed based on the left-eye image IL3 and the right-eye image IR3 to generate the stereoscopic image IST.

そして図1のステップS5で生成された立体視用画像を、インクジェット方式やレーザプリンタ方式などのカラープリンタ(広義には印刷機)を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ(印刷機)により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。   Then, the stereoscopic image generated in step S5 in FIG. 1 is printed on a print medium using a color printer (printer in a broad sense) such as an ink jet method or a laser printer method, so that a stereoscopic printed matter is obtained. Can be manufactured. In addition, you may manufacture the printed material for stereoscopic vision by duplicating the printed material for stereoscopic vision used as the original disc printed by the color printer (printing machine). In this way, there is an advantage that a large amount of stereoscopic printed material can be manufactured in a short period of time.

そしてこのように製造された立体視用印刷物を、例えば左目に赤色フィルタ(赤以外のフィルタでもよい)が設けられ、右目に青色(ターコイズ色)フィルタ(青以外のフィルタでもよい)が設けられた立体視用眼鏡で見ることで、立体視を実現できる。なお、印刷物にレンチキュラーレンズを設けたり、印刷媒体としてレンチキュラーレンズを用いることで、立体視を実現してもよい。   Then, the stereoscopic print manufactured in this way is provided with, for example, a red filter (may be a filter other than red) on the left eye and a blue (turquoise) filter (may be a filter other than blue) on the right eye. Stereoscopic viewing can be realized by viewing with stereoscopic glasses. Note that stereoscopic viewing may be realized by providing a lenticular lens on the printed material or using a lenticular lens as a print medium.

また立体視用画像を、画像生成システムの表示部に表示すれば、ゲーム画像(動画像)のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ(赤、青)が設けられた眼鏡(広義には器具)を用いて見るようにしてもよい。或いは、左目用、右目用画像IL3、IR3を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッタ等が設けられた眼鏡を用いて見るようにしてもよい。或いは画像生成システムの表示部にレンチキュラーレンズを設けて、立体視を実現してもよい。   If the stereoscopic image is displayed on the display unit of the image generation system, a game image (moving image) can be generated in real time. In this case, a stereoscopic image obtained by anaglyph processing or the like is directly displayed on the display unit, and this is viewed using glasses (equipment in a broad sense) provided with color filters (red and blue). You may do it. Alternatively, the left-eye and right-eye images IL3 and IR3 may be alternately displayed in different frames, for example, on the display unit and viewed using glasses equipped with a liquid crystal shutter or the like. Alternatively, a stereoscopic view may be realized by providing a lenticular lens in the display unit of the image generation system.

以上の本実施形態の立体視手法によれば、図2(A)、図2(B)に示すように、カメラ等により別個に取得(撮影)した物体OB1とOB2の画像を合成して、これらの物体OB1、OB2が立体的に映る立体視用画像を生成できる。   According to the above-described stereoscopic viewing method of the present embodiment, as shown in FIGS. 2A and 2B, the images of the objects OB1 and OB2 obtained (captured) separately by a camera or the like are combined, A stereoscopic image in which these objects OB1 and OB2 are stereoscopically displayed can be generated.

例えば図2(A)では、物体OB1はベースとなる物体として想定され、物体OB2は物体OB1の上方に浮かぶ浮遊物体として想定されている。具体的には、物体OB2を、支え棒等により支えることで浮遊させて、物体OB2を撮影する。この場合に、左目用画像IL2、右目用画像IR2には、物体OB2の他に、支え棒やOB2の影SDが撮影されるようになる。   For example, in FIG. 2A, the object OB1 is assumed as a base object, and the object OB2 is assumed as a floating object floating above the object OB1. Specifically, the object OB2 is floated by being supported by a support bar or the like, and the object OB2 is photographed. In this case, in the left-eye image IL2 and the right-eye image IR2, in addition to the object OB2, a support rod and a shadow SD of OB2 are captured.

このように、ベースとなる物体OB1の上方に物体OB2が浮遊している様子を表現する立体視用画像を、1回の撮影だけで生成することは困難である。このため図2(A)、図2(B)では、物体OB1についての撮影と物体OB2についての撮影を2回に分けている。   As described above, it is difficult to generate a stereoscopic image that represents a state in which the object OB2 is floating above the base object OB1 by only one shooting. For this reason, in FIG. 2A and FIG. 2B, photographing for the object OB1 and photographing for the object OB2 are divided into two times.

この場合、例えば図2(A)で得られた左目用画像IL1、右目用画像IR1により第1の立体視用画像を生成し、図2(B)で得られた左目用画像IL2、右目用画像IR2により第2の立体視用画像を生成し、これらの第1、第2の立体視用画像を合成しても、物体OB1、OB2についての適正な立体視を実現できないことが判明した。   In this case, for example, a first stereoscopic image is generated from the left-eye image IL1 and the right-eye image IR1 obtained in FIG. 2A, and the left-eye image IL2 and the right-eye image obtained in FIG. It has been found that even when a second stereoscopic image is generated from the image IR2 and the first and second stereoscopic images are combined, proper stereoscopic viewing of the objects OB1 and OB2 cannot be realized.

そこで本実施形態では、まず、図2(A)で得られた左目用画像IL1と図2(B)で得られた左目用画像IL2を合成する。また図2(A)で得られた右目用画像IR1と図2(B)で得られた右目用画像IR2を別個に合成する。そして図3のA1、A2、A3に示すように、合成により得られた左目用画像IL3と右目用画像IR3に基づいて、立体視用画像ISTを生成する。即ち、それぞれの物体OB1、OB2の画像ごとに左右別々にレイヤにしたものを、左右別々に統合してからアナグリフ処理を行う。   Therefore, in the present embodiment, first, the left-eye image IL1 obtained in FIG. 2A and the left-eye image IL2 obtained in FIG. Further, the image for right eye IR1 obtained in FIG. 2A and the image for right eye IR2 obtained in FIG. Then, as shown in A1, A2, and A3 of FIG. 3, a stereoscopic image IST is generated based on the left-eye image IL3 and the right-eye image IR3 obtained by the synthesis. That is, the anaglyph processing is performed after the left and right layers separately for each image of the objects OB1 and OB2 are integrated separately.

このようにすれば、物体OB1、OB2の両方が映った適正な立体視用画像を得ることが可能になる。即ち物体OB1、OB2の両方の立体視について適正に表現された立体視用画像を得ることできる。また、例えば物体OB1の上に浮遊する物体OB2のように、1回の撮影では生成することが難しい立体視用画像の生成も可能になる。   In this way, it is possible to obtain an appropriate stereoscopic image in which both the objects OB1 and OB2 are reflected. In other words, it is possible to obtain a stereoscopic image that is appropriately expressed for the stereoscopic vision of both the objects OB1 and OB2. In addition, it is possible to generate a stereoscopic image that is difficult to generate by one shooting, such as an object OB2 floating on the object OB1.

2.補正処理
本実施形態では左目用画像、右目用画像に対して以下のような補正処理を行うことが望ましい。具体的には、基準面BSでの画像のパースペクティブ(遠近感)を無くすための補正処理を、図1のステップS1で取得された左目用画像IL1、右目用画像IR1や、ステップS2で取得された左目用画像IL2、右目用画像IR2に対して行う。そしてステップS3では、補正処理後の左目用画像IL1と補正処理後の左目用画像IL2を合成して、左目用画像IL3を生成する。またステップS4では、補正処理後の右目用画像IR1と補正処理後の右目用画像IR2を合成して、右目用画像IR3を生成する。
2. Correction Processing In the present embodiment, it is desirable to perform the following correction processing on the left-eye image and the right-eye image. Specifically, the correction processing for eliminating the perspective of the image on the reference plane BS is acquired in the left-eye image IL1 and the right-eye image IR1 acquired in step S1 of FIG. 1 or in step S2. For the left-eye image IL2 and the right-eye image IR2. In step S3, the corrected left eye image IL1 and the corrected left eye image IL2 are combined to generate a left eye image IL3. In step S4, the right-eye image IR1 after correction processing and the right-eye image IR2 after correction processing are combined to generate a right-eye image IR3.

ここで、本実施形態におけるパースペクティブを無くす補正処理とは、例えば基準面BSでの画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理である。この補正処理は輻輳角の補正処理を含んでもよい。より具体的には、この補正処理は、図4(A)に示すように、基準面BS自体の画像や、基準面に描かれている画像IM1や、物体OB1、OB2(オブジェクト)の画像のうち基準面BSに接する部分の画像についてのパースペクティブ(奥行き感)を無くす処理である。即ち図4(A)のB1では、視点から奥側に行くほど、頂点間の距離が狭まるが、図4(A)のB2では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面BSの画像については、あたかも真上から見たような画像が作成(生成)されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。   Here, the correction process for eliminating the perspective in the present embodiment is, for example, a correction process for eliminating the perspective at least in the depth direction of the image on the reference plane BS. This correction process may include a convergence angle correction process. More specifically, as shown in FIG. 4A, this correction processing is performed on an image of the reference plane BS itself, an image IM1 drawn on the reference plane, and images of the objects OB1 and OB2 (objects). Of these, it is a process of eliminating the perspective (depth feeling) for the image of the part in contact with the reference plane BS. That is, in B1 of FIG. 4A, the distance between the vertices becomes narrower as it goes from the viewpoint to the back side, but in B2 of FIG. 4A, the distance between the vertices changes even if it goes from the viewpoint to the back side. Absent. By performing such correction processing, an image as if viewed from directly above is created (generated) for the image of the reference surface BS. Note that the perspective does not need to be completely eliminated by this correction process, and it is sufficient that the perspective disappears to such an extent that a sense of incongruity does not occur.

例えば従来の一般的な立体視手法では図4(B)に示すように、立体視用印刷物PM(或いは表示部の表示画面。他の説明でも同様)を、その面が鉛直面に対して平行になるように配置し、観者が、立体視用印刷物PMを正対して見ることが想定されていた。   For example, in a conventional general stereoscopic method, as shown in FIG. 4B, a stereoscopic printed matter PM (or a display screen of a display unit; the same applies to other explanations), the plane of which is parallel to the vertical plane. It was assumed that the viewer would see the stereoscopic printed material PM facing the person.

この点、図4(A)の補正処理を行う立体視手法では、図4(C)に示すように、観者が、立体視用印刷物PM(表示画面)を机などの載置面(基準面BSに対応する面)に配置して斜めから見ることを想定している。即ち、このような配置がデフォルトの配置となる。そして、このように水平面に平行に立体視用印刷物PMを配置した場合に、補正処理を行わないと、遠近感に矛盾が生じる。   In this regard, in the stereoscopic viewing method in which the correction processing of FIG. 4A is performed, as shown in FIG. 4C, the viewer places the stereoscopic printed matter PM (display screen) on a mounting surface (reference) such as a desk. It is assumed that they are arranged on a surface corresponding to the surface BS and viewed from an oblique direction. That is, such an arrangement is a default arrangement. When the stereoscopic printed matter PM is arranged in parallel to the horizontal plane in this way, if the correction process is not performed, a contradiction occurs in the perspective.

そこで図4(A)では、基準面の画像の少なくとも奥行き方向でのパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の画像に基づいて、アナグリフ処理等を行い、立体視用印刷物PMを作成し、作成された立体視用印刷物PMを図4(C)のように水平面に平行に配置すれば、基準面の画像には適正なパースペクティブがつくようになる。また、図4(C)のように配置すれば、立体視用印刷物PMの面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。   Therefore, in FIG. 4A, correction processing is performed to eliminate the perspective in at least the depth direction of the image of the reference plane. Then, anaglyph processing or the like is performed based on the corrected image without the perspective on the reference plane to create a stereoscopic printed matter PM, and the created stereoscopic printed matter PM is horizontal as shown in FIG. If they are arranged in parallel, the image of the reference plane has an appropriate perspective. Further, when arranged as shown in FIG. 4C, the focal lengths of the respective points on the surface of the stereoscopic printed matter PM are not the same but different. For this reason, the focus adjustment is similar to that in the real world. Therefore, the shift in the relationship between the focus adjustment and the binocular parallax and the convergence is reduced, and a more natural and realistic stereoscopic vision can be realized.

3.アナグリフ処理
次にアナグリフ処理について簡単に説明する。アナグリフ処理では、1枚の印刷媒体に、左目用画像と右目用画像を色を変えて印刷して、立体視用印刷物を作成する。そしてこの立体視用印刷物を、左右の目で異なる色フィルタ(例えば左目が赤、右目が青)を介して見る。この時に、左目では左目用画像だけが見え、右目では右目用画像だけが見えるようになり、立体視が実現される。
3. Anaglyph Processing Next, anaglyph processing will be briefly described. In the anaglyph process, the left-eye image and the right-eye image are printed on a single print medium with different colors to create a stereoscopic print. The stereoscopic print is viewed through different color filters (for example, the left eye is red and the right eye is blue) between the left and right eyes. At this time, only the image for the left eye can be seen with the left eye, and only the image for the right eye can be seen with the right eye, thereby realizing stereoscopic viewing.

例えばモノクロのアナグリフ処理では、左目用画像IL3をグレースケールに変換する。そして変換後の画像データをアナグリフ画像(RGB)のRチャンネルにコピーする。次に、右目用画像IR3をグレースケールに変換する。そして変換後の画像データを、アナグリフ画像(RGB)のGチャンネルとBチャンネルにコピーする。これにより、モノクロのアナグリフ画像が作成される。なお、右目用画像をBチャンネルだけにコピーするようにしてもよい。   For example, in monochrome anaglyph processing, the image for the left eye IL3 is converted to gray scale. Then, the converted image data is copied to the R channel of the anaglyph image (RGB). Next, the right-eye image IR3 is converted into a gray scale. Then, the converted image data is copied to the G channel and B channel of the anaglyph image (RGB). Thereby, a monochrome anaglyph image is created. Note that the right-eye image may be copied only to the B channel.

またカラーのアナグリフ処理では、レイヤ統合により得られた左目用画像IL3のRチャンネルを、同じくレイヤ統合により得られた右目用画像IR3のRチャネルにコピー(上書き)する。そしてこのようにIL3がRチャネルにコピーされた右目用画像IR3が、立体視用画像ISTであるアナグリフ完成画像になる。   In color anaglyph processing, the R channel of the left-eye image IL3 obtained by layer integration is copied (overwritten) to the R channel of the right-eye image IR3 obtained by the same layer integration. The right-eye image IR3 in which IL3 is copied to the R channel in this way becomes an anaglyph completed image that is the stereoscopic image IST.

なお、立体視の実現手法は、少なくとも、左目用画像と右目用画像を用いて実現されるものであればよく、アナグリフ処理に限定されない。例えばレンチキュラーレンズと呼ばれる特殊なレンズを使って、左目には左目用画像の像だけが入り、右目には右目用画像の像だけが入るようにして、立体視を実現してもよい。   Note that the method for realizing the stereoscopic view is not limited to the anaglyph process as long as it is realized using at least the left-eye image and the right-eye image. For example, a special lens called a lenticular lens may be used to realize stereoscopic viewing so that only the image for the left eye enters the left eye and only the image for the right eye enters the right eye.

また左目用画像、右目用画像の前に偏光板を配置し、左目用画像の前に置かれた偏光板と右目用画像の前に置かれた偏光板とで、偏向方向を異ならせておく。そして、それに応じた偏向方向を持つ偏光板をレンズ部分に取り付けた眼鏡を観者がかけることで、立体視を実現してもよい。   In addition, a polarizing plate is disposed in front of the left-eye image and the right-eye image, and the polarizing direction is different between the polarizing plate placed in front of the left-eye image and the polarizing plate placed in front of the right-eye image. . Then, stereoscopic viewing may be realized by the viewer wearing spectacles in which a polarizing plate having a deflection direction corresponding thereto is attached to the lens portion.

また左目用画像と右目用画像を、例えばフレームを異ならせて交互に表示する。そして左目用画像の表示に同期して開く左目用のシャッター(例えば液晶シャッター)と、右目用画像の表示に同期して開く右目用のシャッターが設けられた眼鏡を観者がかけることで、立体視を実現してもよい。   Also, the left-eye image and the right-eye image are displayed alternately, for example, with different frames. Then, the viewer wears glasses equipped with a shutter for the left eye (for example, a liquid crystal shutter) that opens in synchronization with the display of the image for the left eye and a shutter for the right eye that opens in synchronization with the display of the image for the right eye. Visualization may be realized.

4.詳細例
次に本実施形態の立体視手法の詳細例について、図5、図6のフローチャート等を用いて説明する。なお本実施形態の立体視手法はこの詳細例に限定されるものではない。
4). Detailed Example Next, a detailed example of the stereoscopic viewing method of the present embodiment will be described with reference to the flowcharts of FIGS. Note that the stereoscopic viewing method of the present embodiment is not limited to this detailed example.

まず、ベース物体(OB1)の左目用画像IL1と右目用画像IR1を撮影する(ステップS11)。図7にベース物体の左目用画像IL1の例を示し、図8にベース物体の右目用画像IR1の例を示す。図7、図8においてベース物体は楕円状の物体になっている。   First, the left eye image IL1 and the right eye image IR1 of the base object (OB1) are photographed (step S11). FIG. 7 shows an example of the base object left-eye image IL1, and FIG. 8 shows an example of the base object right-eye image IR1. 7 and 8, the base object is an elliptical object.

次に、浮遊物体(OB2)の左目用画像IL2と右目用画像IR2を撮影する(ステップS12)。図9に浮遊物体の左目用画像IL2の例を示し、図10に浮遊物体の右目用画像IR2の例を示す。図9、図10において浮遊物体はガムなどの物体である。   Next, the left-eye image IL2 and the right-eye image IR2 of the floating object (OB2) are photographed (step S12). FIG. 9 shows an example of the left-eye image IL2 of the floating object, and FIG. 10 shows an example of the right-eye image IR2 of the floating object. 9 and 10, the floating object is an object such as gum.

次に、基準面での画像のパースペクティブを無くすための補正処理をベース物体の左目用画像IL1、右目用画像IR1に対して行う(ステップS13)。即ち図4(A)で説明した補正処理を行う。そして補正処理後の左目用画像IL1、右目用画像IR1のうちベース物体の画像以外の画像をトリミングする(ステップS14)。即ちベース物体の画像以外の画像を切り取って、ベース物体の画像のみを残す。   Next, correction processing for eliminating the perspective of the image on the reference plane is performed on the left-eye image IL1 and the right-eye image IR1 of the base object (step S13). That is, the correction process described with reference to FIG. Then, the image other than the base object image is trimmed from the image for left eye IL1 and the image for right eye IR1 after the correction process (step S14). That is, an image other than the base object image is cut out to leave only the base object image.

次に、補正処理後の浮遊物体のIL2やIR2の画像を参考にして、影画像を作成する(ステップS15)。即ち図9、図10に示すように、浮遊物体の左目用画像IL2、右目用画像IR2では、その浮遊物体の影も撮影されている。これらの撮影された影を参考にして、図11に示すような影画像(複数の影が映った影画像)を作成する。   Next, a shadow image is created with reference to the IL2 and IR2 images of the floating object after the correction process (step S15). That is, as shown in FIGS. 9 and 10, the shadow of the floating object is also photographed in the left-eye image IL2 and the right-eye image IR2 of the floating object. With reference to these photographed shadows, a shadow image (a shadow image showing a plurality of shadows) as shown in FIG. 11 is created.

このような影画像を作成した後に、補正処理後の左目用画像IL2、右目用画像IR2のうち浮遊物体の画像以外の画像をトリミングする(ステップS16)。即ち図12に示すように、浮遊物体の画像以外の画像(下地の画像、影画像等)を切り取って、浮遊物体の画像のみを残す。   After such a shadow image is created, an image other than the floating object image is trimmed from the corrected left-eye image IL2 and right-eye image IR2 (step S16). That is, as shown in FIG. 12, images other than the floating object image (background image, shadow image, etc.) are cut out and only the floating object image is left.

次に、ベース物体の左目用画像IL1と浮遊物体の左目用画像IL2をレイヤ合成して作成した左目用画像IL3と、ベース物体の右目用画像IR1と浮遊物体の右目用画像IR2をレイヤ合成して作成した右目用画像IR3に基づいて、アナグリフ処理を行い、確認用の立体視用画像を作成する(ステップS17)。そして確認用の立体視用画像を参考にして、左目用画像と右目用画像の左右のずれ具合の調整(両眼視差調整)を行い、立体視における高さ、位置の調整を行う(ステップS18)。そして、適正な高さ、位置になるまで調整を繰り返す(ステップS19)。なおこれらの調整の詳細については後述する。   Next, the left eye image IL3 created by layer combining the base object left eye image IL1 and the floating object left eye image IL2, the base object right eye image IR1, and the floating object right eye image IR2 are layer combined. Based on the right-eye image IR3 created in this way, an anaglyph process is performed to create a stereoscopic image for confirmation (step S17). Then, referring to the confirmation stereoscopic image, the left-right image and the right-eye image are adjusted to adjust the left / right displacement (binocular parallax adjustment) to adjust the height and position in the stereoscopic view (step S18). ). The adjustment is repeated until the proper height and position are reached (step S19). Details of these adjustments will be described later.

調整が完了すると、作成された影画像のうちベース物体上の1個の影の画像を、左目用、右目用の各レイヤに挿入する(ステップS20)。そして影が落ちる場所でのベース物体の左目用画像、右目用画像の左右のずれ幅(両眼視差情報)を取得する(ステップS21)。そして取得された左右のずれ幅に基づいて左目用、右目用の影画像を右方向又は左方向に移動して両眼視差調整を行う(ステップS22)。この際に照明方向も考慮する。   When the adjustment is completed, one shadow image on the base object among the created shadow images is inserted into each layer for the left eye and the right eye (step S20). Then, a left-right shift width (binocular parallax information) between the left-eye image and the right-eye image of the base object at the place where the shadow falls is acquired (step S21). Then, binocular parallax adjustment is performed by moving the left-eye and right-eye shadow images in the right direction or the left direction based on the obtained left-right shift width (step S22). At this time, the illumination direction is also taken into consideration.

次に、浮遊物体の高さ情報に応じたぼかし処理を影画像に対して行う(ステップS23)。そしてベース物体上の全ての影に対して、ステップS20〜S23の処理を行う(ステップS24)。なお、これらの影画像の生成、調整の詳細については後述する。   Next, a blurring process according to the height information of the floating object is performed on the shadow image (step S23). Then, the processes of steps S20 to S23 are performed on all the shadows on the base object (step S24). Details of generation and adjustment of these shadow images will be described later.

次に、背景画像を背景用のレイヤに挿入する(ステップS25)。図13に、左目用画像IL1、IL2に対して背景画像を挿入した画像例を示す。図13では、背景画像に対してグラディエーション処理が施されている。   Next, the background image is inserted into the background layer (step S25). FIG. 13 shows an image example in which a background image is inserted into the left-eye images IL1 and IL2. In FIG. 13, a gradient process is performed on the background image.

次に、背景上の影の画像について両眼視差調整やぼかし処理を行う(ステップS26)。例えば背景上の影については、ベース物体上の影の最大ずらし幅で、左方向又は右方向にずらす。図14に、立体視の高さ調整や影の処理が完了し、レイヤ合成された左目用画像IL3の例を示し、図15に、立体視の高さ調整や影の処理が完了し、レイヤ合成された右目用画像IR3の例を示す。   Next, binocular parallax adjustment and blurring processing are performed on the shadow image on the background (step S26). For example, the shadow on the background is shifted leftward or rightward with the maximum shift width of the shadow on the base object. FIG. 14 shows an example of the left-eye image IL3 that has been subjected to stereoscopic height adjustment and shadow processing and has undergone layer synthesis. FIG. 15 illustrates that stereoscopic height adjustment and shadow processing have been completed, An example of the synthesized right-eye image IR3 is shown.

次に、図14のレイヤ合成後の左目用画像IL3と図15のレイヤ合成後の右目用画像IR3に基づいてステップS17と同様の処理を行い、アナグリフ処理により立体視用画像ISTを作成する(ステップS27)。図16に、作成された立体視用画像ISTの例を示す。図16の立体視用画像ISTは、図14の左目用画像IL3のR(赤)チャネルを、図15の右目用画像IR3のRチャネルにコピー(上書き)することで、作成できる。   Next, processing similar to step S17 is performed based on the left-eye image IL3 after layer synthesis in FIG. 14 and the right-eye image IR3 after layer synthesis in FIG. 15, and a stereoscopic image IST is created by anaglyph processing ( Step S27). FIG. 16 shows an example of the created stereoscopic image IST. The stereoscopic image IST in FIG. 16 can be created by copying (overwriting) the R (red) channel of the left-eye image IL3 in FIG. 14 to the R channel of the right-eye image IR3 in FIG.

最後に、ステップS27で作成された立体視用画像ISTに対して、両眼視差の無いロゴや文字などの画像を合成する(ステップS28)。図17にロゴや文字の画像の合成後の立体視用画像ISTの例を示す。   Finally, an image such as a logo or a character having no binocular parallax is synthesized with the stereoscopic image IST created in step S27 (step S28). FIG. 17 shows an example of a stereoscopic image IST after the synthesis of a logo or character image.

5.調整処理
次に図5のステップS17〜S19の調整処理について具体的に説明する。
5). Adjustment Processing Next, the adjustment processing in steps S17 to S19 in FIG. 5 will be specifically described.

図18(A)はベースの物体OB1をカメラで撮影した時の様子を示す図である。図18(A)ではベース物体OB1を基準面BSに置いてカメラで撮影しているため、基準面BSはC1に示す高さになっている。   FIG. 18A is a diagram showing a state when the base object OB1 is photographed with a camera. In FIG. 18A, since the base object OB1 is placed on the reference plane BS and taken by the camera, the reference plane BS has a height indicated by C1.

一方、図17に示すようなロゴや文字などの画像(以下、ロゴ画像と呼ぶ)を合成した場合に、ロゴ画像には両眼視差が無いため(左目用と右目用が同一画像であるため)、立体視時には、ロゴ画像は図18(A)のC1に示す基準面BSの高さに存在しているように見える。従って、想定している位置よりも低い位置にロゴ画像が見えてしまい、自然でインパクトのあるロゴ画像を生成できないという課題がある。   On the other hand, when images such as logos and characters (hereinafter referred to as logo images) as shown in FIG. 17 are combined, the binocular parallax does not exist in the logo image (because the left eye and the right eye are the same image). ), During stereoscopic viewing, the logo image appears to be present at the height of the reference plane BS indicated by C1 in FIG. Therefore, there is a problem that the logo image can be seen at a position lower than the assumed position, and a natural and impactful logo image cannot be generated.

このような課題を解決するために、図5のステップS17〜S19では両眼視差の調整処理を行っている。例えば物体OB1の左目用画像IL1、右目用画像IR1に対して両眼視差調整を行って、立体視における物体OB1についての基準面の高さ調整を行う。具体的には、図18(B)のC2に示すように、図18(A)のC1に示す撮影時の基準面BSよりも上方に基準面BS’が設定されるように、両眼視差の調整処理を行う。   In order to solve such a problem, binocular parallax adjustment processing is performed in steps S17 to S19 in FIG. For example, the binocular parallax adjustment is performed on the left-eye image IL1 and the right-eye image IR1 of the object OB1 to adjust the height of the reference plane for the object OB1 in stereoscopic view. Specifically, as shown by C2 in FIG. 18B, the binocular parallax is set such that the reference plane BS ′ is set above the reference plane BS at the time of shooting shown in C1 of FIG. Perform the adjustment process.

このようにすれば図17に示すロゴ画像が、立体視時に、図18(B)のC2に示す基準面BS’の高さに存在してるように見えるようになり、自然でインパクトのあるロゴ画像を生成できる。   In this way, the logo image shown in FIG. 17 appears to exist at the height of the reference plane BS ′ shown by C2 in FIG. An image can be generated.

なお図18(A)、図18(B)では、ベース物体OB1の基準面の高さ調整について説明したが、浮遊物体OB2の基準面の高さ調整を行ってもよい。この場合には、左目用画像IL2、右目用画像IR2に対して両眼視差調整を行って、物体OB2の立体視における基準面からの高さ調整を行う。このようにすれば、物体OB2が浮遊する高さについても調整することが可能になり、より高品質な立体視用画像を生成できる。   18A and 18B, the height adjustment of the reference plane of the base object OB1 has been described. However, the height adjustment of the reference plane of the floating object OB2 may be performed. In this case, binocular parallax adjustment is performed on the left-eye image IL2 and the right-eye image IR2, and the height of the object OB2 from the reference plane in the stereoscopic view is adjusted. In this way, the height at which the object OB2 floats can be adjusted, and a higher-quality stereoscopic image can be generated.

またこの場合の両眼視差調整は、図18(C)に示すように、左目用画像IL(IL1、IL2)を、左方向又は右方向のいずれか一方の方向にずらし、右目用画像IR(IR1、IR2)を、一方とは異なる他方の方向にずらすことで実現できる。   In this case, the binocular parallax adjustment is performed by shifting the left-eye image IL (IL1, IL2) in either the left direction or the right direction, as shown in FIG. IR1, IR2) can be realized by shifting in the other direction different from one.

例えば物体OB(OB1、OB2)を高い位置に移動する調整を行う場合(基準面を低くする調整を行う場合)には、左目用画像ILを右方向にずらし、右目用画像IRを左方向にずらせばよい。一方、物体OBを低い位置に移動する調整を行う場合(基準面を高くする調整を行う場合)には、左目用画像ILを左方向にずらし、右目用画像IRを右方向にずらせばよい。   For example, when performing adjustment to move the object OB (OB1, OB2) to a higher position (when performing adjustment to lower the reference plane), the left-eye image IL is shifted to the right and the right-eye image IR is moved to the left. Just shift it. On the other hand, when performing adjustment to move the object OB to a lower position (when performing adjustment to increase the reference plane), the left-eye image IL may be shifted to the left and the right-eye image IR may be shifted to the right.

例えば従来の一般的な立体視手法において、このような左右方向のずらし幅の調整を行っても、適正な両眼視差調整を実現できない。即ち従来の立体視手法により適正な立体視用画像を得るためには、例えば上下方向のずらし幅の調整等も必要になり、両眼視差調整が複雑になる。   For example, in the conventional general stereoscopic method, even if such a horizontal shift width adjustment is performed, an appropriate binocular parallax adjustment cannot be realized. That is, in order to obtain an appropriate stereoscopic image by the conventional stereoscopic method, for example, adjustment of the vertical shift width is necessary, and binocular parallax adjustment becomes complicated.

これに対して、図4(A)の手法では、両眼視差は左右方向のずらし幅で決まるため、左右方向のずらし幅を調整するだけで、適正な両眼視差調整を実現できる。従って、図2(A)、図2(B)に示すように、複数回のカメラ撮影で得られた画像を合成した立体視用画像を生成する場合に、物体OB1、OB2間の立体視における高さ調整を簡素に実現できるという利点がある。   On the other hand, in the method of FIG. 4A, since the binocular parallax is determined by the shift width in the left-right direction, appropriate binocular parallax adjustment can be realized only by adjusting the shift width in the left-right direction. Therefore, as shown in FIG. 2A and FIG. 2B, when generating a stereoscopic image by combining images obtained by a plurality of times of camera photography, in stereoscopic viewing between the objects OB1 and OB2. There is an advantage that the height adjustment can be realized simply.

なおロゴ画像(ロゴ、文字の画像)として両眼視差のある画像を用いてもよい。具体的には左目用ロゴ画像と右目用ロゴ画像を用意する。そして左目用ロゴ画像と第1、第2の左目用画像IL1、IL2を合成(レイヤ合成)して、第3の左目用画像IL3を生成し、右目用ロゴ画像と第1、第2の右目用画像IR1、IR2を合成(レイヤ合成)して、第3の右目用画像IR3を生成する。このようにすれば、ロゴや文字についても立体的に見える立体視用画像を生成できる。   An image having binocular parallax may be used as a logo image (logo, character image). Specifically, a left-eye logo image and a right-eye logo image are prepared. Then, the left-eye logo image and the first and second left-eye images IL1 and IL2 are synthesized (layer synthesis) to generate a third left-eye image IL3. The right-eye logo image and the first and second right-eye images The image images IR1 and IR2 are combined (layer combination) to generate a third right-eye image IR3. In this way, it is possible to generate a stereoscopic image that looks stereoscopically with respect to logos and characters.

6.影画像
図2(B)に示すように浮遊する物体OB2の立体視用画像を生成する場合には、物体OB2の影SDについてもリアルに表現できることが望まれる。
6). Shadow Image When generating a stereoscopic image of the floating object OB2 as shown in FIG. 2B, it is desirable that the shadow SD of the object OB2 can be expressed realistically.

しかしながら物体OB2の撮影時には、物体OB2の支え棒についても撮影されてしまい、この支え棒が邪魔になって影SDの画像の一部が欠けてしまう場合がある。また図18(A)〜図18(C)に示すような基準面の高さ調整等を行うと、立体視における物体OB1、OB2間の高さ関係も変化してしまう。従って、図2(B)で撮影した影SDの画像を、そのまま使用することはできないという課題がある。   However, when the object OB2 is photographed, the support rod of the object OB2 is also photographed, and this support rod may become an obstacle and part of the shadow SD image may be lost. Further, when the height of the reference plane is adjusted as shown in FIGS. 18A to 18C, the height relationship between the objects OB1 and OB2 in stereoscopic view also changes. Accordingly, there is a problem that the shadow SD image captured in FIG. 2B cannot be used as it is.

そこで図6のステップS20〜S24、S26では、種々の調整処理を行いながら影画像を生成している。   Therefore, in steps S20 to S24 and S26 in FIG. 6, a shadow image is generated while performing various adjustment processes.

例えば本実施形態では物体OB2の影についての左目用影画像ISLと右目用影画像ISRを生成する。具体的には図6のステップS20に示すように、例えば影の画像を左目用、右目用の各レイヤに挿入することで、左目用影画像ISLと右目用影画像ISRを生成している。   For example, in the present embodiment, a left-eye shadow image ISL and a right-eye shadow image ISR for the shadow of the object OB2 are generated. Specifically, as shown in step S20 of FIG. 6, for example, a left-eye shadow image ISL and a right-eye shadow image ISR are generated by inserting a shadow image into each of the left-eye and right-eye layers.

そして左目用画像IL1、IL2と左目用影画像ISLを合成(レイヤ合成)することで、図14に示すような左目用画像IL3を生成する。また右目用画像IR1、IR2と右目用影画像ISRを合成(レイヤ合成)することで、図15に示すような右目用画像IR3を生成する。そしてこれらの左目用画像IL3、右目用画像IR3に基づいて、図16、図17に示すように、浮遊する物体OB2の影についてもリアルに表現された立体視用画像ISTを生成する。   Then, the left-eye image IL3 as shown in FIG. 14 is generated by synthesizing (layer synthesis) the left-eye images IL1 and IL2 and the left-eye shadow image ISL. Further, the right-eye image IR3 as shown in FIG. 15 is generated by combining (layer combining) the right-eye images IR1 and IR2 and the right-eye shadow image ISR. Based on the left-eye image IL3 and the right-eye image IR3, as shown in FIGS. 16 and 17, a stereoscopic image IST that realistically represents the shadow of the floating object OB2 is generated.

この場合に、より高品質な影を表現するためには、影画像の両眼視差や、距離に応じたぼけ具合についてもリアルに表現できることが望ましい。   In this case, in order to express a higher quality shadow, it is desirable that the binocular parallax of the shadow image and the degree of blur according to the distance can be expressed realistically.

例えば図19(A)において、浮遊する物体OB2-1の影SD1はD1に示す位置に落ちており、物体OB2-2の影SD2はD2に示す位置に落ちている。従って、影SD1の両眼視差は、D1に示す場所の高さに応じたものになることが望ましく、影SD2の両眼視差は、D2に示す場所の高さに応じたものになることが望ましい。即ち影SD1、SD2についての両眼視差が適正ではないと、立体視時にベースの物体OB1から浮いた位置に影SD1、SD2が浮かんで見えるようになり、不自然な立体視になってしまう。   For example, in FIG. 19A, the shadow SD1 of the floating object OB2-1 falls to the position indicated by D1, and the shadow SD2 of the object OB2-2 falls to the position indicated by D2. Therefore, it is desirable that the binocular parallax of the shadow SD1 is in accordance with the height of the place indicated by D1, and the binocular parallax of the shadow SD2 is in accordance with the height of the place indicated by D2. desirable. That is, if the binocular parallax for the shadows SD1 and SD2 is not appropriate, the shadows SD1 and SD2 appear to float at a position floating from the base object OB1 during stereoscopic viewing, resulting in unnatural stereoscopic viewing.

そこで図6のステップS21、S22では、物体OB1の両眼視差情報を取得し、取得された両眼視差情報に基づいて影画像の両眼視差調整を行っている。例えば、物体OB2の影が落ちる場所での両眼視差情報を、物体OB1の左目用画像IL1と右目用画像IR1に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像ISLと右目用影画像ISRに対して両眼視差調整を行う。   Therefore, in steps S21 and S22 of FIG. 6, binocular parallax information of the object OB1 is acquired, and binocular parallax adjustment of the shadow image is performed based on the acquired binocular parallax information. For example, binocular parallax information at a place where the shadow of the object OB2 falls is acquired based on the left-eye image IL1 and the right-eye image IR1 of the object OB1. Based on the acquired binocular parallax information, binocular parallax adjustment is performed on the left-eye shadow image ISL and the right-eye shadow image ISR.

例えば図20(A)は、左目用画像IL1、右目用画像IR1の一部を拡大して模式的に示した図であり、1つの四角が1ピクセル(1ドット)を表す。図20(A)の場所の画像パターンでは、IL1、IR1の画像の左右のずれ幅(ピクセル数、距離)はDLRになっている。従ってこの場所に影が落ちる場合には、図20(B)に示すように、図20(A)のずれ幅DLRに応じたずらし幅DL(ピクセル数)だけ、左目用影画像ISLを右方向(又は左方向)にずらす。またDLRに応じたずらし幅DR(ピクセル数)だけ、右目用影画像ISRを左方向(又は右方向)にずらす。このようにすれば、この場所でのIL1、IR1の両眼視差に応じたずらし幅DL、DRだけ、左目用影画像ISLと右目用影画像ISRがずれるようになり、この場所におけるIL1、IR1の両眼視差とISLとISRの両眼視差が一致するようになる。従って、立体視時にベース物体OB1から浮いた位置に影が見えてしまう事態を防止でき、より自然でリアルな影が表現された立体視を実現できる。   For example, FIG. 20A is a diagram schematically showing an enlarged part of the left-eye image IL1 and the right-eye image IR1, and one square represents one pixel (one dot). In the image pattern of the place in FIG. 20A, the left and right shift widths (number of pixels, distance) of the images of IL1 and IR1 are DLR. Therefore, when a shadow falls on this place, as shown in FIG. 20B, the left-eye shadow image ISL is moved in the right direction by the shift width DL (number of pixels) corresponding to the shift width DLR in FIG. (Or move left). Further, the right-eye shadow image ISR is shifted leftward (or rightward) by the shift width DR (number of pixels) corresponding to the DLR. In this way, the left-eye shadow image ISL and the right-eye shadow image ISR are shifted by the shift widths DL and DR corresponding to the binocular parallax of IL1 and IR1 at this location, and IL1 and IR1 at this location Thus, the binocular parallax of ISL and the binocular parallax of ISL and ISR coincide with each other. Therefore, it is possible to prevent a situation in which a shadow appears at a position floating from the base object OB1 during stereoscopic viewing, and to realize stereoscopic viewing in which a more natural and realistic shadow is expressed.

なお図6のステップS22では、撮影時の照明の方向も考慮して、左目用、右目用の影画像のずらし幅(シフト量)を調整している。例えば撮影時の照明が左斜め方向からのライティングであった場合には、その分だけ影画像を右にずらす。   In step S22 in FIG. 6, the shift width (shift amount) of the shadow image for the left eye and the right eye is adjusted in consideration of the direction of illumination at the time of shooting. For example, when the illumination at the time of shooting is lighting from the diagonal left direction, the shadow image is shifted to the right by that amount.

また図19(A)のD1とD2では、ベース物体OB1からの浮遊物体OB2-1、OB2-2の高さが異なっている。そしてこのような場合に、影SD1、SD2のぼけ具合が同じになってしまうと、影のリアル度が損なわれてしまう。   Further, in D1 and D2 in FIG. 19A, the heights of the floating objects OB2-1 and OB2-2 from the base object OB1 are different. In such a case, if the blur conditions of the shadows SD1 and SD2 are the same, the realism of the shadow is impaired.

そこで図6のステップS23やS26では、浮遊物体OB2(OB2-1、OB2-2)の高さに応じた影のぼかし処理を行っている。例えば図19(B)に示すように、浮遊物体OB2の高さ情報に基づいて、左目用影画像ISLと右目用影画像ISRのぼかし処理(デフォーカス)を行う。具体的には、ベース物体OB1からの浮遊物体OB2の高さが低い場合には、ぼかし具合を少なくし、高い場合には、ぼかし具合を大きくする。この場合に、影の境界でのぼけ具合をぼかしフィルタ等を用いて調整する。   Therefore, in steps S23 and S26 of FIG. 6, a shadow blurring process according to the height of the floating object OB2 (OB2-1, OB2-2) is performed. For example, as shown in FIG. 19B, the left-eye shadow image ISL and the right-eye shadow image ISR are blurred (defocused) based on the height information of the floating object OB2. Specifically, the blur condition is reduced when the height of the floating object OB2 from the base object OB1 is low, and the blur condition is increased when the height is high. In this case, the degree of blur at the shadow boundary is adjusted using a blur filter or the like.

このようにすれば図16、図17に示すように、影のぼかし具合についてもリアルに表現された立体視用画像を生成できるようになる。   In this way, as shown in FIGS. 16 and 17, it is possible to generate a stereoscopic image that realistically represents the degree of shadow blurring.

なお図6のステップS26では、背景上にある影については、例えばベース物体OB1上にある影の最大ずらし幅よりも大きなずらし幅で、例えば右用の影画像については右にずらして、遠くの影に設定する。このような影を背景に落とすことで、テクスチャ模様のない背景が一番奥にあるように見えるようになり、より自然な立体視を実現できる。   In step S26 of FIG. 6, for the shadow on the background, for example, a shift width larger than the maximum shift width of the shadow on the base object OB1, for example, the right shadow image is shifted to the right, and the Set to shadow. By dropping such a shadow on the background, a background without a texture pattern appears to be at the back, and a more natural stereoscopic view can be realized.

7.画像生成システム
図21に、本実施形態の立体視手法を実現できる画像生成システムの構成例を示す。なお、画像生成システムは、図21の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。
7). Image Generation System FIG. 21 shows a configuration example of an image generation system that can realize the stereoscopic viewing method of the present embodiment. Note that the image generation system does not have to include all the components (each unit) in FIG.

図21の画像生成システムは、例えばゲーム画像(リアルタイム動画像)を生成するシステムとして用いることができる。また、CG画像(静止画像)により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システム(CGツール)としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システムとしても用いることができる。   The image generation system of FIG. 21 can be used as a system for generating a game image (real-time moving image), for example. Moreover, it can also be used as an image generation system (CG tool) for creating a stereoscopic image from a CG image (still image) and creating a stereoscopic print. Further, it can be used as an image generation system for taking a real image taken by a camera, creating a stereoscopic image from the real image, and creating a stereoscopic print.

操作部160は、操作者(プレーヤ、観者)が操作データを入力するためのものであり、その機能は、レバー、ボタン、マイク、或いはタッチパネルなどのハードウェアにより実現できる。   The operation unit 160 is used by an operator (player, viewer) to input operation data, and the function can be realized by hardware such as a lever, a button, a microphone, or a touch panel.

記憶部170は、処理部100や印刷部193や通信部196などのワーク領域となるもので、その機能はRAMなどのハードウェアにより実現できる。   The storage unit 170 serves as a work area for the processing unit 100, the printing unit 193, the communication unit 196, and the like, and its function can be realized by hardware such as a RAM.

情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、ハードディスク、或いはメモリ(ROM)などのハードウェアにより実現できる。処理部100は、この情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶(記録、格納)される。   An information storage medium 180 (a computer-readable medium) stores programs, data, and the like, and its function can be realized by hardware such as an optical disk (CD, DVD), hard disk, or memory (ROM). . The processing unit 100 performs various processes of this embodiment based on a program (data) stored in the information storage medium 180. That is, in the information storage medium 180, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit). Is stored (recorded, stored).

表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、タッチパネル、或いはHMD(ヘッドマウントディスプレイ)などのハードウェアにより実現できる。   The display unit 190 outputs an image generated according to the present embodiment, and its function can be realized by hardware such as a CRT, LCD, touch panel, or HMD (head mounted display).

音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。   The sound output unit 192 outputs the sound generated by the present embodiment, and its function can be realized by hardware such as a speaker or headphones.

印刷部193は、立体視用画像を印刷媒体(紙、レンズ、或いはフィルム等)に印刷するものであり、その機能は、インクジェット方式やレーザプリンタ方式などのカラープリンタ(広義には印刷機)により実現できる。   The printing unit 193 prints a stereoscopic image on a print medium (paper, lens, film, or the like), and functions thereof by a color printer (printer in a broad sense) such as an ink jet method or a laser printer method. realizable.

通信部196は、外部(例えばホスト装置や他の画像生成システム)との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。この通信部196を用いて、カメラで撮影された実写画像を外部(インターネットなどのネットワーク)から画像生成システムに取り込んだり、作成された立体視用画像を外部に出力することなどが可能になる。   The communication unit 196 performs various controls for communicating with the outside (for example, a host device or other image generation system), and functions thereof are hardware such as various processors or a communication ASIC, It can be realized by a program. Using the communication unit 196, it is possible to capture a real image captured by the camera from the outside (network such as the Internet) into the image generation system, or to output the created stereoscopic image to the outside.

なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(記憶部170)に配信するようにしてもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含まれる。   Note that a program (data) for causing a computer to function as each unit of this embodiment is distributed from the information storage medium of the host device (server) to the information storage medium 180 (storage unit 170) via the network and the communication unit 196. You may do it. Use of such an information storage medium of the host device (server) is also included in the scope of the present invention.

処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、画像生成処理、音生成処理、或いはゲーム処理(ゲームの開始処理、ゲームの進行処理、ゲームの終了処理)などの各種の処理を行う。この場合、処理部100は、記憶部170をワーク領域として使用して、各種の処理を行う。この処理部100の機能は、各種プロセッサ(CPU、DSP等)又はASIC(ゲートアレイ等)などのハードウェアや、プログラム(ゲームプログラム)により実現できる。   The processing unit 100 (processor) performs image generation processing, sound generation processing, game processing (game start processing, game progress processing, game end processing) based on operation data from the operation unit 160, a program, and the like. Various processes are performed. In this case, the processing unit 100 performs various processes using the storage unit 170 as a work area. The functions of the processing unit 100 can be realized by hardware such as various processors (CPU, DSP, etc.) or ASIC (gate array, etc.) and a program (game program).

処理部100は、画像取得部110、補正処理部112、調整部114、影処理部116、画像合成部118、立体視用画像生成部120を含む。なおこれらの一部を省略する構成としてもよい。   The processing unit 100 includes an image acquisition unit 110, a correction processing unit 112, an adjustment unit 114, a shadow processing unit 116, an image composition unit 118, and a stereoscopic image generation unit 120. Note that some of these may be omitted.

画像取得部110は左目用画像や右目用画像の取得処理を行う。具体的には、第1の物体についての第1の左目用画像と第1の右目用画像を取得する処理(読み込む処理、生成する処理)を行う。また第2の物体についての第2の左目用画像と第2の右目用画像を取得する処理(読み込む処理、生成する処理)を行う。取得された第1の左目用画像、第2の左目用画像は左目用画像記憶部171(左目用のレイヤ)に記憶され、取得された第1の右目用画像、第2の右目用画像は右目用画像記憶部172(右目用のレイヤ)に記憶される。   The image acquisition unit 110 performs processing for acquiring a left-eye image and a right-eye image. Specifically, a process (reading process and generating process) for acquiring the first left-eye image and the first right-eye image for the first object is performed. In addition, processing (reading processing and generating processing) for acquiring the second left-eye image and the second right-eye image for the second object is performed. The acquired first left-eye image and second left-eye image are stored in the left-eye image storage unit 171 (left-eye layer), and the acquired first right-eye image and second right-eye image are The image is stored in the right-eye image storage unit 172 (right-eye layer).

補正処理部112は、基準面での画像のパースペクティブを無くすための補正処理を行う。具体的には、基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、画像取得部110により取得された第1の左目用画像、第1の右目用画像、第2の左目用画像、第2の右目用画像に対して行う。補正処理後の画像は左目用画像記憶部171や右目用画像記憶部172に記憶される。   The correction processing unit 112 performs a correction process for eliminating the perspective of the image on the reference plane. Specifically, the correction processing for eliminating the perspective in the depth direction at least in the image on the reference plane is performed using the first left-eye image, the first right-eye image, and the second image acquired by the image acquisition unit 110. This is performed for the left-eye image and the second right-eye image. The corrected image is stored in the left-eye image storage unit 171 and the right-eye image storage unit 172.

調整部114は各種の調整処理を行う。具体的には、補正処理部112での補正処理後の第1の左目用画像、第1の右目用画像に対して両眼視差調整を行って、立体視における第1の物体についての基準面の高さ調整を行う。例えば第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第1の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。また調整部114は、補正処理部112での補正処理後の第2の左目用画像、第2の右目用画像に対して両眼視差調整を行って、立体視における第2の物体についての基準面の高さ調整を行う。例えば第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、第2の右目用画像を、一方とは異なる他方の方向にずらす両眼視差調整処理を行う。   The adjustment unit 114 performs various adjustment processes. Specifically, the binocular parallax adjustment is performed on the first left-eye image and the first right-eye image after the correction processing by the correction processing unit 112, and the reference plane for the first object in stereoscopic vision Adjust the height. For example, the binocular parallax adjustment process is performed in which the first left-eye image is shifted in either the left direction or the right direction, and the first right-eye image is shifted in the other direction different from the one. Further, the adjustment unit 114 performs binocular parallax adjustment on the second left-eye image and the second right-eye image after the correction processing by the correction processing unit 112, so that a reference for the second object in stereoscopic vision is obtained. Adjust the surface height. For example, the binocular parallax adjustment process is performed in which the second left-eye image is shifted in either the left direction or the right direction, and the second right-eye image is shifted in the other direction different from the one.

影処理部116は影についての種々の処理を行う。具体的には、第2の物体の影についての左目用影画像と右目用影画像を生成する。生成された左目用影画像、右目用影画像は、影画像記憶部173に記憶される。   The shadow processing unit 116 performs various processes regarding shadows. Specifically, a left-eye shadow image and a right-eye shadow image for the shadow of the second object are generated. The generated left-eye shadow image and right-eye shadow image are stored in the shadow image storage unit 173.

また影処理部116は、第2の物体の影が落ちる場所(影の投影領域)での両眼視差情報(例えば左右のずれ幅)を、第1の左目用画像と第1の右目用画像に基づいて取得する。そして取得された両眼視差情報に基づいて、左目用影画像と右目用影画像に対して両眼視差調整(ずらし幅の調整)を行う。なお取得された両眼視差情報は両眼視差情報記憶部174に記憶される。   In addition, the shadow processing unit 116 uses the first left-eye image and the first right-eye image as binocular parallax information (for example, left-right shift width) at the place where the shadow of the second object falls (shadow projection region). Get based on. Based on the acquired binocular parallax information, binocular parallax adjustment (shift width adjustment) is performed on the left-eye shadow image and the right-eye shadow image. The acquired binocular disparity information is stored in the binocular disparity information storage unit 174.

また影処理部116は、第2の物体の高さ情報(高さと透過な情報)に基づいて、左目用影画像や右目用影画像のぼかし処理(デフォーカス処理)を行う。   The shadow processing unit 116 performs blurring processing (defocus processing) of the left eye shadow image and the right eye shadow image based on the height information (height and transmission information) of the second object.

画像合成部118は各種の画像の合成処理を行う。例えば、画像取得部110により取得された第1の左目用画像と第2の左目用画像を合成して、第3の左目用画像を生成する。具体的には、例えば第1の左目用画像が格納されるレイヤと第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成する。更に具体的には、補正処理部112による補正処理後の第1の左目用画像と補正処理後の第2の左目用画像を合成して、第3の左目用画像を生成する。また影処理部116により左目用影画像が生成された場合には、画像合成部118は、第1の左目用画像と第2の左目用画像と左目用影画像を合成して、第3の左目用画像を生成する。生成された第3の左目用画像は左目用画像記憶部171(左目用のレイヤ)に記憶される。   The image composition unit 118 performs various image composition processes. For example, the first left-eye image and the second left-eye image acquired by the image acquisition unit 110 are combined to generate a third left-eye image. Specifically, for example, a layer for storing the first left-eye image and a layer for storing the second left-eye image are combined to generate a third left-eye image. More specifically, the first left-eye image after correction processing by the correction processing unit 112 and the second left-eye image after correction processing are combined to generate a third left-eye image. When the left eye shadow image is generated by the shadow processing unit 116, the image composition unit 118 synthesizes the first left eye image, the second left eye image, and the left eye shadow image to generate the third eye image. A left-eye image is generated. The generated third left-eye image is stored in the left-eye image storage unit 171 (left-eye layer).

また画像合成部118は、画像取得部110により取得された第1の右目用画像と第2の右目用画像を合成して、第3の右目用画像を生成する。具体的には、第1の右目用画像が格納されるレイヤと第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成する。更に具体的には、補正処理後の第1の右目用画像と補正処理後の第2の右目用画像を合成して、第3の右目用画像を生成する。また影処理部116により右目用影画像が生成された場合には、画像合成部118は、第1の右目用画像と第2の右目用画像と右目用影画像を合成して、第3の右目用画像を生成する。生成された第3の右目用画像は右目用画像記憶部172(右目用のレイヤ)に記憶される。   In addition, the image synthesis unit 118 synthesizes the first right-eye image and the second right-eye image acquired by the image acquisition unit 110 to generate a third right-eye image. Specifically, a layer for storing the first right-eye image and a layer for storing the second right-eye image are combined to generate a third right-eye image. More specifically, the first right-eye image after correction processing and the second right-eye image after correction processing are combined to generate a third right-eye image. Further, when the right eye shadow image is generated by the shadow processing unit 116, the image composition unit 118 combines the first right eye image, the second right eye image, and the right eye shadow image to generate the third eye image. A right-eye image is generated. The generated third right-eye image is stored in the right-eye image storage unit 172 (right-eye layer).

立体視用画像生成部120は立体視用画像の生成処理を行う。具体的には、画像合成部118での画像合成により生成された第3の左目用画像と第3の右目用画像に基づいて、立体視用画像を生成する。更に具体的には、生成された第3の左目用画像と第3の右目用画像のアナグリフ処理を行って、立体視用画像を生成する。そして画像合成部118は、生成された立体視用画像に対して、両眼視差の無い画像を更に合成する処理を行う。   The stereoscopic image generation unit 120 performs processing for generating a stereoscopic image. Specifically, a stereoscopic image is generated based on the third left-eye image and the third right-eye image generated by the image composition in the image composition unit 118. More specifically, an anaglyph process is performed on the generated third left-eye image and third right-eye image to generate a stereoscopic image. Then, the image synthesis unit 118 performs a process of further synthesizing an image without binocular parallax with the generated stereoscopic image.

立体視用画像生成部120は、生成された立体視用画像を印刷部193に出力する。すると印刷部193は、その立体視用画像を印刷媒体に印刷することで、立体視用印刷物を作成して出力する。   The stereoscopic image generation unit 120 outputs the generated stereoscopic image to the printing unit 193. Then, the printing unit 193 creates and outputs a stereoscopic print by printing the stereoscopic image on a print medium.

或いは、立体視用画像生成部120は、立体視用画像を表示部190に出力する。この場合には、走査者(プレーヤ)は、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて、ゲーム等をプレイすることになる。或いは、立体視用画像生成部120が、第3の左目用画像(左目用画像)と第3の右目用画像(右目用画像)を異なるフレームで表示部190に出力する処理を行い、立体視を実現してもよい。この場合には、プレーヤは、フレームに同期してシャッターが開閉するシャッター付き眼鏡をかけて、ゲームをプレイすることになる。   Alternatively, the stereoscopic image generation unit 120 outputs the stereoscopic image to the display unit 190. In this case, the scanner (player), for example, plays a game or the like wearing glasses with red and blue color filters provided on the left and right eyes. Alternatively, the stereoscopic image generation unit 120 performs a process of outputting the third left-eye image (left-eye image) and the third right-eye image (right-eye image) to the display unit 190 in different frames, so that the stereoscopic image is displayed. May be realized. In this case, the player plays the game wearing glasses with shutters that open and close in synchronization with the frame.

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。   Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described at least once together with a different term having a broader meaning or the same meaning in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings.

また、左目用画像、右目用画像、影画像の取得手法、合成処理、補正処理、調整処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムにも適用できる。   Also, the left-eye image, right-eye image, shadow image acquisition method, composition processing, correction processing, adjustment processing, and the like are not limited to those described in this embodiment, and methods equivalent to these are also within the scope of the present invention. included. The present invention can be applied to various games. The present invention is also applied to various image generation systems such as a business game system, a home game system, a large attraction system in which a large number of players participate, a simulator, a multimedia terminal, a system board for generating game images, and a mobile phone. Applicable.

本実施形態の立体視手法を説明するためのフローチャート。The flowchart for demonstrating the stereoscopic vision method of this embodiment. 図2(A)、図2(B)は本実施形態の立体視手法の説明図。2A and 2B are explanatory diagrams of the stereoscopic viewing method of the present embodiment. 本実施形態の立体視手法の説明図。Explanatory drawing of the stereoscopic vision method of this embodiment. 図4(A)〜図4(C)はパースペクティブを無くす補正処理の説明図。FIG. 4A to FIG. 4C are explanatory diagrams of correction processing for eliminating the perspective. 本実施形態の詳細例を説明するためのフローチャート。The flowchart for demonstrating the detailed example of this embodiment. 本実施形態の詳細例を説明するためのフローチャート。The flowchart for demonstrating the detailed example of this embodiment. 左目用画像IL1の例。An example of the image for the left eye IL1. 右目用画像IR1の例。An example of the right-eye image IR1. 左目用画像IL2の例。An example of the image for the left eye IL2. 右目用画像IR2の例。An example of the right-eye image IR2. 影画像の例。An example of a shadow image. トリミング後の画像の例。An example of an image after trimming. 背景挿入後の画像の例。An example of an image after background insertion. 左目用画像IL3の例。An example of the image for the left eye IL3. 右目用画像IR3の例。An example of the right-eye image IR3. 立体視用画像の例。An example of a stereoscopic image. ロゴ、文字を合成した立体視用画像の例。An example of a stereoscopic image in which a logo and characters are combined. 図18(A)〜図18(C)は両眼視差調整の説明図。18A to 18C are explanatory diagrams of binocular parallax adjustment. 図19(A)、図19(B)は影処理の説明図。19A and 19B are explanatory diagrams of shadow processing. 図20(A)、図20(B)は影の両眼視差調整の説明図。20A and 20B are explanatory diagrams of binocular parallax adjustment of a shadow. 画像生成システムの構成例。The structural example of an image generation system.

符号の説明Explanation of symbols

VPL 左目用視点位置、VPR 右目用視点位置、
OB1 第1の物体、OB2 第2の物体、BS 基準面、
IL1 第1の左目用画像、IR1 第1の右目用画像、
IL2 第2の左目用画像、IR2 第2の右目用画像、
IL3 第3の左目用画像、IR3 第3の右目用画像、IST 立体視用画像、
100 処理部、110 画像取得部、112 補正処理部、114 調整部、
116 影処理部、118 画像合成部、120 立体視用画像生成部、
160 操作部、170 記憶部、
171 右目用画像記憶部、172 左目用画像記憶部、173 影画像記憶部、
174 両眼視差情報記憶部、175 立体視用画像記憶部、
180 情報記憶媒体、190 表示部、192 音出力部、
193 印刷部、196 通信部
VPL left eye viewpoint position, VPR right eye viewpoint position,
OB1 first object, OB2 second object, BS reference plane,
IL1 first left-eye image, IR1 first right-eye image,
IL2 second left eye image, IR2 second right eye image,
IL3 third left-eye image, IR3 third right-eye image, IST stereoscopic image,
100 processing unit, 110 image acquisition unit, 112 correction processing unit, 114 adjustment unit,
116 shadow processing unit, 118 image composition unit, 120 stereoscopic image generation unit,
160 operation unit, 170 storage unit,
171 Right-eye image storage unit, 172 Left-eye image storage unit, 173 Shadow image storage unit,
174 Binocular parallax information storage unit, 175 stereoscopic image storage unit,
180 information storage medium, 190 display unit, 192 sound output unit,
193 Printing Department, 196 Communication Department

Claims (19)

立体視用画像を生成するための画像生成方法であって、
第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、
取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、
生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成することを特徴とする画像生成方法。
An image generation method for generating a stereoscopic image,
Obtaining a first left-eye image and a first right-eye image for a first object;
Obtaining a second left-eye image and a second right-eye image for the second object;
Combining the acquired first left-eye image and the second left-eye image to generate a third left-eye image;
Combining the acquired first right-eye image and the second right-eye image to generate a third right-eye image;
An image generation method, characterized in that the stereoscopic image is generated based on the generated third left-eye image and the third right-eye image.
請求項1において、
前記第1の左目用画像が格納されるレイヤと前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、前記第3の左目用画像を生成し、
前記第1の右目用画像が格納されるレイヤと前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、前記第3の右目用画像を生成することを特徴とする画像生成方法。
In claim 1,
Layer combining the layer storing the first left-eye image and the layer storing the second left-eye image to generate the third left-eye image;
An image generation method comprising generating a third right-eye image by layer combining a layer storing the first right-eye image and a layer storing the second right-eye image .
請求項2において、
前記第1の左目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の左目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の左目用画像が格納されるレイヤとトリミング後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成し、
前記第1の右目用画像のうち前記第1の物体の画像以外の画像をトリミングすると共に、前記第2の右目用画像のうち前記第2の物体の画像以外の画像をトリミングし、トリミング後の前記第1の右目用画像が格納されるレイヤとトリミング後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成することを特徴とする画像生成方法。
In claim 2,
Trimming an image other than the image of the first object in the first left-eye image and trimming an image other than the image of the second object in the second left-eye image. Layer combining the layer storing the first left-eye image and the layer storing the second left-eye image after trimming,
Trimming an image other than the image of the first object in the first right-eye image, and trimming an image other than the image of the second object in the second right-eye image. An image generation method comprising layer-combining a layer in which the first right-eye image is stored and a layer in which the second right-eye image after trimming is stored.
請求項1乃至3のいずれかにおいて、
基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、
補正処理後の前記第1の左目用画像と補正処理後の前記第2の左目用画像を合成して、前記第3の左目用画像を生成し、
補正処理後の前記第1の右目用画像と補正処理後の前記第2の右目用画像を合成して、前記第3の右目用画像を生成することを特徴とする画像生成方法。
In any one of Claims 1 thru | or 3,
Correction processing for eliminating a perspective of at least the depth direction of the image on the reference plane is performed using the first left-eye image, the first right-eye image, the second left-eye image, and the second right-eye image. To the image,
Combining the first left-eye image after the correction process and the second left-eye image after the correction process to generate the third left-eye image;
An image generating method comprising: synthesizing the first right-eye image after correction processing and the second right-eye image after correction processing to generate the third right-eye image.
請求項4において、
前記第1の左目用画像、前記第1の右目用画像に対して両眼視差調整を行って、立体視における前記第1の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
In claim 4,
Binocular parallax adjustment is performed on the first left-eye image and the first right-eye image to adjust the height of the reference plane for the first object in stereoscopic view. Generation method.
請求項5において、
前記両眼視差調整は、前記第1の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第1の右目用画像を、前記一方とは異なる他方の方向にずらす処理であることを特徴とする画像生成方法。
In claim 5,
In the binocular parallax adjustment, the first left-eye image is shifted in either the left direction or the right direction, and the first right-eye image is shifted in the other direction different from the one. An image generation method characterized by that.
請求項4乃至6のいずれかにおいて、
前記第2の左目用画像、前記第2の右目用画像に対して両眼視差調整を行って、立体視における前記第2の物体についての基準面の高さ調整を行うことを特徴とする画像生成方法。
In any one of Claims 4 thru | or 6.
Binocular parallax adjustment is performed on the second left-eye image and the second right-eye image to adjust the height of the reference plane for the second object in stereoscopic view. Generation method.
請求項7において、
前記両眼視差調整は、前記第2の左目用画像を、左方向又は右方向のいずれか一方の方向にずらし、前記第2の右目用画像を、前記一方とは異なる他方の方向にずらす調整であることを特徴とする画像生成方法。
In claim 7,
In the binocular parallax adjustment, the second left-eye image is shifted in either the left direction or the right direction, and the second right-eye image is shifted in the other direction different from the one. An image generation method characterized by that.
請求項1乃至8のいずれかにおいて、
前記第2の物体は、前記第1の物体の上方に浮遊する物体であることを特徴とする画像生成方法。
In any one of Claims 1 thru | or 8.
The image generation method, wherein the second object is an object floating above the first object.
請求項1乃至9のいずれかにおいて、
前記第2の物体の影についての左目用影画像と右目用影画像を生成し、
前記第1の左目用画像と前記第2の左目用画像と前記左目用影画像を合成して前記第3の左目用画像を生成し、
前記第1の右目用画像と前記第2の右目用画像と前記右目用影画像を合成して前記第3の右目用画像を生成することを特徴とする画像生成方法。
In any one of Claims 1 thru | or 9,
Generating a left-eye shadow image and a right-eye shadow image for the shadow of the second object;
Combining the first left-eye image, the second left-eye image, and the left-eye shadow image to generate the third left-eye image;
An image generation method comprising: synthesizing the first right-eye image, the second right-eye image, and the right-eye shadow image to generate the third right-eye image.
請求項10において、
前記第2の物体の影が落ちる場所での両眼視差情報を、前記第1の左目用画像と前記第1の右目用画像に基づいて取得し、取得された前記両眼視差情報に基づいて、前記左目用影画像と前記右目用影画像に対して両眼視差調整を行うことを特徴とする画像生成方法。
In claim 10,
Binocular disparity information at the location where the shadow of the second object falls is acquired based on the first left-eye image and the first right-eye image, and based on the acquired binocular disparity information A binocular parallax adjustment is performed on the left-eye shadow image and the right-eye shadow image.
請求項10又は11において、
前記第2の物体の高さ情報に基づいて、前記左目用影画像と前記右目用影画像のぼかし処理を行うことを特徴とする画像生成方法。
In claim 10 or 11,
An image generation method, wherein blurring processing of the left eye shadow image and the right eye shadow image is performed based on height information of the second object.
請求項1乃至12のいずれかにおいて、
生成された前記第3の左目用画像と前記第3の右目用画像のアナグリフ処理を行って、前記立体視用画像を生成することを特徴とする画像生成方法。
In any one of Claims 1 to 12,
An image generation method, wherein an anaglyph process is performed on the generated third left-eye image and the third right-eye image to generate the stereoscopic image.
請求項1乃至13のいずれかにおいて、
生成された前記立体視用画像に対して、両眼視差の無い画像を更に合成することを特徴とする画像生成方法。
In any one of Claims 1 thru | or 13.
An image generation method comprising further synthesizing an image without binocular parallax with the generated stereoscopic image.
請求項1乃至14のいずれかに記載の画像生成方法で生成された立体視用画像が印刷された立体視用印刷物。   A stereoscopic printed matter on which a stereoscopic image generated by the image generating method according to claim 1 is printed. 立体視用印刷物の製造方法であって、
第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
基準面での画像の少なくとも奥行き方向でのパースペクティブを無くすための補正処理を、前記第1の左目用画像、前記第1の右目用画像、前記第2の左目用画像、前記第2の右目用画像に対して行い、
補正処理後の前記第1の左目用画像が格納されるレイヤと補正処理後の前記第2の左目用画像が格納されるレイヤとをレイヤ合成して、第3の左目用画像を生成し、
補正処理後の前記第1の右目用画像が格納されるレイヤと補正処理後の前記第2の右目用画像が格納されるレイヤとをレイヤ合成して、第3の右目用画像を生成し、
生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、立体視用印刷物を作成することを特徴とする立体視用印刷物の製造方法。
A method for producing a stereoscopic print,
Obtaining a first left-eye image and a first right-eye image for a first object;
Obtaining a second left-eye image and a second right-eye image for the second object;
Correction processing for eliminating a perspective of at least the depth direction of the image on the reference plane is performed using the first left-eye image, the first right-eye image, the second left-eye image, and the second right-eye image. To the image,
A layer for storing the first left-eye image after correction processing and a layer for storing the second left-eye image after correction processing are combined to generate a third left-eye image,
Layer-combining the layer storing the first right-eye image after correction processing and the layer storing the second right-eye image after correction processing to generate a third right-eye image;
A method for manufacturing a stereoscopic printed material, wherein a stereoscopic printed material is created based on the generated third left-eye image and the third right-eye image.
請求項16に記載の製造方法により作成された立体視用印刷物。   A printed matter for stereoscopic viewing created by the manufacturing method according to claim 16. 請求項16に記載の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物。   A stereoscopic printed matter created by duplicating a stereoscopic printed matter created by the manufacturing method according to claim 16. 立体視のためのプログラムであって、
第1の物体についての第1の左目用画像と第1の右目用画像を取得し、
第2の物体についての第2の左目用画像と第2の右目用画像を取得し、
取得された前記第1の左目用画像と前記第2の左目用画像を合成して第3の左目用画像を生成し、
取得された前記第1の右目用画像と前記第2の右目用画像を合成して第3の右目用画像を生成し、
生成された前記第3の左目用画像と前記第3の右目用画像に基づいて、前記立体視用画像を生成する手順を、
コンピュータに実行させることを特徴とするプログラム。
A program for stereoscopic viewing,
Obtaining a first left-eye image and a first right-eye image for a first object;
Obtaining a second left-eye image and a second right-eye image for the second object;
Combining the acquired first left-eye image and the second left-eye image to generate a third left-eye image;
Combining the acquired first right-eye image and the second right-eye image to generate a third right-eye image;
A procedure for generating the stereoscopic image based on the generated third left-eye image and the third right-eye image,
A program characterized by being executed by a computer.
JP2007245726A 2007-09-21 2007-09-21 Image generating method, stereoscopic printed matter, manufacturing method and program Expired - Fee Related JP5060231B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007245726A JP5060231B2 (en) 2007-09-21 2007-09-21 Image generating method, stereoscopic printed matter, manufacturing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007245726A JP5060231B2 (en) 2007-09-21 2007-09-21 Image generating method, stereoscopic printed matter, manufacturing method and program

Publications (2)

Publication Number Publication Date
JP2009077276A true JP2009077276A (en) 2009-04-09
JP5060231B2 JP5060231B2 (en) 2012-10-31

Family

ID=40611807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007245726A Expired - Fee Related JP5060231B2 (en) 2007-09-21 2007-09-21 Image generating method, stereoscopic printed matter, manufacturing method and program

Country Status (1)

Country Link
JP (1) JP5060231B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263382A (en) * 2009-05-01 2010-11-18 Sony Corp Transmitter, transmission method of 3d image data, receiver, receiving method of 3d image data, relay device and relay method of 3d image data
JP2011024639A (en) * 2009-07-22 2011-02-10 Konami Digital Entertainment Co Ltd Video game device, game information display control method, and game information display control program
JP2011024638A (en) * 2009-07-21 2011-02-10 Konami Digital Entertainment Co Ltd Video game device and game image display method and program
JP2011250352A (en) * 2010-05-31 2011-12-08 Olympus Visual Communications Corp Three-dimensional image data generation method
JP2012095277A (en) * 2010-09-30 2012-05-17 Casio Comput Co Ltd Image composition apparatus, image retrieval method, and program
JP2016078715A (en) * 2014-10-20 2016-05-16 株式会社デンソー Vehicle display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182023A (en) * 1994-12-26 1996-07-12 Sanyo Electric Co Ltd Device converting 2-dimension image into 3-dimension image
JP2000190669A (en) * 1998-12-28 2000-07-11 Orient Corp Apparatus and method for supporting card formation and storage medium for recording software for supporting card formation
JP2004207780A (en) * 2002-12-20 2004-07-22 Namco Ltd Photo taking apparatus
JP2006084593A (en) * 2004-09-14 2006-03-30 Namco Ltd Stereoscopic print production method, stereoscopic print, and program
JP2006154081A (en) * 2004-11-26 2006-06-15 Namco Bandai Games Inc Stereoscopic print and its manufacturing method, image forming method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182023A (en) * 1994-12-26 1996-07-12 Sanyo Electric Co Ltd Device converting 2-dimension image into 3-dimension image
JP2000190669A (en) * 1998-12-28 2000-07-11 Orient Corp Apparatus and method for supporting card formation and storage medium for recording software for supporting card formation
JP2004207780A (en) * 2002-12-20 2004-07-22 Namco Ltd Photo taking apparatus
JP2006084593A (en) * 2004-09-14 2006-03-30 Namco Ltd Stereoscopic print production method, stereoscopic print, and program
JP2006154081A (en) * 2004-11-26 2006-06-15 Namco Bandai Games Inc Stereoscopic print and its manufacturing method, image forming method and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263382A (en) * 2009-05-01 2010-11-18 Sony Corp Transmitter, transmission method of 3d image data, receiver, receiving method of 3d image data, relay device and relay method of 3d image data
CN102811361A (en) * 2009-05-01 2012-12-05 索尼公司 Stereoscopic image data transmitting, receiving and relaying method and apparatus
JP2011024638A (en) * 2009-07-21 2011-02-10 Konami Digital Entertainment Co Ltd Video game device and game image display method and program
JP2011024639A (en) * 2009-07-22 2011-02-10 Konami Digital Entertainment Co Ltd Video game device, game information display control method, and game information display control program
JP2011250352A (en) * 2010-05-31 2011-12-08 Olympus Visual Communications Corp Three-dimensional image data generation method
JP2012095277A (en) * 2010-09-30 2012-05-17 Casio Comput Co Ltd Image composition apparatus, image retrieval method, and program
US8995750B2 (en) 2010-09-30 2015-03-31 Casio Computer Co., Ltd. Image composition apparatus, image retrieval method, and storage medium storing program
JP2016078715A (en) * 2014-10-20 2016-05-16 株式会社デンソー Vehicle display device

Also Published As

Publication number Publication date
JP5060231B2 (en) 2012-10-31

Similar Documents

Publication Publication Date Title
US7321682B2 (en) Image generation system, image generation method, program, and information storage medium
KR100812905B1 (en) 3-dimensional image processing method and device
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
JP2009031797A (en) 2d-3d convertible display method and device having background of integral image
JP5060231B2 (en) Image generating method, stereoscopic printed matter, manufacturing method and program
JP3579683B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP2006211386A (en) Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method
JP4129786B2 (en) Image processing apparatus and method, recording medium, and program
JP2004207780A (en) Photo taking apparatus
JP2006211383A (en) Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method
KR102042914B1 (en) Floating-type hologram displaying apparatus using multi-layered displaying planes and multi-video processing method for said apparatus
JPH07244343A (en) Stereoscopic photograph
JP3640256B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP4218938B2 (en) Stereoscopic prints
JP5085722B2 (en) Image generation system
JP2006133455A (en) Three-dimensional picture display device
JP2009169155A (en) Method for manufacturing stereoscopic printed matter, stereoscopic printed matter, image generation system, image generation method, program, and information storage medium
JP2012142800A (en) Image processing device, image processing method, and computer program
JP2007017558A (en) Apparatus and method for displaying stereoscopic image
KR100939080B1 (en) Method and Apparatus for generating composited image, Method and Apparatus for displaying using composited image
JP3464633B2 (en) 3D display method
JP4397216B2 (en) Method for producing stereoscopic printed matter, stereoscopic printed matter
JP2000228778A (en) Method for generating stereoscopic vision image data and stereoscopic vision image data generator
JP5396027B2 (en) Stereoscopic prints
JP2006221372A (en) Method for manufacturing printed matter for stereoscopic vision, printed matter for stereoscopic vision, image generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5060231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees