JP2016504828A - 単一のカメラを用いて3d画像を取り込む方法およびシステム - Google Patents

単一のカメラを用いて3d画像を取り込む方法およびシステム Download PDF

Info

Publication number
JP2016504828A
JP2016504828A JP2015544289A JP2015544289A JP2016504828A JP 2016504828 A JP2016504828 A JP 2016504828A JP 2015544289 A JP2015544289 A JP 2015544289A JP 2015544289 A JP2015544289 A JP 2015544289A JP 2016504828 A JP2016504828 A JP 2016504828A
Authority
JP
Japan
Prior art keywords
image
picture
camera
cursors
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015544289A
Other languages
English (en)
Inventor
ジヨウ,ウエイ
ドウ,リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2016504828A publication Critical patent/JP2016504828A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

単一のカメラを使用して3D画像を作成するために使用される方法は、単一のカメラによって、第1の位置で、右側画像または左側画像のうちの一方となる第1の画像を取り込むステップと、第1の画像の特徴点を抽出するステップと、第1の位置とは異なる位置で、右側画像または左側画像のうちの他方となる第2の画像を発見するためにピクチャを撮影するステップと、ピクチャの特徴点を抽出するステップと、第1の画像およびピクチャの特徴点を比較するステップと、一方が第2の画像の目標位置を示し、他方がカメラの現在位置を示す2つの3Dカーソルを生成するステップと、2つの3Dカーソルをピクチャ内に表示するステップと、カメラを平行移動および回転させることによって現在位置を示すカーソルが目標位置を示すカーソルと完全に重なり合ったときに、第2の画像を取り込むステップと、第1の画像と第2の画像を結合して3D画像を作成するステップとを含む。

Description

本発明は、単一のカメラを用いて3D画像を取り込む方法およびシステムに関する。さらに詳細には、本発明は、3Dカーソルを利用することによって単一のカメラを用いて3D画像を取り込む方法およびシステムに関する。
3Dステレオの基本的な概念は、19世紀に登場した。我々の2つの眼は、頭部で約6.5cm離間しており、我々が見ている光景は、それぞれの眼にわずかに異なる画角で映っていて、これにより異なる視野が得られている。我々の脳は、我々の両眼のこの2つの視野に基づいて、光景に奥行きの感覚を生じさせる。図1は、3D立体ディスプレイの基本概念を示す図である。この図では、Zは、知覚した物体の奥行き、Dは、スクリーンまでの距離であり、4つの物体が、スクリーンの前方(車)、スクリーン上(柱)、スクリーンの後方(木)、および無限距離の位置(箱)にあるものとして知覚されている。ほとんどの現在の3Dディスプレイは、3Dステレオの概念に基づいて構築されているが、大きな違いは、2つの視野、すなわち左眼と右眼の視野を分離する方法である。
この原理に基づいて、ステレオ写真を撮る方法は数多くある。現在、最も普及している方法は、2つの同じカメラを使用する方法と、ステレオカメラを使用する方法である。
図2は、2つのカメラを使用してステレオ写真を取り込む基本的な方法を示す図である。2つのカメラは、一定の距離だけ分離して配置される。これら2つのカメラにより、同時に2枚の写真を撮る。その後、現像後に、左のカメラで撮った写真を左眼で見、右のカメラで撮った写真を右眼で見る。すると、脳が、その写真が撮られた3D空間を現実のように描き出す。
ステレオカメラは、各レンズ毎に別個の画像センサまたはフィルムフレームを備えた2つ以上のレンズを有するカメラの一種である。これにより、このカメラは、人間の両眼視をシミュレートすることができるので、3次元画像を取り込むことができるようになる。これが、ステレオ写真と呼ばれるプロセスである。ステレオカメラを使用して、映画用のステレオ視野および3Dピクチャを形成することができる。ステレオカメラのレンズ間の距離(軸内距離)は、どの程度の3次元性が望ましいか、および目標がどれくらい遠くに位置しているかに応じて規定される。
どちらの方法も、2つのレンズが必要であり、ユーザは、プロフェッショナルな写真家であるのがよい。モバイル装置ではハードウェア面の制限があるので、1つのカメラを備えたモバイル装置を有する通常のユーザは、3D写真を取り込むのに苦労する。モバイル装置のユーザは、ステレオ3D写真を撮りたい場合には、同じ物体の写真を2枚撮る必要がある。最初に、その物体の写真を1枚撮る。次いで、カメラを少しだけ右または左に移動させて、2枚目の写真を撮る。本開示の残りの部分では、1枚目の写真が左眼用、2枚目の写真が右眼用であると仮定する。最後に、コンピューティングによってこれら2枚のピクチャを組み合わせて、ステレオ3D画像にする。ただし、ユーザは、ポストプロダクションに多くの時間と労力を費やすことになり、ときには3D写真の効果が不十分であることもある。ユーザは、2枚の写真を撮る際に主観的でありすぎるために、左画像と右画像が一致することはまれで、3D効果が得られないことになる。本開示では、モバイル装置用の単一のカメラを用いてステレオ3D画像を取り込む方法を提案する。このシステムは、カメラマンが、ポストプロダクションを簡略化するために、左画像と右画像を正確に撮り、より良好な3Dピクチャの効果を得る助けとなる。
3次元であるという錯覚が得られるのは、完全に、我々が特定の距離だけ離間した2つの眼を有しているという事実による。それぞれの眼に、わずかに異なる角度から撮影した同じ画像が示されると、その後、それらの画像を脳が結合したときに、結合画像が、3次元に見えることになる。この原理により、本発明は、単一のカメラを用いてステレオ3D画像を取り込む方法を提供する。カメラは、左画像および右画像を取り込む。カメラが左画像を取り込んだ後で、システムは、右画像の最良の位置についていくつかのプロンプトをユーザに与える。ユーザは、プロンプトに従って、ステレオ画像の作成のために結合するための右画像を正確に取り込むことができる。従って、本発明は、結合してステレオ3D画像にするための右画像の位置についてのいくつかのプロンプトをどのようにして与えるかという問題を解決することを目的とする。
関連技術として、米国特許20100316282号には、第1のピクチャおよび第2のピクチャと、第1のピクチャと第2のピクチャの間の位置/方向の変化に関する情報とに基づいて3D画像を作成する方法が開示されている。
本発明は、単一のカメラを使用して3D画像を取り込む方法を開示するものである。画像処理機能を、単一のカメラを備えたモバイル装置に追加して、左画像と右ピクチャの特徴点を突き合わせて立体画像を取り込む。
モバイル装置が左画像を取り込むと、システムは、左画像の特徴点を抽出する。次いで、モバイル装置を移動させて右ピクチャを撮影したら、システムは、右ピクチャの特徴点を抽出する。以下、右ピクチャは、カメラがディスプレイに表示しているピクチャを指し、これに対して、右画像は、カメラが撮った、結合してステレオ3D画像になる画像を指すことに留意されたい。さらに、「取り込む」は、写真を撮るときに用い、「撮影する」は、ピクチャを表示するときに用いる。
その後、システムは、双方向性最大相関および視差制約に基づいて特徴点一致方法を使用して、左画像の特徴点マップを右ピクチャの特徴点マップと比較して、物体のサイズを解析する。2つのマップにおける物体のサイズが同じである場合には、これは、両者の視距離が同じであることを示す。2つのマップにおける物体のサイズが異なる場合には、2つのマップにおける物体のサイズが同じになるまで、カメラを移動させる。さらに、システムは、これらの特徴点マップ間の垂直ずれを比較する。さらに、カメラを平行移動および回転させて、垂直ずれを打ち消す。最後に、ユーザは、右画像を取り込み、正確に結合してステレオ3D画像にすることができる。
本発明の1つの態様によれば、単一のカメラを使用して3D画像を作成する方法であって、単一のカメラによって、第1の位置で、右側画像または左側画像のうちの一方となる第1の画像を取り込むステップと、前記第1の画像の特徴点を抽出するステップと、前記第1の位置とは異なる位置で、前記右側画像または左側画像のうちの他方となる第2の画像を発見するためにピクチャを撮影するステップと、前記ピクチャの特徴点を抽出するステップと、前記第1の画像および前記ピクチャの特徴点を比較するステップと、2つの3Dカーソルを生成するステップであり、前記3Dカーソルのうちの一方が前記第2の画像の目標位置を示し、前記3Dカーソルのうちの他方が前記カメラの現在位置を示すステップと、前記2つの3Dカーソルを前記ピクチャ内に表示するステップと、前記カメラを平行移動および回転させることによって前記現在位置を示す前記カーソルが前記目標位置を示す前記カーソルと完全に重なり合ったときに、前記第2の画像を取り込むステップと、前記第1の画像と前記第2の画像を結合して、3D画像を作成するステップとを含む方法が提供される。
本発明の別の態様によれば、単一のカメラを使用して3D画像を作成するシステムであって、単一のカメラによって、第1の位置で、右側画像または左側画像のうちの一方となる第1の画像を取り込む手段と、前記第1の画像の特徴点を抽出する手段と、前記第1の位置とは異なる位置で、前記右側画像または左側画像のうちの他方となる第2の画像を発見するためにピクチャを撮影する手段と、前記ピクチャの特徴点を抽出する手段と、前記第1の画像および前記ピクチャの特徴点を比較する手段と、2つの3Dカーソルを生成する手段であり、前記3Dカーソルのうちの一方が前記第2の画像の目標位置を示し、前記3Dカーソルのうちの他方が前記カメラの現在位置を示す手段と、前記2つの3Dカーソルを前記ピクチャ内に表示する手段と、前記カメラを平行移動および回転させることによって前記現在位置を示す前記カーソルが前記目標位置を示す前記カーソルと完全に重なり合ったときに、前記第2の画像を取り込む手段と、前記第1の画像と前記第2の画像を結合して、3D画像を作成する手段とを含むシステムが提供される。
本発明の上記その他の態様、特徴および利点は、以下の説明を添付の図面と関連付けて読めば明らかになるであろう。
3D立体ディスプレイの概念を示す例示的な図である。 2つのカメラを使用してステレオ写真を取り込む基本的な方法を示す例示的な図である。 本発明の実施形態による、単一のカメラを使用して2つの画像を取り込むステップを示す例示的な流れ図である。 本発明の実施形態による、単一のカメラを使用して2つの画像を取り込むステップを示す例示的な流れ図である。 本発明の実施形態による、単一のカメラを使用して2つの画像を取り込むステップを示す例示的な流れ図である。 本発明の実施形態による、単一のカメラを使用して2つの画像を取り込むステップを示す例示的な流れ図である。 本発明の実施形態による、単一のカメラを使用して2つの画像を取り込むステップを示す例示的な流れ図である。 本発明の実施形態による、携帯電話の3D画像取込みシステムの主要なステップを示す例示的な流れ図である。 本発明の実施形態による、携帯電話の3D画像取込みシステムの主要なステップを示す例示的な流れ図である。 本発明の実施形態によるシステムの例示的なブロック図である。
以下の説明では、本発明の実施形態の様々な態様について述べる。説明では、完全な理解が得られるように、具体的な構成および詳細について述べる。ただし、本発明は、本明細書に記載する具体的な詳細を用いることなく実施することもできることは、当業者には明らかであろう。
本発明は、ユーザが単一のカメラを使用するときのステレオ3D画像の結合のための第2の画像の取込みのプロンプトに焦点を当てる。本発明は、一般に、特徴点一致方法を使用して、2つの画像の間の位置ずれデータおよび視差データを得る3D画像取込みシステムに関する。
モバイル装置が左画像を取り込むと、システムは、ステレオ3D画像のための右画像の特徴点が推定されるように、左画像の特徴点を抽出する。さらに、システムは、右画像の最良の位置についてのいくつかのプロンプトを、ユーザに与える。ユーザは、この位置データに従って、結合してステレオ画像にするための右画像を正確に取り込むことができる。ユーザが右ピクチャを撮影すると、スクリーンには2つの3Dカーソルが示される。1つは、右画像の目標位置を示すものであり、もう1つは、カメラの現在位置を示すものである。2つの3Dカーソルが重なると、ユーザは、結合してステレオ3D画像にする右画像を正確に取り込むことができる。
カメラを備えた携帯電話を使用して2つの画像を取り込むステップを、図3Aから図3Eを参照しながら以下に示す。
1.ユーザは、カメラを備えた携帯電話を使用して、第1の画像を取り込む(図3A)。
2.スクリーンに、3つの奥行き情報アイコンが表示される。3つのアイコンは、それぞれ「スクリーンの前方」、「スクリーン上」および「スクリーンの後方」を示す。ユーザは、2つの画像の視差に対してどのような影響を及ぼしたいかに基づいて、3つのアイコンのうちの1つを選択する(図3B)。
3.ユーザは、携帯電話を右に移動させて、右画像の視野を探し出す(図3C)。
4.スクリーンに、2つの3Dカーソルが表示される。1つは、取り込む右画像の目標位置を示し、もう1つは、カメラの現在位置を示す。ユーザは、2つの3Dカーソルを平行移動および回転によって重ね合わせる(図3D)。
5.2つの3Dカーソルが重なり合ったら、右画像を取り込む(図3E)。
システムの説明の1つは、以下のようになる。これは、3Dカーソルを駆動するものである。
1.モバイル装置は、左画像を取り込む。
2.システムは、この左画像を第1の画像とし、第1の画像の特徴点を抽出する。
3.スクリーンに、3つの奥行き情報アイコンが表示される。3つのアイコンは、それぞれ「スクリーンの前方」、「スクリーン上」および「スクリーンの後方」を示す。ユーザは、2つの画像の視差に対してどのような影響を及ぼしたいかに基づいて、3つのアイコンのうちの1つを選択する。
4.携帯電話を右に移動させて、右画像の視野を探し出す。
5.システムは、ディスプレイに表示される右ピクチャの特徴点を抽出する。
6.既知の通り、ほとんどの現在の3Dディスプレイは、3Dステレオの概念に基づいて構築されており、大きな違いは、左眼と右眼のそれぞれ2つの視野を分離する方法である。従って、システムは、特徴点一致方法を用いて2つのピクチャの間の視差を解析する。
7.スクリーンに、2つのピクチャの間の視差を調節するための2つの3Dカーソルが表示される。
8.システムは、双方向性最大相関および視差制約に基づいて、特徴点一致方法を用いて、左画像の特徴点マップ、すなわち物体の外側境界を示す特徴点の集合を、右ピクチャの特徴点マップと比較し、これにより、システムは、両マップにおける物体のサイズを解析することができる。2つのマップ中の物体のサイズが同じである場合には、これは、両ピクチャの視距離が同じであることを示している。
9.スクリーンに、2つの3Dカーソルが表示される。2つの3Dカーソルのサイズが異なる場合には、ユーザは、両カーソルのサイズが同じになるまで、カメラを前方または後方に移動させる。これにより、左画像と右ピクチャの両方の視距離が同じになる。
10.システムは、両特徴点マップの間の垂直ずれを比較する。
11.平行移動および回転によって垂直ずれを打ち消すために、2つの3Dカーソルがスクリーンに表示される。
12.2つの3Dカーソルが重なり合ったら、右画像を取り込む。システムは、右画像を第2の画像とする。次いで、システムは、第1の画像と第2の画像を正確に結合して、3Dステレオ画像にする。
携帯電話の3D画像取込みシステムの主要なステップを示す流れ図を、図4Aおよび図4Bに示す。ステップ401で開始される。ステップ403で、ユーザは、単一のカメラによって左画像を取り込む。ステップ405で、3D画像取込みシステムは、この左画像の特徴点を抽出する。ステップ407で、3D画像取込みシステムは、ユーザに対して3D効果を提示する3つの奥行き情報アイコンをスクリーンに表示する。3つのアイコンは、それぞれ「スクリーンの前方」、「スクリーン上」および「スクリーンの後方」を示す。ステップ409で、ユーザは、所望の3D効果を得るために、3つのアイコンのうちの1つを選択する。ステップ411で、ユーザは、カメラを移動させて、右画像の視野を探し出す。ステップ413で、3D画像取込みシステムは、ディスプレイに表示されている右ピクチャの特徴点を抽出する。ステップ415で、3D画像取込みシステムは、左画像と右ピクチャの間の視差を、それらの特徴点マップを比較することによって解析する。ステップ417で、3D画像取込みシステムは、視差調整のための2つの3Dカーソルを、ディスプレイに表示する。これらのカーソルの1つは、右画像の目標位置を示し、もう1つは、カメラの現在位置を示す。ステップ419で奥行き効果が十分である場合には、プロセスは、ステップ421に進む。ステップ419で奥行き効果が不十分である場合には、プロセスは、ステップ411に戻る。ステップ421で、3D画像システムは、特徴点マップを使用して、左画像および右ピクチャの両方における物体サイズを解析する。ステップ423で、3D画像システムは、左画像および右ピクチャの両方の視距離に関する3Dカーソルを、スクリーンに表示する。ステップ425で2つの3Dカーソルのサイズが同じである場合には、プロセスは、ステップ427に進む。ステップ425で2つの3Dカーソルのサイズが同じでない場合には、プロセスは、ステップ411に戻る。ステップ427で、3D画像システムは、特徴点マップを使用して、左画像と右ピクチャの両方の間の垂直ずれを比較する。ステップ429で、3D画像システムは、ユーザがカメラの平行移動および回転によって垂直ずれを打ち消すことができるように、2つの3Dカーソルを表示する。ステップ431で2つの3Dカーソルが重なり合っている場合には、プロセスは、ステップ433に進む。ステップ431で2つの3Dカーソルが重なり合っていない場合には、プロセスは、ステップ411に戻る。ステップ433で、ユーザは、2つのカーソルが重なり合う位置で右画像を取り込む。ステップ435で、3D画像システムは、左画像と右画像を結合して、3D画像を作成する。その後、プロセスは、ステップ437で終了する。
図5は、本発明の実施形態によるシステム510を示す例示的なブロック図である。システム510は、携帯電話、コンピュータ・システム、タブレット、携帯ゲーム機、スマートフォンなどとすることができる。システム510は、CPU(中央処理装置)511、カメラ512、記憶装置513、ディスプレイ514、およびユーザ入力モジュール515を備える。図5に示すように、RAM(ランダム・アクセス・メモリ)などのメモリ516を、CPU511に接続することができる。
カメラ512は、単一のレンズで左画像および右画像を取り込む要素である。CPU511は、上記で説明したように、3D画像取込みシステムの各ステップを処理する。
ディスプレイ514は、テキスト、画像、ビデオおよびその他の任意のコンテンツを、システム510のユーザに対して視覚的に提示するように構成される。ディスプレイ514は、3Dコンテンツに対応していればどのようなタイプのものであってもよい。
記憶装置513は、CPU511が上記で説明したようにプロセスを駆動および動作させて3D画像を作成するためのソフトウェア・プログラムおよびデータを格納するように構成される。
ユーザ入力モジュール515は、文字またはコマンドを入力するためのキーまたはボタンを含むことができ、また、キーまたはボタンを用いて入力された文字またはコマンドを認識する機能も備える。ユーザ入力モジュール515は、システムの用途によっては、システムから省略してもよい。
本発明は、携帯電話やタブレットなど、カメラを備えたモバイル装置に適用することができる。複数視点写真は、基本的には一連の隣接したステレオ写真であるので、本発明は、同様のハードウェアおよびソフトウェア構成で、ステレオ写真だけでなく複数視点写真を撮ることができる。
本発明の原理の上記その他の特徴および利点は、当業者なら、本明細書の教示に基づいて容易に確認することができる。本発明の原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組合せで実施することができることを理解されたい。
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードし、この機械によって実行することができる。この機械は、1つまたは複数の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)および入出力(I/O)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかとすることができる。さらに、追加のデータ記憶装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。
さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれらと同様の実施態様または構成を思いつくことができるであろう。
本明細書では、添付の図面を参照して例示的な実施形態について述べたが、本発明の原理は、これらの具体的な実施形態に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施形態に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれるものとする。

Claims (10)

  1. 単一のカメラを使用して3D画像を作成する方法であって、
    単一のカメラによって、第1の位置で、右側画像または左側画像のうちの一方となる第1の画像を取り込むステップと、
    前記第1の画像の特徴点を抽出するステップと、
    前記第1の位置とは異なる位置で、前記右側画像または左側画像のうちの他方となる第2の画像を発見するためにピクチャを撮影するステップと、
    前記ピクチャの特徴点を抽出するステップと、
    前記第1の画像および前記ピクチャの特徴点を比較するステップと、
    2つの3Dカーソルを生成するステップであり、前記3Dカーソルのうちの一方が前記第2の画像の目標位置を示し、前記3Dカーソルのうちの他方が前記カメラの現在位置を示すステップと、
    前記2つの3Dカーソルを前記ピクチャ内に表示するステップと、
    前記カメラを平行移動および回転させることによって前記現在位置を示す前記カーソルが前記目標位置を示す前記カーソルと完全に重なり合ったときに、前記第2の画像を取り込むステップと、
    前記第1の画像と前記第2の画像を結合して、3D画像を作成するステップと
    を含む、方法。
  2. 前記比較するステップが、前記第1の画像および前記ピクチャの特徴点マップにおける物体のサイズおよび垂直ずれを解析することを含み、前記特徴点マップが、前記第1の画像および前記ピクチャのそれぞれにおける前記物体の外周にある特徴点を示す、請求項1に記載の方法。
  3. 前記第1の画像および前記第2の画像の視差に対する所望の影響を得るための3つの奥行き情報アイコンを表示するステップをさらに含み、前記3つの奥行きアイコンが、それぞれ「前記スクリーンの前方」、「前記スクリーン上」、および「前記スクリーンの後方」を示し、
    前記目標3Dカーソルの位置が、選択した奥行きアイコンの3D効果を得るように決定される、請求項2に記載の方法。
  4. 前記2つの3Dカーソルのサイズが同じである場合には、前記第1の位置および前記位置の視距離が同じであり、前記カメラを前方または後方に移動させることによって前記2つの3Dカーソルの大きさが同じになる、請求項1から3の何れか一項に記載の方法。
  5. 前記第1の画像と前記ピクチャの間の垂直ずれが、前記カメラを平行移動および回転させることによって打ち消される、請求項1から4の何れか一項に記載の方法。
  6. 単一のカメラを使用して3D画像を作成するシステムであって、
    単一のカメラによって、第1の位置で、右側画像または左側画像のうちの一方となる第1の画像を取り込む手段と、
    前記第1の画像の特徴点を抽出する手段と、
    前記第1の位置とは異なる位置で、前記右側画像または左側画像のうちの他方となる第2の画像を発見するためにピクチャを撮影する手段と、
    前記ピクチャの特徴点を抽出する手段と、
    前記第1の画像および前記ピクチャの特徴点を比較する手段と、
    2つの3Dカーソルを生成する手段であり、前記3Dカーソルのうちの一方が前記第2の画像の目標位置を示し、前記3Dカーソルのうちの他方が前記カメラの現在位置を示す手段と、
    前記2つの3Dカーソルを前記ピクチャ内に表示する手段と、
    前記カメラを平行移動および回転させることによって前記現在位置を示す前記カーソルが前記目標位置を示す前記カーソルと完全に重なり合ったときに、前記第2の画像を取り込む手段と、
    前記第1の画像と前記第2の画像を結合して、3D画像を作成する手段と
    を含む、システム。
  7. 前記比較する手段が、前記第1の画像および前記ピクチャの特徴点マップにおける物体のサイズおよび垂直ずれを解析する手段を含み、前記特徴点マップが、前記第1の画像および前記ピクチャのそれぞれにおける前記物体の外周にある特徴点を示す、請求項6に記載のシステム。
  8. 前記第1の画像および前記第2の画像の視差に対する所望の影響を得るための3つの奥行き情報アイコンを表示する手段をさらに含み、前記3つの奥行きアイコンが、それぞれ「前記スクリーンの前方」、「前記スクリーン上」、および「前記スクリーンの後方」を示し、
    前記目標3Dカーソルの位置が、選択した奥行きアイコンの3D効果を得るように決定される、請求項7に記載のシステム。
  9. 前記2つの3Dカーソルのサイズが同じである場合には、前記第1の位置および前記位置の視距離が同じであり、前記カメラを前方または後方に移動させることによって前記2つの3Dカーソルの大きさが同じになる、請求項6から8の何れか一項に記載のシステム。
  10. 前記第1の画像と前記ピクチャの間の垂直ずれが、前記カメラを平行移動および回転させることによって打ち消される、請求項6から9の何れか一項に記載のシステム。
JP2015544289A 2012-11-30 2012-11-30 単一のカメラを用いて3d画像を取り込む方法およびシステム Pending JP2016504828A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/085613 WO2014082276A1 (en) 2012-11-30 2012-11-30 Method and system for capturing a 3d image using single camera

Publications (1)

Publication Number Publication Date
JP2016504828A true JP2016504828A (ja) 2016-02-12

Family

ID=50827063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015544289A Pending JP2016504828A (ja) 2012-11-30 2012-11-30 単一のカメラを用いて3d画像を取り込む方法およびシステム

Country Status (6)

Country Link
US (1) US20150326847A1 (ja)
EP (1) EP2926196A4 (ja)
JP (1) JP2016504828A (ja)
KR (1) KR20150091064A (ja)
CN (1) CN104813230A (ja)
WO (1) WO2014082276A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
CN106210705A (zh) * 2016-09-21 2016-12-07 深圳市大族三维科技有限公司 一种手机拍摄视频处理方法
CN106534832A (zh) * 2016-11-21 2017-03-22 深圳岚锋创视网络科技有限公司 立体影像处理方法及系统
CN106791782A (zh) * 2016-12-19 2017-05-31 北京星辰美豆文化传播有限公司 基于单摄像头的立体图像的拍摄方法、装置和电子设备
US20200128224A1 (en) * 2018-10-18 2020-04-23 Brian W. Bush Computer implemented method of capturing stereo images using single lens optics of any smart device without the use of any additional hardware
KR102667741B1 (ko) 2019-11-19 2024-05-22 삼성전자주식회사 3차원 객체를 표시하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504511A (ja) * 2003-09-04 2007-03-01 シャープ株式会社 立体画像を選択するための方法および装置
WO2011086898A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 3d画像撮影装置及びその制御方法
US20120162374A1 (en) * 2010-07-23 2012-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244727A (ja) * 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
US7656429B2 (en) * 2004-02-04 2010-02-02 Hewlett-Packard Development Company, L.P. Digital camera and method for in creating still panoramas and composite photographs
TWI411870B (zh) * 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
US9635251B2 (en) * 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP5539514B2 (ja) * 2010-06-30 2014-07-02 富士フイルム株式会社 撮影装置、プログラム、及び撮影方法
US8933996B2 (en) * 2010-06-30 2015-01-13 Fujifilm Corporation Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium
KR101731343B1 (ko) * 2010-07-14 2017-04-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
KR20120015165A (ko) * 2010-08-11 2012-02-21 엘지전자 주식회사 영상의 깊이감 조절 방법 및 이를 이용하는 이동 단말기
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
JP4763847B1 (ja) * 2010-08-30 2011-08-31 楽天株式会社 画像変換装置、画像処理装置、ならびに、画像処理システム
TWI433530B (zh) * 2010-11-01 2014-04-01 Ind Tech Res Inst 具有立體影像攝影引導的攝影系統與方法及自動調整方法
KR20120054746A (ko) * 2010-11-22 2012-05-31 삼성전자주식회사 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법
US9530192B2 (en) * 2011-06-30 2016-12-27 Kodak Alaris Inc. Method for determining stereo quality score and automatically improving the quality of stereo images
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20130155049A1 (en) * 2011-12-15 2013-06-20 Luugi Marsan Multiple hardware cursors per controller
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US9639959B2 (en) * 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US20130293686A1 (en) * 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504511A (ja) * 2003-09-04 2007-03-01 シャープ株式会社 立体画像を選択するための方法および装置
WO2011086898A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 3d画像撮影装置及びその制御方法
US20120162374A1 (en) * 2010-07-23 2012-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation

Also Published As

Publication number Publication date
WO2014082276A1 (en) 2014-06-05
CN104813230A (zh) 2015-07-29
KR20150091064A (ko) 2015-08-07
EP2926196A4 (en) 2016-08-24
EP2926196A1 (en) 2015-10-07
US20150326847A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
EP2328125B1 (en) Image splicing method and device
TWI544448B (zh) 影像處理方法以及影像處理裝置
EP3997662A1 (en) Depth-aware photo editing
JP2016504828A (ja) 単一のカメラを用いて3d画像を取り込む方法およびシステム
CN102722080B (zh) 一种基于多镜头拍摄的多用途立体摄像方法
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
CN102135722B (zh) 摄像机结构、摄像机系统和方法
KR101804199B1 (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
WO2017032336A1 (en) System and method for capturing and displaying images
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
TW201351959A (zh) 立體全景影像合成方法及其相關之立體攝影機
TW201220817A (en) Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo
TWI584050B (zh) 全景立體圖像的合成方法、裝置及其移動終端
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
WO2023169283A1 (zh) 双目立体全景图像的生成方法、装置、设备、存储介质和产品
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
TWI502271B (zh) 控制方法及電子裝置
Richardt et al. Video for virtual reality
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
WO2022002158A1 (zh) 拍照方法、图像处理方法和电子设备
Rastogi et al. StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos)
KR20130070034A (ko) 스마트폰을 이용한 입체이미지 촬영 장치 및 그 방법
KR20230115816A (ko) 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170829