JP2004086784A

JP2004086784A - 画像接続方法及び装置

Info

Publication number: JP2004086784A
Application number: JP2002249902A
Authority: JP
Inventors: Fumiko Kureyama; 紅山　史子; Toshio Moriya; 守屋　俊夫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-08-29
Filing date: 2002-08-29
Publication date: 2004-03-18

Abstract

【課題】複数視点の画像からのパノラマ画像生成において、画像重複部分の撮像対象物の３次元位置関係を考慮した画像接続が行えなかった。
【解決手段】複数の撮像装置と３次元計測装置に接続された画像接続装置において、奥行きの異なる複数のオブジェクトを含む画像を異なる視点において複数撮像する手段と、撮像データをもとに撮像装置の位置関係を算出する手段と、奥行きの異なる複数のオブジェクトの３次元位置関係を計測する手段と、前記にて取得した複数の撮像データと撮像装置の位置関係データと複数オブジェクトの３次元位置データを基に重複部分の画像作成する手段より、複数の撮像画像を接続して高解像度画像を作成する画像接続方法及び装置を備える。
【選択図】図６

Description

【０００１】
【発明の属する技術分野】
本発明は、複数視点の画像からパノラマ画像を生成する方法及び装置に関するものであり、この中でも特に、画像重複部分の撮像対象物の３次元位置関係を考慮した画像接続方法及び装置に関する。
【０００２】
【従来の技術】
高解像度の映像を表示するシステムの普及や視点移動の出来るＶＲコンテンツの普及に伴い、高解像度コンテンツの需要が増えている。ＣＧ画像は出力画像サイズを自由に設定できるため高解像度画像の作成は容易であるが、実写画像は撮像装置に制限があるため得られる画像の解像度には限度がある。また、映画鑑賞に堪え得る解像度の画像を一度に得るためには大変高価な撮像装置が必要になる上、撮像したデータをディジタル化するためのフィルムスキャンニングも容易ではないため、気軽に高解像度画像を得ることが出来ない。
【０００３】
そこで、一般的な撮像装置を用いて実写の高解像度画像を得る方法として、複数のカメラにより撮影した画像を繋ぎあわせたり、移動カメラにより撮影した画像を繋ぎ合わせる方法がある。
【０００４】
複数の画像をシームレスに接続する際の重なり部分の画像を得るための方法として、以下の方法が提案されている。
【０００５】
特開２００１−２２２７０７号広報の「中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記憶媒体」では、２つの静止画像の中間画像生成において、二つの画像の重なり部分を抽出し、特徴点のオプティカルフローによる追跡結果をもとに、重なり部分にどのような幾何変形を施すかを算出し、中間画像を作成する方法について述べている。
【０００６】
また、奥行きの異なる３次元空間内オブジェクトの移動に伴う中間画像の作成方法として、以下の方法が提案されている。
【０００７】
特開２００２−１６３６７８号広報の「擬似三次元画像生成方法及び装置」では、３次元ＣＧ画像のリアルタイム表示において、多数のポリゴンをリアルタイムに計算して描画するのは計算負荷が大きいため、キーフレームにおける３次元のオブジェクトモデルを画像処理によって補間し中間フレームを生成することにより、擬似的に３次元画像を生成する方法について提案している。更に、オクルージョンが生じた場合は、奥行き方向にレイヤ構造をもたせ、各レイヤごとに補間処理を行っている。
【０００８】
【発明が解決しようとする課題】
上述した特開２００１−２２２７０７号広報は、２次元画像同士の中間画像生成方法において、特徴点のオプティカルフローによる追跡結果をもとに、重なり部分にどのような幾何変形を施すかを算出し、中間画像を作成する方法を述べているが、本方法は、オブジェクトの奥行き情報を考慮していないため、奥行きの違いによって２次元画像に映るオブジェクトの左右の位置関係が変わったときに対応することが出来ない。
【０００９】
また、上述した特開２００２−１６３６７８号広報では、３次元の奥行き情報を考慮して２次元画像上でキーフレームを設置し擬似的に中間画像を生成する方法を述べているが、本方法は、３次元構造が既知であるＣＧ画像の中間画像作成に限定されており、３次元構造が未知である実写画像に適応することが出来ない。
【００１０】
このように、実写画像を利用した中間画像作成及びパノラマ画像作成において、画像の重なり部分に描画されるオブジェクトの３次元位置を考慮したものはなかった。
【００１１】
本発明の目的は、上記問題点を考慮して発案されたものであり、その目的は複数のカメラで撮影された実写画像からオブジェクトの３次元位置を考慮したパノラマ画像を作成することにある。
【課題を解決するための手段】
本発明の一実施形態では、複数の撮像装置と３次元計測装置に接続可能な画像接続装置において、奥行きの異なる複数のオブジェクトを含む画像を異なる視点において複数撮像する手段と、撮像データをもとに撮像装置の位置関係を算出する手段と、奥行きの異なる複数のオブジェクトの３次元位置関係を計測する手段と、前記にて取得した複数の撮像データと撮像装置の位置関係データと複数オブジェクトの３次元位置データを基に、複数の撮像画像を接続してパノラマ画像を作成する画像接続方法及び装置を提供する。
【００１２】
【発明の実施の形態】
以下に、本発明における実施の形態を図面を参照しながら詳述する。
【００１３】
図１は、本発明における全体構成を表した図である。本構成図は、撮像装置２台を用いて２つの画像を接続する場合の構成図である。
【００１４】
画像処理を行うＰＣ（４０）は、プログラムに基づいた計算や制御を行うＣＰＵ（１）、データやプログラムを記憶するメモリ等の主記憶装置（１００）、およびハードディスク等の補助記憶装置（２００）を含んでおり、３次元空間内のオブジェクト群（３０）を撮像する２つの撮像装置（１０−ａ）（１０−ｂ）に接続可能であり、２つの撮像装置（１０−ａ）（１０−ｂ）の中間に備える３次元計測装置（２０）にも接続可能である。
【００１５】
図２は、本発明のシステム構成を示した図である。
【００１６】
本システムは、プログラムに基づいた計算や制御を行うＣＰＵ（１）、データやプログラムを記憶するメモリ等の主記憶装置（１００）、およびハードディスク等の補助記憶装置（２００）を含む。
【００１７】
また、３次元空間内に存在するオブジェクトを撮像する２つの撮像装置（１０−ａ）（１０−ｂ）、３次元空間内に存在するオブジェクトの位置関係を測定する３次元計測装置（２０）、撮像アナログデータをデジタルデータに変換するＡ／Ｄ変換器（４０）、これらの構成要素を相互に結合するバス（２）からなる。
【００１８】
なお、ここで、直接デジタルデータを得ることが可能な撮像装置（１０−ａ）（１０−ｂ）を使用した場合は、Ａ／Ｄ変換器（４０）を通す必要はなく、直接データを取り込めばよい。同様に、直接デジタルデータを得ることが可能な３次元計測装置（２０）を使用した場合も、Ａ／Ｄ変換器（４０）を通す必要はなく、直接データを取り込めばよい。
【００１９】
補助記憶装置（２００）は、中間画像を作成するもとの画像となる撮像装置（１０−ａ）と撮像装置（１０−ｂ）にて撮像した画像データを格納する撮像データ格納部（２１０）、２つの撮像装置（１０−ａ）（１０−ｂ）がどの位置から撮像しているかを表す３次元位置データを格納する撮像位置データ格納部（２２０）、２つの撮像装置（１０−ａ）（１０−ｂ）に撮像された３次元空間内に存在するオブジェクトの位置をを３次元測定装置（２０）で測定した３次元位置データを格納する３次元位置データ格納部（２３０）、上記データを基に作成した２つの撮像装置（１０−ａ）（１０−ｂ）から得られる画像の重複部分の格納する重複部分画像データ格納部（２４０）よって構成されている。
【００２０】
主記憶装置（１００）は、統括制御部（１１０）、撮像部（１２０）、３次元位置データ取得部（１２０）、重複部分画像作成部（１３０）、によって構成されている。
【００２１】
統括制御部（１１０）には、２つの撮像装置（１０−ａ）（１０−ｂ）が撮像するタイミングを制御するタイミング制御部（１１１）が含まれる。撮像物が全て静止オブジェクトである場合は同一のタイミングで撮像する必要はないが、動体オブジェクトが含まれる場合は、同一のタイミングで撮像しないと、撮像画像に存在するオブジェクトの位置にずれが生じるため、タイミング制御が必要になる。
【００２２】
撮像部（１２０）には、異視点画像を撮像する撮像プログラム（１２１）が含まれる。撮像物が全て静止オブジェクトである場合は、２つの撮像装置を用いて異視点画像を撮像する必要はなく、１つの撮像装置で異なる２つの位置で撮像してもよい。また、２つの撮像装置の位置データを取得する撮像装置相対位置算出プログラム（１２２）も含まれる。２つの撮像装置の位置が既知であればそのデータを使用し、未知であれば２つの撮像画像より導き出すこととにより、２つの撮像装置の位置関係を求める。
【００２３】
３次元位置計測部（１３０）には、３次元測定装置（２０）にて３次元空間内に存在するオブジェクトの位置関係を測定する３次元位置計測プログラム（１３１）が含まれる。
【００２４】
重複部分画像作成部（１４０）には、２つの撮像装置（１０−ａ）（１０−ｂ）にて撮像された異視点画像を取得する異視点画像取得プログラム（１４１）、撮像装置の位置データを取得する撮像装置位置データ取得プログラム（１４２）、３次元測定装置（２０）にて測定されたオブジェクトの３次元位置データを取得する３次元位置データ取得プログラム（１４３）、画像の重なり部分に存在するオブジェクト部分を切り出すオブジェクト抽出部（１４４）、上記３つのデータより２つの撮像装置（１０−ａ）（１０−ｂ）の中間視点からの画像を作成することにより重複部分の画像を作成する重複部分画像作成プログラム（１４５）にて構成される。この時、オブジェクト毎に２次元画像上で変形を行うことにより、重複部分画像を作成する。
【００２５】
図３は、本実施形態における内部構成を示した図である。
【００２６】
まず、統括制御部（１１０）にて指示されたタイミングにおいて、撮像部（１２０）にて、２つの撮像装置（１０−ａ）（１０−ｂ）にて撮像された撮像データ（２１０）を得る。撮像部（１２０）では、ここで得られた撮像データ（２１０）内に存在するオブジェクトの特徴点の位置関係をもとに、撮像装置（１０−ａ）（１０−ｂ）の相対位置関係を表す撮像位置データ（２２０）を算出する。
また、上記撮像データを取得するのと同一のタイミングにおいて、３次元計測装置（２０）にて計測された撮像空間内に存在するオブジェクトの３次元位置関係を表す３次元位置データ（２３０）を取得する。このとき、３次元計測装置（２０）は、２つの撮像装置（１０−ａ）（１０−ｂ）の中間に設置されるため、３次元計測装置（２０）にて位置関係を測定したオブジェクトは、どちらの撮像装置にも撮像されている。
【００２７】
上記にて取得した撮像データ（２１０）、撮像位置データ（２２０）、３次元位置データ（２３０）を用いて、中間視点画像作成部（１４０）にて、２つの撮像装置（１０−ａ）（１０−ｂ）の撮像データの重複部分画像データ（２４０）を作成する。
【００２８】
図４は、２つの撮像装置（１０−ａ）（１０−ｂ）で、３次元空間内のオブジェクト（３１）（３２）（３３）を撮像している図を示している。
【００２９】
図５は、図４の撮像装置位置、オブジェクト位置にて撮像した時の、撮像画像データを示している。
【００３０】
図５から明らかなように、カメラ位置を移動して撮像を行うと、オブジェクトの奥行きに応じて、２次元画像上におけるオブジェクトの左右の位置関係が変わる場合がある。
【００３１】
図６は、本実施形態においてその処理の流れを示すフローチャートである。
【００３２】
ここでは、２つの撮像装置にて撮像された画像をつなぎ合わせる方法について説明する。撮像装置の台数が増え、繋ぎ合わせる画像数が増えても、同様の処理を各画像の重複部分にて行うことにより、対応が可能である。
【００３３】
まず、ステップ１０００にて、２つの撮像装置（１０−ａ）（１０−ｂ）にて撮像を行う。このとき、後で２つの画像を繋ぎ合わせることを考慮して、画像の重なり合う部分ができるような位置にて撮像を行う。
【００３４】
また同時に、ステップ１１００にて、３次元計測装置（２０）にて、空間内に存在する近景のオブジェクトの３次元位置関係の計測を行う。
次に、ステップ１２００にて、ステップ１０００にて撮像した２つの画像の重複部分を抽出する。画像内における特徴点の対応付けることにより、重複部分の抽出を行う。
【００３５】
ステップ１３００では、重複部分に近景オブジェクトが存在するかどうかを確認する。撮像装置位置の変化によるオブジェクトの移動量に閾値を設け、閾値を越えるオブジェクトに関しては近景オブジェクトであると判定する。上記判定により、近景オブジェクトが存在する場合は、ステップ１４００に進み、近景オブジェクトが存在しない場合は、ステップ１６００に進む。
【００３６】
ステップ１４００では、近景オブジェクトの抽出を行う。
【００３７】
ステップ１５００では、近景オブジェクト抽出データと、ステップ１１００にて計測されたそれぞれのオブジェクトの３次元位置情報より、各オブジェクトに対して奥行きを持ったレイヤを作成する。
【００３８】
ステップ１６００では、オブジェクト部分を除いた背景画像部分の繋ぎあわせを行い、背景接続画像を作成する。
【００３９】
同時にステップ１７００では、各レイヤに分離されたオブジェクトに対して、中間視点画像を作成する。このとき、オブジェクトの特徴点を対応付け、イメージモーフィング手法を用いて中間視点画像を作成しても良いが、カメラ位置を考慮した画像変形により中間視点画像を作成する方がより現実に近い結果が得られるため望ましい。
【００４０】
ステップ１８００では、ステップ１６００にて作成した背景接続画像と、ステップ１７００にて作成されたオブジェクトの中間視点画像の合成を行う。ステップ１３００の判定にて、画像重複部分に近景オブジェクトが存在しない場合は、背景接続画像そのままを合成結果とする。ステップ１３００の判定にて画像重複部分に近景オブジェクトが存在する場合は、オブジェクトの中間視点画像を奥行きの大きい順に背景接続画像に重ね合わせることにより、画像の合成を行う。
【００４１】
【発明の効果】
本発明によると、上記問題点を考慮して発案されたものであり、その目的は複数のカメラで撮影された実写画像からオブジェクトの３次元位置を考慮したパノラマ画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の装置の全体構成図。
【図２】第１実施形態の画像合成装置のシステム構成図。
【図３】第１実施形態の画像合成装置の内部構成図。
【図４】第１実施形態の画像合成装置の撮像装置とオブジェクトの位置関係。
【図５】図４の位置関係におけるオブジェクトの画像上の位置。
【図６】第１実施形態の画像接続装置の基本フローチャート。
【符号の説明】
１・・・ＣＰＵ、２・・・バス、１０−ａ・・・撮像装置、１０−ｂ・・・撮像装置、２０・・・３次元計測装置、３０・・・実空間オブジェクト群、３１・・・実空間オブジェクト１、３２・・・実空間オブジェクト２、３３・・・実空間オブジェクト３、４０・・・Ａ／Ｄ変換器、５０・・・ＰＣ、１００・・・主記憶装置、１１０・・・統括制御部、１１１・・タイミング制御プログラム、１２０・・・撮像装置制御部、１２１・・・撮像プログラム、１２２・・・撮像装置相対位置算出プログラム、１３０・・・３次元位置計測部、１３１・・・３次元位置計測プログラム、１４０・・・重複部分画像作成部、１４１・・・異視点画像取得プログラム、１４２・・・撮像位置データ取得プログラム、１４３・・・３次元位置データ取得プログラム、１４４・・・重複部分画像作成部、２００・・・補助記憶装置、２１０・・・撮像データ格納部、２２０・・・撮像位置データ格納部、２３０・・・３次元位置データ格納部、２４０・・・重複部分画像格納部

Claims

複数の撮像装置と３次元計測装置に接続可能な画像接続装置において、
奥行きの異なる複数のオブジェクトを含む画像を異なる視点において複数撮像する手段と、
撮像データをもとに撮像装置の位置関係を算出する手段と、
奥行きの異なる複数のオブジェクトの３次元位置関係を計測する手段と、
前記にて取得した複数の撮像データと撮像装置の位置関係データと複数オブジェクトの３次元位置データを基に、複数の撮像画像を接続してパノラマ画像を作成する画像接続装置。
請求項１に記載の画像接続装置において、
撮像画像の重複部分の接続において、
遠景背景部分から近景オブジェクトを抽出する手段と、
それぞれ独立して接続画像を作成する手段と、
前記作成接続画像同士を合成する手段を用いることにより接続画像を作成することを特徴とした画像接続装置。
複数の撮像装置と３次元計測装置に接続可能な画像接続方法において、
奥行きの異なる複数のオブジェクトを含む画像を異なる視点において複数撮像し、
撮像データをもとに撮像装置の位置関係を算出し、
奥行きの異なる複数のオブジェクトの３次元位置関係を計測し、
前記にて取得した複数の撮像データと撮像装置の位置関係データと複数オブジェクトの３次元位置データを基に、複数の撮像画像を接続してパノラマ画像を作成する画像接続方法。
請求項１に記載の画像接続方法において、
撮像画像の重複部分の接続において、
遠景背景部分から近景オブジェクトを抽出し、
それぞれ独立して接続画像を作成し、
前記作成接続画像同士を合成する手段を用いることにより接続画像を作成することを特徴とした画像接続方法。