JP2004139294A

JP2004139294A - 多視点画像処理プログラム、システム及びマーカ

Info

Publication number: JP2004139294A
Application number: JP2002302444A
Authority: JP
Inventors: Tomokazu Murakami; 村上　智一
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-10-17
Filing date: 2002-10-17
Publication date: 2004-05-13

Abstract

【課題】使用にあたって特別な訓練を必要とせず、普通のポータブル撮影装置とコンピュータを使用してマルチビュー静止画像を取り込み並べ換える簡単な方法および装置を提供する。
【解決手段】本発明は一つの物体のマルチビュー画像を撮影処理する方法を提供し、当該方法は平面上に複数のマーカーを提供し、複数のマーカーは視点・ビューの一つの方向から観察した時にマーカーの構成が視点・ビューの別の方向で観察した時の構成と異なるようにするステップと、物体の各投影プロファイルが別の構成に対応するように複数のマーカーを物体に配置するステップと、複数のマーカーを配置した物体の複数の画像を生成して画像の少なくとも幾つかが物体と複数のマーカーを描出するようにするステップと、画像において複数のマーカーの構成が描出されることを検出することで画像を異なる方向の一つに対応させるステップとを含む。このような方法は画像を自由かつ無作意に撮影するユーザによりプログラマブルハードウェア資源との関連において画像撮影装置を用いて実現できる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は物体を中心とする周辺ビューポイントから撮影した、さらに詳しくは異なる視点から自由かつ無作意に撮影した、マルチビュー画像を処理するための方法および装置に関連する。
【０００２】
【従来の技術】
ポータブル撮影装置たとえば手のひらサイズのテープレコーダ、デジタルカメラ、携帯電話、ポータブルＣＤ／ＤＶＤ／ＭＰ３プレーヤ、ポータブル・マルチメディア・デバイスなどが一般大衆にも入手可能になってきた。消費者は前述のポータブル撮影装置で自由かつ無作意に異なる視点から撮影した画像を管理するための一層ユーザーフレンドリーな画像処理システムを要求している。
【０００３】
たとえば、古いコーヒーテーブルの所有者が売るために一連の写真を撮影して商標名Ｅ−ｂａｙのもとで動作するサイトなどのウェブ上のオークション・サイトへ投稿したい場合。何らかの瑕や滲みがあるかどうかを示すためにコーヒーテーブルを、これを取り囲む空間上の多数の点から撮影したビューを閲覧者に提示することがこの目的には最適であろう。このような一連のマルチビュー画像を正しい順序に並べることで、閲覧者は迅速にある視点から別の視点へとコーヒーテーブルを眺めることができる。しかし、３０枚の写真又はデジタル画像を正しい順序に並べ換えるためには、非常に多くの時間と手間がかかる。
【０００４】
遺伝子研究者、プロ写真家、マルチメディア・ウェブコンテンツ・デベロッパ向けにマルチビュー画像を撮影して管理し、正しい順序で画像を再生するようなたとえばＱｕｉｃｋＴｉｍｅＶＲによるツールおよびユティリティなどの洗練された高価な商用仮想現実ソフトウェアがある。第１に、物体のマルチビューポイント画像を３Ｄムービング・カメラをつかって撮影し、保存する。画像を表示する際に、画像データを取り込みデータおよびグラフィック・ワークステーションで処理する。ＱｕｉｃｋＴｉｍｅＶＲツールおよびユティリティを使用するには、ユーザは特別なワークショップに参加して、ある仮想的な球体上の点を座標系として考えた時、コーヒーテーブルを取り囲む、この球体の表面上の座標から写真を撮影する方法を学習する必要がある。既存の技術は（１）クレーンのような大きな垂直アームにより支持し移動することでカメラを配置させる大型のカメラ回転装置、および／または（２）正確に制御しなければならない物体を回転させるための回転テーブルを必要とする。たとえば、学術および商業写真でのリアリティ表現のためのソフトウェアは、高精度ステッピング・モータを装備してカメラのアームとターンテーブルを独立して回転させるような２台の２軸ローテータを制御する１台のコンピュータで構成される。球体表面上の座標の各交点で、物体の画像を撮影する。最新の簡単なオムニビュー・システムでも撮影時間が２０分で、これには３２０×２４０画素ウィンドウの３６０フレーム・オブジェクト・ムービー（水平３６×垂直１０点）を作成するのにかかる時間を含まない。
【０００５】
複数台のカメラを使用する、磁気センサーを使用する、などの方法も存在するが、これらは全て複雑で高価な実装系を必要とする。しかし、大半の人にはこのようなシステムは入手不可能であり、使用方法が分からず、また高精度の仮想現実又は写実的な物体の画像を必要とはしていない。さらに、物体のサイズは、回転システムのサイズにより制限されてしまい、システムは一端組み上げられればほとんど固定される。
【０００６】
ユーザーフレンドリーで経済的な解決方法を提供するため、発明者らは各ピクチャの立体角と距離を計算し、これによってマルチビューポイント静止画を正しく組み合わせ、カメラの正確な位置合わせを必要としないアプローチを開発した。方向を識別するマーカの例としては、一組の山型同心円状マーカーをもう一組の同心円状プレーンマーカーと整列させたものを視覚センサーと組み合わせて使用し、ロボットのアームの動きを検出する方法がある（例えば、特許文献１参照）。その他、大きさが各々異なる２個の円形／正方形プレーンマーカーをそれぞれ３Ｄ位置認識装置と組み合わせて使用することにより物体の位置と姿勢を検出する方法等もある（例えば、特許文献２、特許文献３参照）。
【特許文献１】特開平０６ー２９４６１８号公報
【特許文献２】特開平０７ー０９８２０８号公報
【特許文献３】特開２００２ー０９０１１８号公報０
【発明が解決しようとする課題】
しかし、従来技術のアプローチは全てコンピュータやポータブル撮影装置の他にも、ポータブル画像撮影装置で撮影した別の角度と距離の画像を取り出して表示するための装置又は機材を必要とする。さらに、従来技術は各画像の撮影角度、距離、方向を決定するためにマーカーの座標についての知識が必須である。
【０００７】
現在のところ、使用にあたって特別な訓練を必要とせず、普通のポータブル撮影装置とコンピュータを使用してマルチビュー静止画像を取り込み並べ換える簡単な方法および装置が要求されている。
【０００８】
本発明の目的は、物体を中心として周辺のビューポイントから撮影した一組の写実的マルチビュー画像を提供することである。
【０００９】
本発明の目的は、周辺ビューポイントから撮影した一組のマルチビュー画像を迅速、簡単、かつ経済的に取り込み自動的に並べ換える方法を提供することである。
【００１０】
本発明の目的は、小さい又は大きい物体を中心とする周辺ビューポイントから撮影した一組のマルチビュー画像を柔軟に取り込み処理するシステムを提供することである。
【００１１】
本発明の目的は、各画像の撮影角度、距離、方向についての知識なしに周辺ビューポイントから撮影した一組のマルチビュー画像を取り込み並べ換えるための方法を提供することである。
【００１２】
本発明の目的は、一般に入手可能な民生用電子機器たとえばコンピュータとカメラにより、物体を中心とする周辺ビューポイントから撮影した一組のマルチビュー画像を取り込み処理するためのシステムを提供することである。
【００１３】
本発明の別の目的は、簡単なマルチビューポイント画像処理方法を提供することにより、中小ビジネスおよび消費者用また訓練および通信学習用にｅーコマース・プラットホームとしてオンライン・プレゼンテーションを促進することである。
【００１４】
【問題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば以下の通りである。マーカとともに配置されている撮像対象の物体を撮像した画像を取得するステップと、撮像した方向に対応づけられて記録されている該各方向から撮像された上記画像中に投影された上記マーカの少なくとも１部の配列の組み合わせ情報を記録手段から読み出すステップと、上記撮像した画像から上記マーカの一部を検出して、その配列と上記情報を用いて上記画像の撮像方向を決定するステップとを有することを特徴とする多視点画像処理方法をコンピュータで実行するためのプログラム。
又、上記マーカの配列は円又は楕円の第１のマーカ、円又は楕円を描くように等間隔で配置された第２のマーカを含み、該第２のマーカは、撮像画像中の対象物に対して所定の位置に位置するパターンの組み合わせが撮像方向に応じて異なることを特徴とする。
【００１５】
【発明の実施の形態】
図１に図示してあるように、一つの物体５０のマルチビュー画像を撮影処理するためのシステムは２組のマーカー１００，２００を利用して物体を中心とする周辺ビューポイントから物体のマルチビュー画像を自由かつ無作意に撮影し、画像を選択して周辺ビューのシーケンスにおいて選択された画像を構成する。本システムにおいて、ＰＣ４００にリンクした普通のカメラ３００により、リアルタイム写真位置検出が提供され無線基地局、データセンター、インターネット又は同様な物６００を含むリアリティ通信システムがこのように提供されたマルチビュー画像ファイル５００を携帯電話７００、ＰＣ８００、または同様な物に送信して簡単かつ安価に周辺ビューのシーケンスで画像を表示できるようにする。ユーザがカメラを自由に動かすとシステムが自動認識しマルチビュー画像ファイルを作成するのに適当なマルチビュー画像を選択する。以下では、マーカーの幾つかの実施例は図２から図５を参照して詳細に説明する。物体周辺で撮影した画像は個別の静止画像として残る。後に、個別の画像を一連のシーケンシャル・マルチビュー画像として組み込む。画像のシーケンス化は以下で詳細に説明する本発明の主な特徴である。
マーカー
本発明の特徴の一つはユニークなマーカー配置である。これらのマーカーは二組から構成される。一方は画像選択マーカー（たとえば図２の円）である。他方は方向識別又は画像シーケンス・マーカー（たとえば図２の円の周囲のドット）である。
【００１６】
二組のマーカー１００，２００を平面１０に配置する。画像選択マーカー１００については、各々の撮影画像で検出された楕円の長軸と短軸の長さ又は比率を検出することにより、システムがカメラで撮影した画像の物体からの角度と距離を、実際の角度や距離を検出せずに各々希望の範囲内で選択できる。マーカーの第１の組１００はアウトライン又は輪郭１５０を形成するように組み立てられる。物体５０が輪郭１５０の内側に配置されるのを保証するため、輪郭１５０の大きさは平面１０に対して直角の方向から物体５０の投影プロファイルを少なくとも内包する、即ち物体５０の垂直投影陰影を内包する。但しこれは輪郭１５０がビューポイントから正しく撮影されることを意図するものであり、これに影響しない部分は除外される。輪郭１５０は実線（図２〜図４）や、いずれか１色で正方形、ドット又は同様な物によって組み立てられた破線の単純な円とすることができる。これ以外に、実線又は破線の輪郭は別の色の部分によって組み立てられることがあり（図５）、これは後述する第２の組のマーカー２００としても機能する。輪郭は多角形たとえば正方形、五角形、超楕円又は同様な物などの形を取る。輪郭が多角形である場合、対角線又は各々の頂点からの垂線を第１と第２の軸の代用とすることができる。たとえば、輪郭が正方形の場合、対角線を調べることでシステムは輪郭の中心を発見する。輪郭が五角形の場合、輪郭の中心は頂点の幾つかからの垂線を調べることで得られる。第１の組のマーカー１００の主な機能、即ち輪郭１５０は全部の撮影した画像から再構成し表示しようとする一組の画像を選択することである。このような選択条件は選択した画像の撮像視点が観察者にとって受け入れ可能な範囲に納まることを保証する何らかの基準となり得る。
【００１７】
たとえば、輪郭１５０の軸長とこれの投影卵円形１５０’で条件を定義することができる。卵円形１５０は異なる角度からでは楕円、レモン型、超楕円の一つの形状で観察される。図２の輪郭１５０は第１の軸１５１と第２の軸１５２を有し、その長さが各々ＡとＢとして示してあり、一つの撮像視点Ｐからの図１の投影卵円形１５０’は長軸１５３と短軸１５２’を有し、その長さが各々ａとｂで表わしてある。図２において、輪郭の形状は円形で、第１の軸１５１と第２の軸１５２の長さは等しく、Ｒとして表わしてある円の半径は２Ｒ＝Ａ＝Ｂとして定義される。つまり条件はａ＜α±α’かつｂ＜β±β’として定義され、αとβは後述するようにサンプル画像を撮影することで決定する。α’とβ’が小さい程撮像角度と距離が正確即ち所定の値に近くなる。ユーザはα’とβ’を調節することで連続マルチビュー画像の一貫性（即ち均一性、品質）を調節できる。言い換えれば、各々のマルチビュー画像の対応する視点からの輪郭１５０の投影卵円形１５０’の第１の軸１５１と第２の軸１５２の長さの各々が所定の範囲内に納まる。前述の簡単な方法により、即ち所定の値に対して卵円形の長軸と短軸の長さを比較することによって、関連する撮像視点の距離又は角度を計算することなしに、本システムはリアルタイムでマルチビュー画像を処理できる。輪郭の卵円形投影時の長軸の長さと短軸の長さは周知の方法によりアウトライン化し抽出される。卵円形（又はその一部）のアウトラインは微分エッジ検出法により画像から抽出できる。オブジェクトが輪郭内部に配置されているので、卵円形の一部はオブジェクトに隠されるが、大部分は検出可能であるため長軸と短軸の長さを予測することができる。関連技術は日本ＣＧアート協会編、「画像処理標準テキストブック」画像情報教育振興協会１９９７年２月２５日（ページ１７６の［１］（ａ）参照）で参照される。
【００１８】
これ以外に、条件は所定範囲内に納まる各々の画像撮影視点の角度と距離で定義される。各々の撮像視点の角度と距離は既知の数式に基づいて投影卵円形の長軸の長さと短軸の長さから計算される。カメラ距離とカメラ角度は投影変換法から導出できる。ｄで表わすカメラと輪郭中心との間の距離は次式から求める：
【００１９】
【数１】

ここでｆ＝カメラの焦点距離である。
【００２０】
θで表わすカメラ角度は平面１０とカメラの方向線即ちビューポイントと輪郭の中心とに交差する線の間の角度として定義される。θは次式から求める：
【００２１】
【数２】

投影変換の重要な点は画像におけるマーカーと投影された楕円の輪郭の間の対応である。図２の輪郭１５０をカメラで撮影した場合、画像では図１の卵円形１５０’に投影される。次に第２の軸１５２は短軸１５２’に投影され、第１の軸１５１は図１の中心軸１５１’に投影される。輪郭１５０の中心は中心軸１５１’と短軸１５２’との交点に位置する。一般に、中心軸と長軸は一致しない。θが９０度に近いか又はカメラと輪郭の間の距離が充分に遠い場合、中心軸１５１’と長軸１５３はほぼ一致する。マルチビュー画像を撮影する限り、システムは中心軸を検出せずに所定の値に対して長軸と短軸を比較するだけでよい。投影変換法によってマーカーからカメラ距離とカメラ角度を導出する方法については特開平０７ー９８２０８号に開示されている。
【００２２】
画像シーケンス化マーカーについては、輪郭の別の位置に対応するドットの色又は個数を調べることで、システムは物体に対して各々の選択した画像の撮影方向を決定できる。重要な点は検出方向の個数とドットの種類の関係である。第２の組のマーカー２００は輪郭１５０を均等に取り囲む。第２の組のマーカー２００の主な機能は物体を輪郭に沿って移動する多数の方向から観察しているようなシーケンスで選択した画像を構成することである。選択した画像のシーケンスは輪郭の周囲に配置されている第２の組のマーカーの別の種類で記録された変換テーブルにしたがって判定される。卵円形の別の位置に対応する第２の組のマーカーの種類は変換テーブルと照合されシーケンスとして決定される。各々の方向に一つのユニークな番号又は一つのユニークなマーカーを割り当てるのではなく（図７の表）、本発明は識別マーカーを次式により単純化する：
【００２３】
【数３】

ここでＤ＝識別方向、Ｃ＝検出方向、Ｓ＝マーカーの種類である。
【００２４】
第２の組のマーカーは個数、形状、大きさ、又は色によって所定の種別番号Ｓに識別されて所定の方向番号Ｄで輪郭の周囲に均等に配置され、一方で第２の組のマーカーの種類はＤ方向のいずれかの周囲に非対称に配置される。物体に対して各々の選択された画像の対応する視点の各々の方向が選択画像に示した第２の組のマーカーの種類に基づいて識別される。たとえば、図６に図示した選択画像Ｓ１〜Ｓ８（物体は省略してある）は図２による第２の組のマーカーの第１実施例を使用する。図２は８方向ａ〜ｈに８ドットを示し、ａ，ｅ，ｇ，ｈ＝○でｂ，ｃ，ｄ，ｆ＝●である。時計回りのシーケンスで選択画像Ｓ１〜Ｓ８を並べ換えるには、本発明のシステムはまず選択画像で卵円形１５０’の周囲の３時、６時、９時方向にあるドットの色を検出／同定し、次に図８にある所定のシーケンス・テーブルとデータを比較して選択画像のシーケンスを決定する。この場合、Ｓ１から時計回りに始まるシーケンスはＳ１→Ｓ６→Ｓ３→Ｓ４→Ｓ８→Ｓ５→Ｓ７→Ｓ２となるはずである。同様に、Ｓ１から反時計回りに始まるシーケンスは、Ｓ１→Ｓ２→Ｓ７→Ｓ５→Ｓ８→Ｓ４→Ｓ３→Ｓ６となるはずである。
【００２５】
図７と図８を比較すると、ドット識別表は第１のシステムが８種類（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ）ではなく２種類だけの記号（○と●）しか含まない点で英数字識別表より優れており、これによりソフトウェアは同定識別が簡単になり動作速度を向上させられる。本発明の第２の組のマーカーの別の実施例は同じ利点を提供する。本発明の第２の組のマーカーの第２の実施例が図３に図示してあり、これには８方向ａ〜ｈでの８組のドットを含み、ａ，ｅ，ｇ，ｈ＝●でｂ，ｃ，ｄ，ｆ＝●●（ここでも２種類の記号●と●●しか含まない）。本発明の第２の組のマーカーの第３実施例が図４に図示してあり、これは１６方向ａ〜ｈ’で１６ドットを含み、ａ、ａ’，ｃ，ｅ，ｈ，ｈ’＝○、ｂ，ｄ，ｅ’ｆ，ｆ’，ｇ＝●、ｂ’、ｃ’、ｄ’、ｇ’＝（×）（ここでも３種類の記号○と●と（×）しか含まない）。実施例１〜２では、２種類の記号が３検出方向で検出され８方向を識別する。実施例３では、３種類の記号が３検出方向で検出されて１６方向を識別する。（システムはＳ＝３，Ｃ＝３，Ｄ＝２７として式（３）により２７検出方向までの識別が可能である）。
【００２６】
識別方向Ｄ、検出方向Ｃ、マーカーの種類Ｓが多くなるほどシーケンスに構成される識別画像が多くなる。物体の画像シーケンスを作成するための画像枚数を考えると、選択された画像が平面から垂直方向に同じ角度で水平方向１０度ごとの識別（Ｄ＝３６）であれば合計３６枚の画像が画像シーケンス作成に利用できる。３６画像を撮影するコストは単にフィルム１ロール分又はデジタルカメラのメモリだとほとんどゼロである。ユーザはＤ、Ｃ、Ｓの調節によりシーケンシャル・マルチビュー画像の品質を調節できる。ユーザの利便のため、Ｄ＝８，Ｓ＝２，Ｃ＝３が初期設定になっている。
【００２７】
図７から図８の抽象的対応テーブルの代わりに、システムは図２のマーカーの複数のことなる配置即ちマーカーの画像（図６に示した画像と似ている）をあらかじめ格納しておくことができる。配置画像を撮影画像と比較し別の撮影画像又は絶対方向たとえば北極に対する方向を識別することができる。
【００２８】
前述のように、各々の視点・ビューは平面上の方向、平面からの角度、物体からの距離によって定義される。第２の組のマーカーを使用して方向を識別し、第１の組のマーカーである輪郭を用いて受け入れ可能な角度と距離に納まる画像を選択する。このアプローチは図１に図示した水平面内だけではなく垂直面にも応用できる。言い換えれば、マーカーを垂直面に提供して同じ処理を行ない、異なる角度で同じ方向から撮影した画像を識別構成することができる。類推により、同じアプローチをとって同じ方向と角度から異なる距離で撮影した画像を識別構成することができる。
【００２９】
本発明の別の実施例では、識別水平方向の各垂直面に同じ識別技術を適用することにより、ユーザはさらに垂直ビューの枚数を設定してシーケンスをさらに詳しく構成することができる。たとえば、選択画像が水平方向１０度ごと、垂直方向１０ビューで、９０度から０度の角度、合計３６０画像が画像シーケンスの作成に利用できる（１０×３６＝３６０）。
【００３０】
第２の組のマーカーの第４の実施例では、第１と第２の組のマーカーを、図５に図示したようにひとつの輪郭１６０に組み合わせる。言い換えれば、第２の組のマーカーのアウトラインが第１の組のマーカーを構成する。このようにすると、図２〜図４に図示した実施例は輪郭１５０を排除することで簡略化できる。システムは第２の組のマーカーをリンクすることでアウトライン／輪郭を生成できる。図５は８方向ａ〜ｈを表わす８つのセクションとそのエッジを含む。本実施例では、８種類の記号が１検出方向で検出されて８方向を識別する、即ちＳ＝８，Ｃ＝１，Ｄ＝８である。第１および／または第２の組のマーカー１００，２００は２次元（平面）又は３次元で良い。
【００３１】
本発明のマーカーによれば、画像はマーカー座標の知識なしに、また従来技術では必要とされたような各画像の撮影角度、距離、撮影方向の知識なしに順序付けられる。さらに、従来技術では全部のマーカーを各画像に含める必要があったが、本発明によりマーカーの幾つかが物体により隠蔽されるような場合でも全部のマーカーを含めることなく画像を撮影できる。
画像の撮影
物体のマルチビュー画像を撮影する前に、物体を配置する平面上に物体と同等な大きさのマーカーを用意する必要がある。前述のように、第１の組のマーカーを組み立てて物体の垂直投影プロファイルを内包するのに充分な大きさの輪郭を形成し、マーカーの大半が後続処理のために撮影画像内に表示されるようにする。このマーカーはＰＣやＰＣに接続されたプリンタを用いて作成することができる。マーカーを作成するプログラムは、入力手段を介してマーカのサイズの指定を受け、これに基づいてマーカーのデータを作成し、プリンタにデータを転送して印刷を行う。小さいサイズで作成されたマーカーをコピー機を用いて拡大してもよい。　カメラ３００はたとえば手のひらサイズのテープレコーダ、デジタルカメラ、携帯電話、ポータブルＣＤ／ＤＶＤ／ＭＰ３プレーヤ、ポータブル・マルチメディア・デバイスなど、どのような撮影装置でも良い。デジタル画像撮影装置はＰＣへ直接画像を読み込むことができるので好適で、フィルムを使用するのに比べて処理ステップ全体を節約できる。
【００３２】
本発明により輪郭１５０の外側の複数視点から自由かつ無作意に物体のマルチビュー画像を撮影し、マルチビュー画像を撮影する簡単、高速、かつ便利なアプローチを提供することができる。言い換えれば、ユーザは撮影角度、撮影距離、撮影順序を考えることなく歩きながら写真撮影できる。このようにすると、素人や子供でもシステムを使用して、特別な写真技術なしに一連のシーケンシャル・マルチビュー画像を作成することができる。とくに大きな物体の場合、ユーザは自由に歩きながら物体周囲の写真を撮影できる。既存のカメラ又は物体回転装置のコストと比較すると、本発明にかかる大きなマーカーを準備することは微々たるものである。
【００３３】
本発明はまたユーザによる画質調節可能な簡単で経済的な画像撮影アプローチも提供する。条件パラメータα、α’、β、β’と第２の組のマーカーのパラメータＤ、Ｃ、Ｓの選択はシーケンシャル・マルチビュー画像の品質に密接な関係を有している。つまり、パラメータの選択はシーケンスの解像度、画像ファイルのサイズ、撮影すべきビュー枚数の間の兼ね合いである。このように、素人や子供でも特別な写真技術なしにシステムを使用して一連のシーケンシャル・マルチビュー画像を作成することができる。
【００３４】
一連の写真又は動画フレームのシーケンシャル・マルチビュー画像を提供するアプローチは２種類ある。一方はリアルタイム法で、他方はストリーム変換法である。両方の方法で、ユーザは単純にマーカーにセットした物体の周囲で自由にカメラを移動させることによりマルチビュー画像を得られる。オプションで、システムはユーザが画像を撮影している時にカメラを移動させる位置を表示し、ユーザが一組のマルチビュー画像を簡単に得られるようにすることができる。リアルタイム法では、システムは各入力画像をリアルタイムで瞬間的に分析しシーケンスのフレームとして適当な画像を選択する。他方、ストリーム変換法ではシステムがマルチビュー画像を取得してから後で処理する。第２の方法では、処理はリアルタイムではなくユーザが画像を撮影し終えてから行なわれる。第２の方法はリアルタイム法を実装するより処理能力が小さいコンピュータで実装できる。
【００３５】
ＰＣ４００の代わりに、何らかの他のプログラム可能なハードウェア資源、たとえばＰＤＡ、携帯電話などに本発明のソフトウェアを導入してマルチビュー画像からプレゼンテーション用に希望のシーケンスで構成する一組の画像を選択することができる。本システムはソフトウェアにより実現可能であるから、従来技術のような大がかりなハードウェア・システムを必要としない。
【００３６】
オプションで、本システムはシーケンス正転、逆転、ループ反復により選択画像を再生するためのディスプレイをさらに含む。シーケンシャル画像はいずれか選択されてマウスカーソルの位置により正転、逆転、ループ反復で画面上に表示される。一連のシーケンシャル・マルチビュー画像を時計回り又は時計回りに見たように一列にグループ化できる。前述の垂直識別技術を適用した場合、マウスを上下に動かすと画像は垂直方向に順次表示される。充分なシーケンシャル画像があれば、画像のシーケンスは水平位置の各々でアニメーションとして再生可能である。水を吹き出す泉や羽ばたくハチドリを考えれば水平ビューのシーケンスで各々が回転させることができる。
【００３７】
ハードウェア資源本願の発明を実現するプログラムをインストールしたサーバは撮影装置からはなれた場所に置いておきサーバが撮影装置からインターネット経由、無線通信経由、又は同様なものでマルチビュー画像を受信するようにできる。たとえば、各々の識別画像撮影方向で、折り畳み式コーヒーテーブルの画像８枚を撮影したとする。画像の各々は同じ一般方向におけるコーヒーテーブルのそれで撮影環の折り畳み動作が画像シーケンスによりアニメーションの感覚を提供する。つまり３６列（水平識別方向）８行（各々の水平方向で８ループ撮影）により２次元画像テーブルができる。このシーケンスが最初の行で最初の水平シーケンシャル画像に続く。最初の行の終わりでは、第２の行の次の組のシーケンシャル画像が表示され、と言うように、全部の画像が線形シーケンスで再生されるまで続く。
【００３８】
本発明の核心は受け入れ可能な品質かつ可能な限り小さなデータファイル・サイズでシーケンシャル・マルチビュー画像を作成することである。しかし、シーケンシャル画像の枚数が大きい場合、画像を保存する前またはインターネット経由や無線通信システム経由で送信する前に圧縮できる。既存のデータ圧縮方法が適用可能である。
【００３９】
図９は本発明による一つの物体のマルチビュー画像を撮影処理するための方法のフローチャートを示したもので、少なくとも９ステップを含む。ステップ９０１では、マーカーを平面上に配置する。前述したように、マーカは２つの特徴を有するマーカの組み合わせであって、第１の組のマーカーは平面からの垂線方向から物体の投影プロファイルを内包するような輪郭を形成するように組み立てられ、第２の組のマーカーは輪郭を均等に包囲する。前述したように第２の組のマーカーは番号、形状、サイズ、又は色により所定の個数の種類に識別される。ステップ９０２で物体を輪郭内部に配置する。物体の複数のマルチビュー画像をカメラによりステップ９０３で輪郭外側の複数視点から撮影する。
【００４０】
ステップ９０４では、各画像の長軸の長さと短軸の長さを検出する。次にステップ９０５では幾つかの画像をマルチビュー画像の中から条件にしたがって選択する。この条件はマルチビュー画像の各々の対応する視点からの輪郭の投影卵円形長軸の長さと短軸の長さが所定の範囲内に納まるようなものである。所定範囲は数枚のサンプル画像を撮影することで設定できる。ユーザが異なる角度からシステムのサンプルとして数枚の画像を撮影した場合、システムは瞬間的に同じパラメータを有する即ち長軸と短軸の長さを有する画像を、画像選択のための所定範囲として選択／並べ換える。この後、選択した画像はステップ９０６で第２の組のマーカーによりコード化したシーケンス・テーブルにより輪郭に沿った観察方向に並べ換えられる。撮影した画像での対応するマーカーの種類即ちドットの視覚的特徴を調べるための検出方向Ｃの位置は、輪郭の長軸１５３と短軸１５２の長さから計算する。たとえば、調べる位置が輪郭の３時、６時、９時の位置にある場合、システムは３時と９時の位置で輪郭と中心軸１５１’の交点のすぐ外側と６時の位置で輪郭と短軸１５２の交点の外側を調べる。カメラレンズの歪みやその他の効果を勘案してチェック位置を変更するようにする。ステップ９０３，９０４，９０５，９０６は反復又は統合できる。リアルタイムでこれらのステップを反復してカメラ入力の各ビデオ・フレームに対して処理を適用することで、ユーザはその場で迅速にマルチビュー画像を得ることができる。画像シーケンスはステップ９０７で保存し後で送信又は表示できるようにする。スムーズにマルチビュー画像を表示するためには、各画像を保存する前に画像のトリミング又は位置調整を行なう。
【００４１】
このようにすると、マルチビュー画像を撮影しＰＣへ送信するとすぐにリアルタイムでＰＣにより自動的にマルチビュー画像のシーケンス化が行なわれる。この画像ファイルをＰＣに保存した場合、ユーザは時計回り又は反時計回りに輪郭１５０に沿って移動する方向でマルチビュー画像を表示し観察できる。ファイルは図１０に図示したマルチビュー画像ファイル・フォーマットで保存でき、このフォーマットはフィールド１０ー１にファイル・ヘッダ、フィールド１０ー２にシーケンス情報、フィールド１０ー３からフィールド１０ー１０には選択した画像Ｓ１〜Ｓ８を含む。これにより、システムは消費者が入手可能な装置たとえばＰＣとＰＣカメラ又は携帯電話をつかって自動的にマルチビュー画像シーケンスを取得する。
【００４２】
システムの構成を図１１に図示し、ＰＣ４００はコントローラ４１０、メモリ４２０，ネットワーク・インタフェース４３０，ディスプレイ４４０を含む。コントローラ４１０は画像処理モジュール４１１，画像選択モジュール４１２，卵円形検出モジュール４１３，シーケンス検出モジュール４１４，計算モジュール４１５を制御して前述のステップを実行する。これらのモジュールは主として既存のＰＣに実装されるようにソフトウェアに依存する。
【００４３】
本システムでは、図２から図５に図示したように少なくとも円形の輪郭（マーカーで構成される）の内側に物体を設定し、画像処理によりマーカーの種類を識別することで、各々の画像撮影方向の角度を決定することなくシーケンスとして写真を選択し構成する。カメラを用いて、マーカー内部の物体画像を自由かつ無作意に素人が取得できる。次に、各々の撮影画像から輪郭の卵円形投影の長軸長さと短軸長さをアウトライン化し抽出して条件を満たす画像を選択する。次に、選択した画像のシーケンスは輪郭の周辺に配置された第２の組のマーカーに記録されている変換テーブルにしたがって決定される。たとえば、卵円形の３時、６時、９時の位置に対応する位置にある第２の組のマーカーの種類が変換テーブルと照合されてシーケンスが決定される。識別可能な方向の個数は、第２の組のマーカーの種類をＤ＝Ｓ＾Ｃにしたがって増加することで増加できる。
【００４４】
本発明の方法は一般的なＰＣと撮影装置により、オンライン・ショッピングやネットワーク・オークションなどのｅーコマース用に、美術館の美術品又は警察署の証拠物品記録用に、通信学習又はオンライン娯楽画像を携帯電話に表示するため、又は屋内又は屋外施設での案内又は方向指示画像を表示するためなどに、一般的シーケンシャル・マルチビュー画像として実装できる。
【００４５】
本発明の原理、好適実施例および動作の態様を上記明細書に説明した。しかし、保護されることを意図している本発明は開示した特定の実施例に制限されない。本明細書に開示した実施例は制限を目的としたものではなく図示を目的としたものである。本発明の趣旨から逸脱することなく当業者により変化および変更を行なうことができる。したがってこのような全ての変化又は変更が請求項に定義される本発明の趣旨と範囲内に含まれ請求項に内包されることをとくに意図している。
以上のように、本願は、複数のマーカーを平面に配置した一つの物体のマルチビュー画像を処理して物体の投影プロファイルそれぞれがマーカーの別の組み合わせに対応するようにし、複数のマーカーが互いに対して形成されて立体ビューにおける一つの方向から観察したときのマーカーの配置が立体ビューにおける別の方向から観察した場合の配置とは異なるようにするソフトウェア・プログラムを提供し、該ソフトウェア・プログラムは、立体ビューにおける平面上の異なる方向から撮影した複数の配置を保存し別の方向を保存するモジュールと、複数のマーカーを配置した物体の少なくとも１枚の画像を受信して画像が物体と複数マーカーの少なくとも幾つかとを描出するようにするモジュールと、画像において複数マーカーの配置が検出されることにより画像と別の方向の一つとを関連付けるモジュールを構成することを特徴とする。
【００４６】
本発明のソフトウェア・プログラムはさらに平面上の複数マーカーを生成するモジュールを含むことを特徴とする。
【００４７】
本発明のソフトウェア・プログラムはさらにマルチビュー画像の立体ビューのある方向に対応する配置のアウトラインの第１の軸の長さと第２の軸の長さの各々が所定の範囲内に納まるような条件でマルチビュー画像から幾つかのマルチビュー画像を選択し、第１の軸が第２の軸と直交するようにしてあること含むことを特徴とする。
【００４８】
本発明によれば、物体の各々の投影プロファイルがマーカーの別の配置に対応するように複数マーカーが配置された一つの物体のマルチビュー画像を処理するシステムは、複数マーカーが互いに対して平面上に配置され相対的に形成され立体ビューにおいて一つの方向から観察した場合のマーカーの配置が立体ビューに置いて別の方向から観察した場合の配置とは異なるようにするのであって、立体ビューにおいて平面上の別の方向から撮影した複数の配置を保存しまた別の方向を保存するためと、複数マーカーが配置された物体の少なくとも１枚の画像を受信して画像が物体と複数マーカーの少なくとも幾つかを描出するようにするためと、画像において検出し複数マーカーの配置が描出されこれによって異なる方向の一つと画像を対応付けるためのプログラマブルハードウェア資源を特徴とする。
【００４９】
本発明の本システムはさらに、複数の立体ビューから複数のマーカーを配置した物体のマルチビュー画像を撮影して画像が物体と少なくとも複数マーカーの幾つかを描出するようにする画像撮影装置を含むことを特徴とする。
【００５０】
本発明によれば、複数マーカーを配置した画像のマルチビュー画像の取り込みと処理を支援するための複数マーカーであって、各々のマーカーはそれぞれ異なる視覚的特徴を有する。複数マーカーの視覚的に検出された位置的配置が物体の複数マーカーと立体プロファイルを観察する所定の複数の方向に対応するように互いに対して位置的に構成されることを特徴とする。
【００５１】
【発明の効果】
以上のように本発明によれば、使用にあたって特別な訓練を必要とせず、普通のポータブル撮影装置とコンピュータを使用して簡単にマルチビュー静止画像を取り込み並べ換えることが可能となる。
【図面の簡単な説明】
本発明の前述のおよび更なる特徴と利点は添付の図面を参照して以下の詳細な説明を熟読することにより明らかになる。図面において同じ参照番号は同様の要素を表わす。
【図１】作業環境との関連において本発明によるマルチビュー画像を撮影処理するシステムを示す図
【図２】本発明のマーカーの第１の実施例を示す図。
【図３】本発明のマーカーの第２の実施例を示す図。
【図４】本発明のマーカーの第３の実施例を示す図。
【図５】本発明のマーカーの第４の実施例を示す図。
【図６】自由かつ無作意に撮影された図２のマーカーと８個の選択された画像Ｓ１〜Ｓ８を含むことを示す図。
【図７】８種類の記号を含む英数字識別表。
【図８】２種類の記号だけを含むドット識別表。
【図９】本発明による一つの物体のマルチビュー画像を撮影処理する方法のフローチャート。
【図１０】マルチビュー画像のファイル・フォーマット図。
【図１１】本発明のシステムの一つの構成図。
【符号の説明】
１０…平面、５０…物体、１００…マーカー、１５０…輪郭、１５０’　…投影卵円形、１５１’　…中心軸、１５２’　…短軸、１５３…長軸、１６０…輪郭、２００…マーカー、３００…カメラ、４００…ＰＣ、４１０…コントローラ、
４１１…画像処理モジュール、４１２…画像選択モジュール、４１３…卵円形検出モジュール、４１４…シーケンス検出モジュール、４１５…計算モジュール、４２０…メモリ、４３０…ネットワーク・インタフェース、４４０…ディスプレイ、５００…マルチビュー画像ファイル、６００…無線基地局、データセンター、インターネット又は同様な物、７００…携帯電話、８００…ＰＣ。

Claims

マーカとともに配置された物体を撮像した画像を取得するステップと、
撮像方向に対応づけられて記録された該各方向から撮像された上記画像中に投影された上記マーカの少なくとも１部の配列の組み合わせ情報を記録手段から読み出すステップと、
上記画像から上記マーカの一部を検出して、その配列と上記情報を用いて上記画像の撮像方向を決定するステップとを有することを特徴とする多視点画像処理方法をコンピュータで実行するためのプログラム。
上記多視点画像処理方法は、
複数の上記取得した画像を上記方向に基づいて順番付けを行うステップと、
上記順番に従って表示手段に上記複数の画像を順次表示するステップとを有することを特徴とする請求項１記載のプログラム。
上記マーカは円若しくは楕円を有し、
上記多視点画像処理方法は、取得した画像中に投影された上記円の直交する２本の直径、又は、上記楕円の長軸と短軸、各々が記憶手段に記録された所定の長さ以内である画像を抽出するステップをさらに有することを特徴とする請求項１又は２に記載のプログラム。
上記多視点画像処理方法は、取得した１の撮像画像より上記所定の長さを設定するステップを更に有し、
上記抽出するステップは、上記取得した画像中に投影された上記円の直交する２本の直径、又は、上記楕円の長軸と短軸、各々が記憶手段に記憶された所定の長さとの差分を計算し、該差分が所定値内の画像を抽出することを特徴とする請求項３に記載のプログラム。
上記撮像方向を決定するステップは、上記マーカの形状、大きさ、色の少なくとも何れか１つの特徴量を検出することを特徴とする請求項１乃至４のいずれかに記載のプログラム。
上記マーカは、上記物体を囲むように３６０／Ｄ度の間隔で配置されるパターンで構成され、上記Ｄ方向からの撮像画像に投影されるマーカが互いに異なるように、上記パターンは少なくともＳ種類であることを特徴とする請求項１乃至５の何れかに記載のプログラム。
上記撮像方向を決定するステップは、Ｄ方向に配置される上記マーカ中のＣ方向の所定検出位置のパターンの種類がＳ種類のうちの何れかであるかを検出し、
上記Ｄ，Ｓ，Ｃは、Ｄ　≦　Ｓ　^Ｃの関係を満足することを特徴とする請求項１乃至６の何れかに記載のプログラム
上記Ｄ≦Ｓ　^Ｃの各変数について、Ｄ＝８、Ｓ＝２、Ｃ＝３であり、上記３方向はうち１方向に対して９０度及び１８０度の角度であることを特徴とする請求項７に記載のプログラム。
更に、入力手段を介して上記マーカのサイズの指定を受けるステップと、
上記サイズに基づいて上記マーカのデータを作成するステップと、
上記データを印刷のために出力するステップとを有することを特徴とするプログラム。
マーカとともに配置された対象物の撮像画像を受け取る手段と、
撮像方向に対応づけられて記録された該各方向から撮像された上記画像中に投影された上記マーカの少なくとも１部の配列の組み合わせ情報を記録する記録手段と、
上記画像から上記マーカの一部を検出して、その配列と上記情報を用いて上記画像の撮像方向を決定する決定手段と、
上記方向に基づいて上記複数の画像を属性付ける手段と、
表示手段に上記属性に従って表示できるように上記複数の画像を出力する手段とを有することを特徴とするシステム。
対象物とともに撮像され、その撮像方向と該撮像画像に投影されたマーカを構成するパターンの配列の組み合わせとを対応づけて記録する装置に取り込まれ、上記装置に該撮像画像の撮像方向を認識させるマーカであって、
複数パターンで構成される上記マーカは、上記撮像対象を取り囲むように配置され、
上記撮像画像に投影される上記対象物に対する所定位置にある上記パターンの組み合わせは該撮像方向に固有のものであることを特徴とするマーカ。
上記マーカの配列は円又は楕円の第１のマーカを含むことを特徴とする請求項１１記載のマーカ。
上記マーカの配列は円又は楕円を描くように等間隔で配置された第２のマーカを含み、該第２のマーカは、撮像画像中の対象物に対して所定の位置に位置するパターンの組み合わせが撮像方向に応じて異なることを特徴とする請求項１１又は１２に記載のマーカ。
上記撮像画像中に投影される上記第１のマーカの垂直に交わる２本の直径若しくは長軸および短軸の長さは、上記装置において、上記撮像対象と撮像手段の距離判定に用いられ、上記判定に基づいて撮像画像の抽出を可能とすることを特徴とする請求項１２又は１３に記載のマーカ。
上記第２のマーカは、上記装置が認識可能な少なくとも色、数、形状又は大きさの何れかの特徴を有することを特徴とする請求項１１乃至１４の何れかに記載のマーカ。