JP2011142483A

JP2011142483A - 画像生成手法および画像生成装置

Info

Publication number: JP2011142483A
Application number: JP2010001693A
Authority: JP
Inventors: Naoki Adachi; 尚季安達
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-01-07
Filing date: 2010-01-07
Publication date: 2011-07-21

Abstract

【課題】被写体の形状や配置に合わせて、ユーザが望む撮影範囲での撮影に対して、未撮影領域をユーザーに通知することで、撮影領域に欠落のない合成画像の撮影が可能な、画像生成手法および画像生成装置を提供する。
【解決手段】第一の実写画像および第一の合成画像と第二の実写画像を比較して、第一の合成画像上での第二の実写画像の向きおよび位置の推定値を計算する画像位置推定ステップ（Ｓ００２）と、向きおよび位置の推定値に基づいて、第二の実写画像を変換して、第一の合成画像に合成することで第二の合成画像を生成する画像合成ステップ（Ｓ００３）と、第二の合成画像を表示する画像表示ステップ（Ｓ００４）とを備える。このことにより、撮影範囲をユーザーに通知し、所望の撮影範囲の中で未撮影な領域があることを知らしめ、撮影領域に欠落のない合成画像の撮影を可能とすることができる。
【選択図】図２

Description

本発明は、主として複数枚の実写画像を合成して１枚の画像を生成する、撮像部を備えた携帯端末型の画像生成装置、および、画像生成手法に関する。

従来の、複数枚の実写画像を合成して１枚の画像を生成する画像生成装置または画像生成手法としては、所定の位置にユーザが撮像部（カメラ）を向けるガイドを表示するよう構成したものが知られている。

特許文献１によれば、図１１（ａ）の被写体３００の撮影において、表示部の表示３０１に、次の実写画像の撮影方向として想定する位置に半透明の合成ガイド３０２を表示する。合成ガイドと表示画像が一致する位置で、ユーザーが次の撮影を行うことで、未撮影領域が含まれない、合成に望ましい位置関係の実写画像を撮影することができ、撮影領域の欠落が防止される。

特許文献２によれば、被写体に対するカメラの位置を示す移動マーク３１２と、次の実写画像の撮影方向として想定する位置にゴールマーク３１１を表示する。移動マークが、ゴールマークに合うようにカメラの向きを変えて、ユーザーが次の撮影を行うことで、未撮影領域が含まれない、合成に望ましい位置関係の実写画像を撮影することができ、撮影領域の欠落が防止される。

特許第４０４４９０９号公報（第６−９頁、図４、図５Ｂ）特開２００９−６０２７８号公報（第１０−１２頁、図５（Ｂ））

しかしながら、特許文献１および特許文献２に記載された手法では、事前に実写画像の位置関係が定められ、結果として撮影範囲が固定されており、被写体の形状や配置に合わせてユーザーが所望の範囲を撮影する際のガイドの表示がなく、撮影領域の欠落を防止することができないという課題があった。

本発明は、このような従来の問題に鑑みてなされたものであり、被写体の形状や配置に合わせて、ユーザが望む撮影範囲での撮影に対して、未撮影領域をユーザーに通知することで、撮影領域に欠落のない合成画像の撮影が可能な、画像生成手法および画像生成装置を提供するものである。

本発明の画像生成手法は、第一の実写画像までを合成した第一の合成画像に、第一の実写画像の次の実写画像である第二の実写画像を合成して、第二の合成画像を生成する際に、第一の実写画像または／および第一の合成画像と第二の実写画像を比較して、第一の合成画像上での第二の実写画像の向きおよび位置の推定値を計算する画像位置推定ステップと、向きおよび位置の推定値に基づいて、第一の合成画像に整合するように第二の実写画像を変換し、第一の合成画像に合成することで、第二の合成画像を生成する画像合成ステップと、第二の合成画像を表示する画像表示ステップとを備える。

更に、本発明の画像生成手法は、第二の合成画像に生じた未撮影の領域を検出する未撮影領域検出ステップを備える。

また、本発明の画像生成装置は、実写画像を撮影する撮像部と、上記の画像生成手法により合成画像の生成処理を行う処理部と、合成画像を表示する表示部とを備える。

本発明の画像生成手法および画像生成装置によれば、実写を撮影する過程の合成画像を画像合成ステップで生成し、画像表示ステップで表示することで、撮影範囲をユーザーに通知し、所望の撮影範囲の中で未撮影な領域があることを知らしめ、不足した領域の撮影を促すことで、撮影領域に欠落のない合成画像の撮影を可能とすることができる。

また、本発明の画像生成手法および画像生成装置によれば、合成画像に生じた未撮影領域を検出し、表示することで、所望の撮影範囲の中で未撮影な領域があることを知らしめ、不足した領域の撮影を促すことで、撮影領域に欠落のない合成画像の撮影を可能とすることができる。

本発明の第一の実施の形態における画像生成装置のシステム構成図本発明の第一の実施の形態における画像生成装置の動作を説明するフローチャート図本発明の第一の実施の形態における画像生成装置の動作を説明するための被写体の例の略図本発明の第一の実施の形態における合成画像を図式的に表記した図本発明の第一の実施の形態における合成画像を図式的に表記した図本発明の第一の実施の形態における合成画像を図式的に表記した図本発明の第一の実施の形態における合成画像を図式的に表記した図本発明の第二の実施の形態における画像生成装置のシステム構成図発明の第二の実施の形態における合成画像を図式的に表記した図発明の第二の実施の形態における合成画像を図式的に表記した図従来の合成画像を図式的に表記した図

本発明の画像生成手法は、動画として時間的に連続して撮影された複数枚の実写画像を合成し、１枚の合成画像を生成する画像生成手法において、第一の実写画像までを合成した第一の合成画像に、第一の実写画像の次の実写画像である第二の実写画像を合成して、第二の合成画像を生成する際に、第一の実写画像または／および第一の合成画像と第二の実写画像を比較して、第一の合成画像上での第二の実写画像の向きおよび位置の推定値を計算する画像位置推定ステップと、向きおよび位置の推定値に基づいて、第一の合成画像に整合するように第二の実写画像を変換し、第一の合成画像に合成することで、第二の合成画像を生成する画像合成ステップと、第二の合成画像を表示する画像表示ステップとを備えた構成を有する。

この構成により、撮影範囲をユーザーに通知し、所望の撮影範囲の中で未撮影な領域があることを知らしめ、不足した領域の撮影を促すことで、撮影領域に欠落のない合成画像の撮影を可能とすることができる。

本発明の画像生成手法は、画像合成ステップにおいて、第二の実写画像の所定の場所の第二の合成画像上の位置を第二の合成画像上に表示する構成を有する。

この構成により、表示された所定の場所の位置から、合成画像上での撮影方向をユーザーが知ることができる。

本発明の画像生成手法は、画像合成ステップにおいて、第二の実写画像の外枠を第二の合成画像上に表示する構成を有する。

この構成により、表示された外枠の位置から、合成画像上での撮影方向をユーザーが知ることができる。

本発明の画像生成手法は、第二の実写画像の向きの推定値が所定の値以上に大きくなることで、第二の実写画像が第一の合成画像に対して所定の値以上に回転していることを検出する回転検出ステップと、向きの推定値を、所定の値に近付けるために必要となる回転方向を計算する修正方向計算ステップと、回転方向の計算による回転方向を表示する方向表示ステップとを備えた構成を有する。

この構成により、撮影している方向が合成画像に対して著しくずれた場合に、修正のための回転方向をユーザーに知らしめることで、撮影の方向を修正することができる。

本発明の画像生成手法は、画像合成ステップにおいて、第二の合成画像が第一のサイズより大きい場合は第二の画像を第二のサイズに縮小する構成を有する。

この構成により、ユーザーの意図している被写体にあわせた合成画像の表示が可能となり、合成画像の全体を表示した状態での、未撮影領域のユーザーへの通知が可能となる。

本発明の画像生成装置は、第二の合成画像に生じた未撮影の領域を検出する未撮影領域検出ステップを備えた構成を有する。

この構成により、合成画像上に未撮影領域が生じた場合に、ユーザーに通知が可能となり、必要に応じて、不足した領域をユーザーが撮影することで、欠落のない合成画像の撮影を可能とすることができる。

本発明の画像生成手法は、未撮影領域検出ステップにおいて、撮影済みの領域に囲まれて島状に孤立した未撮影領域を検出する構成を有する。

この構成により、合成画像上に島状の未撮影領域が生じた場合に、ユーザーに通知が可能となり、必要に応じて、未撮影領域をユーザーが継続して撮影することで、欠落のない合成画像を生成することができる。

本発明の画像生成手法は、未撮影領域検出ステップにおいて、合成画像の淵に接して、先端部分が所定の角度以下のくさび状に窪んだ未撮影領域を検出する構成を有する。

この構成により、合成画像上にくさび状の未撮影領域が生じた場合に、ユーザーに通知が可能となり、必要に応じて、未撮影領域をユーザーが継続して撮影することで、欠落のない合成画像を生成することができる。

本発明の画像合成手法は、画像合成ステップにおいて、合成画像内の各画素の撮影状態を保存している撮影状態保存データに、第二の実写画像の合成により変更された状態を保存し、未撮影領域検出ステップにおいて、撮影状態保存データを用いて未撮影領域を検出する構成を有する。

この構成により、撮影状態保存データを検査することで、未撮影領域を検出することができる。

本発明の画像合成手法は、画像合成ステップにおいて、所定の初期値で合成画像の保存データを初期化した後に実写画像を合成し、未撮影領域検出ステップで、初期値と同じ値の画像領域を未撮影領域として検出する構成を有する。

この構成により、初期値と同じ値の画像領域を検索することで、未撮影領域を検出することができる。

本発明の画像生成手法は、画像合成ステップにおいて、未撮影領域内の画素を所定の画素値に設定する構成を有する。

この構成により、未撮影領域をユーザーに効果的に知らしめることができる。

本発明の画像生成手法は、画像合成ステップにおいて、未撮影領域を周辺の画像から判別しやすい色および／または輝度の画素値に設定する構成を有する。

本発明の画像生成装置は、画像合成ステップにおいて、周辺の画像から計算した補間画像を未撮影領域に合成する構成を有する。

この構成により、画像撮影終了時に残った未撮影領域の影響を、抑えることができる。

本発明の画像生成手法は、未撮影領域が検出されたことをメッセージまたは／および記号の表示で通知する未撮影領域通知ステップを備えた構成を有する。

この構成により、未撮影領域があることをユーザーに知らしめることで、不足した領域の撮影を促すことができる。

本発明の画像撮影装置は、動画として時間的に連続して撮影された複数枚の実写画像を合成し、１枚の合成画像を生成する画像撮影装置において、実写画像を撮影する撮像部と、請求項１乃至１４記載の画像生成手法により合成画像の生成処理を行う処理部と、合成画像を表示する表示部と
を備えた構成を有する。

本発明の画像撮影装置は、表示部に表示する画像を、実写画像と合成画像で切り替える表示切替手段を備えた構成を有する。

この構成により、必要に応じて、撮影中の実写画像を見ながらの撮影と、合成画像を見ながらの撮影を選択することができる。

本発明の画像撮影装置は、未撮影領域の検出結果の表示部への表示の可否を切り替える通知表示切替手段を備えた構成を有する。

この構成により、ユーザーの好みにより、または、ユーザーの本手法での撮影の習熟度により、不要な表示を抑えて撮影領域の通知をすることができる。

本発明のプログラムは、上記画像生成手法を実行する構成を有する。

次に、本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像生成装置のシステム構成図、図２は、同画像生成装置の動作を説明するフローチャート図、図３は、動作を説明するための被写体の例の略図、図４は、図３の被写体を撮影する過程での合成画像を図式的に表記した図である。

図１において、画像生成装置１００は、動画として時間的に連続した実写画像を撮影する撮像部１０１と、合成画像や通知メッセージ等を表示する表示部１０２と、本発明の画像生成手法を実行する処理部１０３と、画像生成装置１００の操作入力を受ける操作インターフェース１０４を備える。処理部１０３は、本発明の画像生成手法のプログラム１１０、撮像部１０１で連続して撮影された第一の実写画像１１１（ａ）、第二の実写画像１１１（ｂ）を含む実写画像１１１、実写画像１１１（ａ）までを合成した第一の合成画像１１２（ａ）、実写画像１１１（ｂ）までを合成した第二の合成画像１１２（ｂ）を含む合成画像１１２、実写画像の向きの推定値１１３、実写画像の位置の推定値１１４を有する。

次に、第一の実施の形態について、その動作を、図２を用いて説明する。

図２に示すように、撮像部１０１で実写画像を撮影し、処理部１０３内に保存する（Ｓ００１）。次に、第一の実写画像１１１（ａ）および／または第一の合成画像１１２（ａ）と、第二の実写画像１１１（ｂ）を比較して、第一の合成画像１１２（ａ）内での第二の実写画像１１１（ｂ）の向きの推定値１１３および位置の推定値１１４を計算する（Ｓ００２）。次に、第二の実写画像１１１（ｂ）の向きの推定値１１３および位置の推定値１１４に従って、第二の実写画像１１１（ｂ）を第一の合成画像に整合するように変換して、第一の合成画像１１２（ａ）に合成して第二の合成画像１１２（ｂ）を生成し（Ｓ００３）、生成した第二の合成画像１１２（ｂ）を表示部に表示する（Ｓ００４）。合成画像は、図４（ａ）の撮影の開始直後から、画像生成装置１００の向きを変えるに従って、１３０（ａ）、１３０（ｂ）、１３０（ｃ）と変化し、未撮影領域１３１により、撮影範囲の欠落をユーザーが確認しながら撮影を行い、１３０（ｄ）で被写体全体の撮影を完了する。ユーザーの操作インターフェース１０４の操作による撮影の完了を判定し、完了していれば撮影を終了する（Ｓ００５）。

なお、実写画像の向きの推定値および位置の推定値が、所定の範囲を超えることで、合成画像の生成に適しない向きに画像生成装置１００が向けられた場合や、画像生成装置１００の向きを変える速度が速く、実写画像の向きの推定値および位置の推定値が推定できない場合を、Ｓ００５の終了判定条件としてもよい。これにより、合成画像の生成に適用されない撮影を防止することができる。

なお、図５、図６の合成画像を図式的に表記した図に示すように、実写画像上の所定の位置の場所を表示したり、実写画像の外枠を表示してもよい。合成画像上に実写画像の位置を示す記号（１３２）や外枠（１３３）を表示することで、画像生成装置１００の向きの明示的な通知が可能となり、撮影している範囲の認識が容易になる。

また、図７の合成画像を図式的に表記した図に示すように、表示部の表示可能サイズに合わせて、合成画像を縮小してもよい。撮影範囲の拡大に伴って、第一のサイズより合成画像が大きくなった場合に、表示部に納まる第二のサイズに合成画像を縮小して表示することにより、ユーザーの意図している被写体にあわせた合成画像全体の表示が可能となり、未撮影領域のユーザーへの通知が容易になる。

また、第二の実写画像の向きの推定値１１３が所定の値以上に大きくなることで、第二の実写画像が第一の合成画像に対して所定の値以上に回転していることを検出する回転検出ステップ（Ｓ００６）と、向きの推定値１１３を、所定の値に近付けるために必要となる回転方向を計算する修正方向計算ステップ（Ｓ００７）と、回転方向の計算による回転方向を表示する方向表示ステップ（Ｓ００８)を設けてもよい。これにより、合成画像生成に適しない向きに画像生成装置１００が向くことを防止することができる。

また、表示部に表示する画像を、実写画像と合成画像で切り替える表示切替手段を備えてもよい。これにより、必要に応じて、撮影中の実写画像を見ながらの撮影することができる。

また、未撮影領域の検出結果の表示部への表示の可否を切り替える通知表示切替手段を備えてもよい。これにより、ユーザーの好みにより、または、ユーザーの本手法での撮影の習熟度により、不要な表示を抑えて、通知メッセージ等に遮られることなく、撮影を行うことができる。

このように、本実施の形態によれば、実写画像の取得毎に合成画像を表示部に表示することで、撮影範囲をユーザーに通知し、所望の撮影範囲の中で未撮影な領域があることを知らしめ、不足した領域の撮影を促すことで、撮影領域に欠落のない合成画像の撮影を可能とすることができる。
（第２の実施の形態）
図８は、本発明の第２の実施の形態における画像生成装置のシステム構成図、図９、図１０は、本発明の画像生成手法により合成した合成画像を図式的に表記した図である。

図８において、画像生成装置２００は、処理部２０１を備える。処理部２０１は、合成画像内の各画素の撮影状態を保存している撮影状態保存データ２０２を有する。なお、図１と同じ記号の説明は略する。

図９は、撮影済みの領域に囲まれて島状に孤立した未撮影領域２１１を合成画像２１０上に表示した例である。第二の合成画像に生じた未撮影の領域を検出する未撮影領域検出ステップ（Ｓ２００）により、島状の未撮影領域２１１を検出し、所定の画素値（例えば、未撮影領域を周辺の画像から判別しやすい色および／または輝度の画素値）に設定する。

図１０は、合成画像の淵に接して、先端部分が所定の角度以下のくさび状に窪んだ未撮影領域２２１を合成画像２２０上に表示した例である。未撮影領域検出ステップ（Ｓ２００）において、くさび状に窪んだ未撮影領域２２１を検出し、所定の画素値（例えば、未撮影領域を周辺の画像から判別しやすい色および／または輝度の画素値）に設定する。

なお、所定の画素値として、周辺の画像から計算した補間画像を設定してもよい。これにより、未撮影領域の発生による画像の欠落を抑えることができる。

また、撮影状態保存データに変えて、合成画像を所定の初期値で初期化し、未撮影領域検出ステップ（Ｓ２００）において初期値と同じ値の画像領域を未撮影領域として検出してもよい。これにより、撮影状態保存データの保存領域が不要となり、使用メモリを削減することができる。

また、未撮影領域が検出されたことをメッセージまたは／および記号の表示で通知する未撮影領域通知ステップを備えてもよい。これにより、未撮影領域の通知をより確実にすることができる。

このように、本実施の形態によれば、未撮影領域を検出し、合成画像上に表示することで、所望の撮影範囲の中で未撮影な領域があることを明示的に知らしめ、不足した領域の撮影を促すことで、撮影領域に欠落のない合成画像の撮影を可能とすることができる。

本発明は、第一の実写画像または／および第一の合成画像と第二の実写画像を比較して、第一の合成画像上での第二の実写画像の向きおよび位置の推定値を計算する画像位置推定ステップと、向きおよび位置の推定値に基づいて、第一の合成画像に整合するように第二の実写画像を変換し、第一の合成画像に合成することで、第二の合成画像を生成する画像合成ステップと、第二の合成画像を表示する画像表示ステップとを備え、実写を撮影する過程での合成画像を画像合成ステップで合成し、画像表示ステップで表示することで、撮影範囲をユーザーに通知し、所望の撮影範囲の中で未撮影な領域があることを知らしめ、撮影領域に欠落のない合成画像の撮影を可能とすることができ、撮像部の画角以上の広範囲の撮影を行うような画像生成装置および画像生成手法として有用である。

１００画像生成装置
１０１撮像部
１０２表示部
１０３処理部
１１０プログラム
１１１実写画像
１１２合成画像
１１３向きの推定値
１１４位置の推定値
１３０合成画像
１３１未撮影領域
２１１島状の未撮影領域
２２１くさび状の未撮影領域

Claims

動画として時間的に連続して撮影された複数枚の実写画像を合成し、１枚の合成画像を生成する画像生成手法において、
第一の実写画像までを合成した第一の合成画像に、前記第一の実写画像の次の実写画像である第二の実写画像を合成して、第二の合成画像を生成する際に、前記第一の実写画像または／および前記第一の合成画像と前記第二の実写画像を比較して、前記第一の合成画像上での前記第二の実写画像の向きおよび位置の推定値を計算する画像位置推定ステップと、
前記向きおよび位置の推定値に基づいて、前記第一の合成画像に整合するように前記第二の実写画像を変換し、前記第一の合成画像に合成することで、第二の合成画像を生成する画像合成ステップと、
前記第二の合成画像を表示する画像表示ステップと、
を含むことを特徴とする画像生成手法。
前記画像合成ステップにおいて、
第二の実写画像の所定の場所の第二の合成画像上の位置を前記第二の合成画像上に表示することを特徴とする請求項１記載の画像生成手法。
前記画像合成ステップにおいて、
第二の実写画像の外枠を第二の合成画像上に表示することを特徴とする請求項１記載の画像生成手法。
第二の実写画像の向きの推定値が所定の値以上に大きくなることで、第二の実写画像が第一の合成画像に対して所定の値以上に回転していることを検出する回転検出ステップと、
前記向きの推定値を、所定の値に近付けるために必要となる回転方向を計算する修正方向計算ステップと、
前記回転方向の計算による回転方向を表示する方向表示ステップと、
をさらに備えたことを特徴とする請求項１記載の画像生成手法。
前記画像合成ステップにおいて、
第二の合成画像が第一のサイズより大きい場合は前記第二の画像を第二のサイズに縮小することを特徴とする請求項１記載の画像生成手法。
第二の合成画像に生じた未撮影の領域を検出する未撮影領域検出ステップを備えたことを特徴とする請求項１記載の画像生成手法。
未撮影領域検出ステップにおいて、
撮影済みの領域に囲まれて島状に孤立した未撮影領域を検出することを特徴とする請求項６記載の画像生成手法。
未撮影領域検出ステップにおいて、
合成画像の淵に接して、先端部分が所定の角度以下のくさび状に窪んだ未撮影領域を検出することを特徴とする請求項６記載の画像生成手法。
前記画像合成ステップにおいて、合成画像内の各画素の撮影状態を保存している撮影状態保存データに、第二の実写画像の合成により変更された状態を保存し、
未撮影領域検出ステップにおいて、前記撮影状態保存データを用いて未撮影領域を検出することを特徴とする請求項６記載の画像生成手法。
前記画像合成ステップにおいて、所定の初期値で合成画像の保存データを初期化した後に実写画像を合成し、
未撮影領域検出ステップで、前記初期値と同じ値の画像領域を未撮影領域として検出することを特徴とする請求項６記載の画像生成手法。
前記画像合成ステップにおいて、未撮影領域内の画素を所定の画素値に設定することを特徴とする請求項６記載の画像生成手法。
前記画像合成ステップにおいて、未撮影領域を周辺の画像から判別しやすい色および／または輝度の画素値に設定することを特徴とする請求項１１記載の画像生成手法。
前記画像合成ステップにおいて、周辺の画像から計算した補間画像を未撮影領域に合成することを特徴とする請求項１１記載の画像生成装置。
未撮影領域が検出されたことをメッセージまたは／および記号の表示で通知する未撮影領域通知ステップを備えたことを特徴とする請求項６記載の画像生成手法。
動画として時間的に連続して撮影された複数枚の実写画像を合成し、１枚の合成画像を生成する画像生成装置において、
実写画像を撮影する撮像部と、
請求項１乃至１４記載の画像生成手法により合成画像の生成処理を行う処理部と、
合成画像を表示する表示部と、
を備えたことを特徴とする画像生成装置。
表示部に表示する画像を、実写画像と合成画像で切り替える表示切替手段を備えたことを特徴とする請求項１５記載の画像生成装置。
未撮影領域の検出結果の表示部への表示の可否を切り替える通知表示切替手段を備えたことを特徴とする請求項１５記載の画像生成装置。
請求項１乃至１４記載の画像生成手法を実行するプログラム。