JP2015032952A - 表示制御装置、表示制御方法および記録媒体 - Google Patents

Abstract

【課題】撮像画像に含まれる修正候補領域をより高精度に修正することが可能な技術を提供する。【解決手段】第１の撮像画像を表示部に表示させる表示制御部を備え、前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、表示制御装置が提供される。【選択図】図１

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。

カメラによって撮像された撮像画像には、各種のノイズが含まれ得る。かかるノイズを低減する技術として様々な技術が開示されている。例えば、撮像画像自体を修正することによって撮像画像に含まれるノイズを低減する技術が開示されている（例えば、特許文献１参照）。

特開２０１２−２５３６４５号公報

しかしながら、撮像画像自体を修正する技術では、撮像画像に含まれる修正候補領域を高精度に修正できないことがある。そこで、撮像画像に含まれる修正候補領域をより高精度に修正することが可能な技術が実現されることが望ましい。

本開示によれば、第１の撮像画像を表示部に表示させる表示制御部を備え、前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、表示制御装置が提供される。

また、本開示によれば、第１の撮像画像を表示部に表示させることと、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させることと、を含む、表示制御方法が提供される。

また、本開示によれば、コンピュータを、第１の撮像画像を表示部に表示させる表示制御部を備え、前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。

以上説明したように本開示によれば、撮像画像に含まれる修正候補領域をより高精度に修正することが可能な技術を提供することが可能である。

本開示の実施形態に係る表示制御装置の機能概要を説明するための図である。 表示制御装置の機能構成例を示す図である。 初回撮像時におけるスルー画像の表示例を示す図である。 初回の撮像画像の表示例を示す図である。 初回の撮像画像の補正結果の表示例を示す図である。 再撮像前におけるガイダンスの表示例を示す図である。 再撮像時におけるスルー画像の表示例を示す図である。 合成画像の表示例を示す図である。 部分画像同士を繋ぎ合わせる合成例を説明するための図である。 基準画像に部分画像を重畳させる合成例を説明するための図である。 再撮像時におけるスルー画像と初回の撮像画像との表示例を示す図である。 初回の撮像画像におけるスルー画像に対応する領域を基準とした所定位置の表示を変更する例を示す図である。 スルー画像と合成画像とを交互に表示する第１の例を示す図である。 スルー画像と合成画像とを交互に表示する第２の例を示す図である。 合成画像に対して施されるフィルタ処理の選択画面の表示例を示す図である。 表示制御装置の動作例を示すフローチャート（その１）である。 表示制御装置の動作例を示すフローチャート（その２）である。 表示制御装置のハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．表示制御装置の機能概要
２．表示制御装置の機能構成例
３．表示制御装置の機能詳細
４．表示制御装置の動作例
５．ハードウェア構成例
６．むすび

＜＜１．表示制御装置の機能概要＞＞
まず、本開示の実施形態に係る表示制御装置１００の機能概要について説明する。図１は、本開示の実施形態に係る表示制御装置１００の機能概要を説明するための図である。図１に示したように、例えば、ユーザが撮像対象Ｏｂｊ１の撮像画像を保存しておきたいと考えたとする。撮像対象Ｏｂｊ１は特に限定されず、雑誌や書籍であってもよいし、写真であってもよいし、パンフレットやチケットであってもよい。

また、撮像対象Ｏｂｊ１は、広告やポスターであってもよいし、絵や文字であってもよいし、葉書きであってもよいし、ホワイトボードであってもよい。また、撮像対象Ｏｂｊ１は風景（例えば、星空など）であってもよい。

ここで、例えば、ユーザが表示制御装置１００によって表示されるスルー画像を参照しながら撮像対象Ｏｂｊ１の一部または全部を撮像範囲に収めて撮像操作を行うと、表示制御装置１００による撮像対象Ｏｂｊ１の初回の撮像が行われる。その結果、表示制御装置１００は、撮像対象Ｏｂｊ１が映った撮像画像Ｉｍ１０を取得することができる。撮像画像Ｉｍ１０に対しては、例えば、台形補正がなされてよい。

以下では、撮像が表示制御装置１００によってなされる例を主に説明するが、表示制御装置１００の外部に設けられた撮像部によって行われてもよい。また、以下では、画像の表示が表示制御装置１００によってなされる例を主に説明するが、表示制御装置１００の外部に設けられた表示部によって行われてもよい。

また、表示制御装置１００の端末の種類は、ビデオカメラであってもよいし、スマートフォンであってもよいし、タブレット端末であってもよいし、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）であってもよい。あるいは、表示制御装置１００の端末の種類は、デジタルカメラであってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、携帯電話であってもよいし、携帯用音楽再生装置であってもよいし、携帯用映像処理装置であってもよいし、携帯用ゲーム機器であってもよい。

初回の撮像により得られた撮像画像Ｉｍ１０には、光源から照射される光の映り込みや、撮像範囲に入り込んでしまった障害物、影、ぼけ、不鮮明な箇所などといった修正候補領域が含まれ得る。修正候補領域は、表示制御装置１００により検出され得る。撮像画像Ｉｍ１０に修正候補領域が含まれていない場合には（例えば、撮像画像Ｉｍ１１が撮像された場合には）、表示制御装置１００は、修正候補領域が含まれていない撮像画像Ｉｍ１１をそのまま表示すればよい。

一方、撮像画像Ｉｍ１０に修正候補領域が含まれている場合には（例えば、修正候補領域Ｒ１が含まれた撮像画像Ｉｍ１２が撮像された場合には）、ユーザの撮像操作に従って、表示制御装置１００による撮像対象Ｏｂｊ１の再撮像が行われる。その結果、表示制御装置１００は、撮像対象Ｏｂｊ１が映った再撮像による撮像画像を得ることができる。かかる場合、表示制御装置１００は、撮像画像Ｉｍ１２に含まれる修正候補領域Ｒ１に、再撮像による撮像画像における修正候補領域Ｒ１に対応する領域を合成して、合成画像Ｉｍ９０として表示すればよい。なお、再撮像は自動的になされてもよい。すなわち、修正候補領域が検出された場合、表示制御装置１００は、スルー画像と修正候補領域との重なりを自動的に検出して再撮像を行ってもよい。

初回の撮像により得られた撮像画像Ｉｍ１０における修正候補領域Ｒ１と比較して、再撮像による撮像画像における修正候補領域Ｒ１に対応する領域に修正候補領域が減っていれば、修正候補領域が低減された合成画像Ｉｍ９０が得られる。本明細書では、この例に示したような手法により、撮像画像に含まれる修正候補領域をより高精度に低減することが可能な技術について詳細に説明する。

以上、本開示の実施形態に係る表示制御装置１００の機能概要について説明した。

＜＜２．表示制御装置の機能構成例＞＞
続いて、表示制御装置１００の機能構成例について説明する。図２は、表示制御装置１００の機能構成例を示す図である。図２に示したように、表示制御装置１００は、制御部１１０、入力部１２０、撮像部１３０、記憶部１５０、通信部１６０および表示部１７０を備える。

制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサに相当する。制御部１１０は、記憶部１５０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、領域検出部１１１、位置決定部１１２、合成部１１３および表示制御部１１４を有する。制御部１１０が有するこれらの各機能部については後に説明する。なお、領域検出部１１１、位置決定部１１２および合成部１１３の一部または全部は、表示制御装置１００の内部に存在しなくてもよく、表示制御装置１００と通信可能なサーバなどに存在してもよい。

入力部１２０は、ユーザからの操作を受け付ける機能を有する。入力部１２０は、ユーザから受け付けた操作を制御部１１０に出力する。操作はプログラムの実行に用いられ得る。また、例えば、入力部１２０は、ユーザからプログラムの起動を開始する操作を受け付けることもできる。また、例えば、入力部１２０は、ユーザからプログラムの実行を終了する操作を受け付けることもできる。図２に示した例では、入力部１２０は表示制御装置１００に組み込まれているが、入力部１２０は表示制御装置１００の外部に存在してもよい。

撮像部１３０は、撮像範囲を撮像することにより撮像画像を取得し、撮像画像を制御部１１０に出力する。撮像部１３０は、入力部１２０に対して入力される操作に従って設定された撮像倍率により撮像を行う。撮像倍率の調整は、ズーム機能によって実現され得るが、このズーム機能は特に限定されず、光学ズーム機能であってもよいし、電子ズーム機能であってもよい。なお、図２に示した例では、撮像部１３０は表示制御装置１００と一体化されているが、撮像部１３０は、表示制御装置１００と別体に構成されていてもよい。

記憶部１５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１５０は、プログラムによって使用される各種のデータ（例えば、各種の設定情報、コンテンツなど）を記憶することもできる。なお、図２に示した例では、記憶部１５０は表示制御装置１００と一体化されているが、記憶部１５０は表示制御装置１００と別体に構成されていてもよい。

通信部１６０は、他の装置と通信を行うことが可能である。通信部１６０による通信の形式は特に限定されず、通信部１６０による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、図２に示した例では、通信部１６０は表示制御装置１００と一体化されているが、通信部１６０は、表示制御装置１００と別体に構成されていてもよい。

表示部１７０は、制御部１１０による制御に従って、各種情報の表示を行う。例えば、表示部１７０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置を含んでもよい。あるいは、表示部１７０は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。なお、図２に示した例では、表示部１７０は表示制御装置１００と一体化されているが、表示部１７０は表示制御装置１００と別体に構成されていてもよい。

以上、表示制御装置１００の機能構成例について説明した。

＜＜３．表示制御装置の機能詳細＞＞
続いて、表示制御装置１００の機能詳細について説明する。図３は、初回撮像時におけるスルー画像の表示例を示す図である。以下の説明においては、図３に示すように、表示制御装置１００に入力部１２０および表示部１７０が設けられている例を説明する。また、以下においては、入力部１２０の例としてタッチパネルが利用される場合を説明するが、入力部１２０はタッチパネルに限定されない。

ユーザが初回の撮像を撮像部１３０に行わせようとし、撮像対象Ｏｂｊ１を撮像範囲に収めると、撮像対象Ｏｂｊ１が映ったスルー画像Ｉｍ５が撮像され、表示制御部１１４がスルー画像Ｉｍ５を表示部１７０に表示させる。ユーザがスルー画像Ｉｍ５を確認して、撮像ボタンＢｕ１を押下すると、撮像部１３０により初回の撮像が行われる。しかし、図３に示したように、スルー画像Ｉｍ５には修正候補領域Ｒ１が含まれてしまう場合がある。ここでは、蛍光灯から発せられた光が映り込んだ領域が修正候補領域Ｒ１として示されている。

図４は、初回の撮像画像Ｉｍ１０の表示例を示す図である。図４に示したように、表示制御部１１４は、初回の撮像により得られた撮像画像Ｉｍ１０を表示部１７０に表示させる。図４に示すように、表示制御部１１４によって撮像画像Ｉｍ１０から矩形領域が抽出されてよい。かかる場合、矩形領域の四隅を調整位置Ｐ１〜Ｐ４とし、ユーザのドラッグ操作などによって調整位置Ｐ１〜Ｐ４に対する移動操作がなされると、その移動操作に従って表示制御部１１４により矩形領域のサイズ調整が行われてよい。撮像画像Ｉｍ１０から複数の矩形領域が抽出された場合には、抽出された矩形領域ごとに以下の動作がなされてもよい。

矩形領域のサイズ変更が終了し、ユーザによって終了ボタンＢｕ２が押下されると、例えば、表示制御部１１４によって矩形領域に対して台形補正が行われる。また、表示制御部１１４によって補正結果が表示され得る。なお、矩形領域に対して行われる補正は台形補正に限定されず、撮像対象Ｏｂｊ１が撓んでいる場合などには、撓み補正がなされてもよい。特に撮像対象Ｏｂｊ１が綴じられている場合（例えば、撮像対象Ｏｂｊ１が書籍などの場合）、撮像対象Ｏｂｊ１に撓みが生じやすい。

図５は、初回の撮像画像Ｉｍ１０の補正結果の表示例を示す図である。ここで、領域検出部１１１は、撮像画像Ｉｍ１０から修正候補領域を検出する。修正候補領域の検出手法は特に限定されない。例えば、領域検出部１１１は、撮像画像Ｉｍ１０の色情報に基づいて修正候補領域を検出してもよい。

より詳細には、領域検出部１１１は、撮像画像Ｉｍ１０のうち色情報が所定の範囲内にある領域を修正候補領域として検出してもよい。領域検出部１１１は、白さが閾値を超えている領域を修正候補領域として検出してもよい。このようにすれば、蛍光灯から発せられた光が映り込んだ領域を修正候補領域として検出することが可能である。

また、領域検出部１１１は、スルー画像と撮像画像Ｉｍ１０とにおいて対応する画素間の色情報の差分に基づいて修正候補領域を検出してもよい。より詳細には、領域検出部１１１は、スルー画像と撮像画像Ｉｍ１０とにおいて対応する画素間の色情報の差分が閾値を超える領域を修正候補領域として検出してもよい。対応する画素間の差分が閾値を超える場合、その画素の色は撮像対象Ｏｂｊ１自体の色とは異なる可能性が高いからである。撮像画像Ｉｍ１０とスルー画像Ｉｍ５との間において対応する位置は、撮像画像Ｉｍ１０とスルー画像Ｉｍ５とに基づいて位置決定部１１２により決定され得る。

あるいは、領域検出部１１１は、撮像画像Ｉｍ１０のうち色情報が所定の範囲内にある領域であり、かつ、スルー画像と撮像画像Ｉｍ１０とにおいて対応する画素間の色情報の差分が閾値を超える領域を修正候補領域として検出してもよい。このような検出がなされれば、修正候補領域の検出精度がより向上することが期待される。例えば、色情報は、彩度、色相、明度のいずれかであってもよい。また、所定の範囲は、あらかじめ定められていてもよいし、学習によって変更されてもよい。

また、修正候補領域の検出はすべてが自動的に行われなくてもよい。例えば、ユーザが撮像画像Ｉｍ１０を閲覧した結果、修正が必要であると感じた領域をドラッグ操作などによって指定できるようにしてもよい。かかる場合、領域検出部１１１は、ユーザの操作に基づいて修正候補領域を検出してよい。

続いて、表示制御部１１４は、撮像画像Ｉｍ１０から修正候補領域が検出された場合、修正候補領域の位置を基準とした所定位置の表示を変更する。図５に示した例では、表示制御部１１４は、修正候補領域の中央を中心とし修正候補領域のサイズに応じたサイズを半径とする円Ｍ１〜Ｍ７を表示させている。しかし、表示変更の手法はかかる例に限定されず、修正候補領域自体を点滅させてもよいし、半透明にしてもよいし、色変更してもよい。

なお、領域検出部１１１によって検出された修正候補領域のすべてをユーザが修正したいと考えるとは限らない。したがって、ユーザが修正を望まない修正候補領域はキャンセルされてもよい。例えば、ユーザのキャンセル操作によって表示変更を解除できるようにしてもよい。キャンセル操作は特に限定されず、例えば、表示変更がなされた箇所をタッチする操作であってもよい。

ユーザは撮像画像Ｉｍ１０を閲覧して再撮像の必要がないと考えた場合には、終了ボタンＢｕ２を押下すればよい。終了ボタンＢｕ２が押下された場合、例えば、表示制御部１１４によって、図１５に示したような選択画面が表示されてもよい。一方、ユーザは再撮像の必要があると考えた場合には、再撮像ボタンＢｕ３を押下すればよい。再撮像ボタンＢｕ３が押下されると、表示制御部１１４によって再撮像前におけるガイダンスが表示され得る。

図６は、再撮像前におけるガイダンスＧ１の表示例を示す図である。図６に示すように、表示制御部１１４は、再撮像に際して撮像方向の変更を促すガイダンスＧ１または撮像位置を表示部１７０に表示させてもよい。初回の撮像画像Ｉｍ１０においては修正候補領域として検出された領域であっても、撮像方向が変更された上で再撮像がなされることによって、再撮像された撮像画像においては修正候補領域として検出されない可能性が高まるからである。撮像位置は、初回の撮像画像Ｉｍ１０から検出された修正候補領域の位置であってよい。

なお、表示されるガイダンスは「角度を変えて撮影してください」というガイダンスに限定されない。例えば、ガイダンスは撮像方向の変更を促すガイダンスであれば特に限定されず、「白とびがなくなる角度で撮影してください」といったガイダンスであってもよいし、他のガイダンスであってもよい。例えば、ユーザによって「ＯＫ」が押下されると、表示制御部１１４によって再撮像時におけるスルー画像が表示される。

図７は、再撮像時におけるスルー画像Ｉｍ２２の表示例を示す図である。ユーザが再撮像を撮像部１３０に行わせようとし、撮像対象Ｏｂｊ１を撮像範囲に収めると、撮像対象Ｏｂｊ１が映ったスルー画像Ｉｍ２２が撮像され、表示制御部１１４がスルー画像Ｉｍ２２を表示部１７０に表示させる。スルー画像Ｉｍ２２には修正候補領域Ｒ２が含まれている。

ここで、図７に示すように、表示制御部１１４は、変更後の撮像方向として推奨される方向を示す推奨情報を表示部１７０に表示させてもよい。図７に示した例では、表示制御部１１４が推奨情報Ｇ２として矢印とメッセージとの双方を表示部１７０に表示させているが、矢印とメッセージとのいずれか一方を表示させてもよい。また、推奨情報Ｇ２はどのように決定されてもよい。

例えば、表示制御部１１４は、初回の撮像画像Ｉｍ１０から検出された修正候補領域Ｒ１の位置に応じて推奨情報Ｇ２を決定してもよい。より詳細には、表示制御部１１４は、初回の撮像画像Ｉｍ１０の中央を基準として修正候補領域Ｒ１が存在する位置に向かう方向であってもよい。かかる方向に撮像方向を変更すれば、撮像画像Ｉｍ２２から修正候補領域Ｒ２がなくなる可能性が高まると予想されるからである。あるいは、表示制御部１１４は、光源の位置を推定することができた場合には、推定した光源の位置に応じて推奨情報Ｇ２を決定してもよい。

ここで、ユーザによって終了ボタンＢｕ２が押下された場合、例えば、表示制御部１１４によって、図１５に示したような選択画面が表示されてもよい。一方、ユーザがスルー画像Ｉｍ２２を確認して、再撮像ボタンＢｕ３を押下すると、撮像部１３０により再撮像が行われる。その結果、表示制御装置１００は、再撮像された撮像画像を取得することができる。再撮像された撮像画像に対しては、例えば、初回の撮像画像と同じ傾きになるように射影変換がなされてよい。

続いて、合成部１１３は、初回の撮像画像Ｉｍ１０から検出された修正候補領域Ｒ１に対して再撮像された撮像画像の一部または全部を合成する。例えば、合成部１１３は、再撮像された撮像画像から修正候補領域Ｒ１に対応する領域を抽出して修正候補領域Ｒ１に合成してよい。なお、合成部１１３は、再撮像された撮像画像から抽出された修正候補領域Ｒ１に対応する領域を必要に応じて修正候補領域Ｒ１に合成してもよい。例えば、合成部１１３は、再撮像された撮像画像から抽出された修正候補領域Ｒ１に対応する領域から検出された修正候補領域が初回の撮像画像Ｉｍ１０から検出された修正候補領域Ｒ１よりも小さい場合に、再撮像された撮像画像から抽出された修正候補領域Ｒ１に対応する領域を修正候補領域Ｒ１に合成してもよい。

ここで、初回の撮像画像Ｉｍ１０と再撮像された撮像画像との間において対応する位置は、初回の撮像画像Ｉｍ１０と再撮像された撮像画像とに基づいて位置決定部１１２により決定され得る。位置決定部１１２による位置合わせの手法は特に限定されない。その後、表示制御部１１４は、合成画像Ｉｍ９０を表示部１７０に表示させればよい。

図８は、合成画像Ｉｍ９０の表示例を示す図である。図８に示したように、表示制御部１１４は、合成部１１３による合成により得られた合成画像Ｉｍ９０を表示部１７０に表示させることが可能である。ここで、初回の撮像画像Ｉｍ１０における修正候補領域Ｒ１と比較して、再撮像された撮像画像における修正候補領域Ｒ１に対応する領域に修正候補領域が減っていれば、修正候補領域が低減された合成画像Ｉｍ９０が得られる。

ここで、ユーザが終了ボタンＢｕ２を押下された場合、例えば、表示制御部１１４によって、図１５に示したような選択画面が表示されてもよい。なお、図８に示した合成画像Ｉｍ９０からは修正候補領域が検出されていないが、合成画像Ｉｍ９０から修正候補領域が検出された場合には、表示制御部１１４は、初回の撮像画像Ｉｍ１０の代わりに合成画像Ｉｍ９０が表示された再撮像前の表示を再度行ってもよい（図５参照）。そして、合成部１１３は、３回目の撮像画像を合成画像Ｉｍ９０に合成して新たな合成画像を生成してもよい。

このようにして、前回までの合成画像に今回の撮像画像を合成する動作が繰り返し行われるようにしてもよい。また、表示制御部１１４は、ユーザの操作に基づいて合成画像から修正候補領域が検出された場合に、再撮像前の表示を再度行ってもよい。また、合成部１１３は、合成画像Ｉｍ９０においてユーザによって領域が指定された場合、指定された領域に対応する領域を再撮像された撮像画像から抽出して合成画像Ｉｍ９０に合成するようにしてもよい。

また、合成画像Ｉｍ９０を閲覧したユーザが、合成前の表示に戻したいと考えた場合、キャンセル操作を行うことが可能であってもよい。ユーザによりキャンセル操作がなされた場合、合成部１１３は、今回行った合成をキャンセルし、表示制御部１１４は、再撮像前の表示を再度行ってもよい。

ここで、図９および図１０を参照しながら、合成部１１３による合成についてさらに詳細に説明する。合成部１１３による合成の手法には様々な手法があり、いずれの手法が採用されてもよい。図９は、部分画像同士を繋ぎ合わせる合成例を説明するための図である。図９に示したように、例えば、合成部１１３は、撮像対象Ｏｂｊ１が撮像された部分画像同士を繋ぎ合わせた上で合成画像の範囲を抽出することによって合成画像を生成してもよい。

このようにして部分画像同士を繋ぎ合わせる合成手法は、例えば、撮像対象Ｏｂｊ１のサイズが撮像範囲より大きい場合により有効に採用され得る。なお、繋ぎ合わされる画像は部分画像ではなく全体画像であってもよい。また、図１０は、基準画像に部分画像を重畳させる合成例を説明するための図である。図１０に示したように、例えば、合成部１１３は、撮像対象Ｏｂｊ１の全体が撮像された基準画像に部分画像を重畳させることによって合成画像を生成してもよい。なお、基準画像に重畳される画像は部分画像ではなく全体画像であってもよい。

さらに、図１１〜図１４を参照しながら、撮像画像の表示例についてさらに詳細に説明する。表示制御部１１４による撮像画像の表示の手法には様々な手法があり、いずれの手法が採用されてもよい。図１１は、再撮像時におけるスルー画像と初回の撮像画像との表示例を示す図である。図１１の画面Ｄ１〜Ｄ５に示したように、表示制御部１１４は、再撮像に際して初回の撮像画像とスルー画像とを表示部１７０に表示させるとよい。

なお、ここでは、今回の撮像が２回目であり初回の撮像画像とスルー画像とが表示される場合を主に説明するが、今回の撮像が３回目以降である場合には、図１１に示したように、前回までの合成画像とスルー画像とが表示され得る。表示制御部１１４は、初回の撮像画像におけるスルー画像に対応する領域を基準とした所定位置の表示を変更するとよい。例えば、図１１の画面Ｄ１〜Ｄ３において、表示制御部１１４は、初回の撮像画像におけるスルー画像に対応する領域の輪郭に破線を表示させている。

図１２は、初回の撮像画像におけるスルー画像に対応する領域を基準とした所定位置の表示を変更する例を示す図である。画面Ｄ６において、表示制御部１１４は、初回の撮像画像におけるスルー画像に対応する領域の中央を中心とする楕円に破線を表示させている。また、画面Ｄ７において、表示制御部１１４は、初回の撮像画像におけるスルー画像に対応する領域付近の鮮明度を低下させるような表示をさせている。このように鮮明度を低下させることによってスルー画像と初回の撮像画像との境界を不鮮明にすることが可能となる。

図１１に戻って説明を続ける。画面Ｄ１は、初回の撮像画像の表示サイズがスルー画像の表示サイズよりも大きい。したがって、例えば、初回の撮像画像におけるスルー画像の位置を容易に確認したい場合などに画面Ｄ１が表示されるとよい。一方、画面Ｄ２は、初回の撮像画像の表示サイズがスルー画像の表示サイズよりも小さい。したがって、例えば、スルー画像の内容を容易に確認したい場合などに画面Ｄ２が表示されるとよい。

画面Ｄ３は、初回の撮像画像の表示サイズとスルー画像の表示サイズとが同じである。したがって、例えば、タブレット端末などといった比較的大きなサイズの画面を有している端末を使用する場合などに画面Ｄ３が表示されるとよい。

画面Ｄ４は、スルー画像の枠は固定されており、スルー画像の表示に合わせて初回の撮像画像の表示が変更される画面の例である。例えば、比較的小さなサイズの画面を有している端末を使用する場合などに画面Ｄ４が表示されるとよい。また、画面Ｄ５は、初回の撮像画像の枠は固定されており、初回の撮像画像の内容に合わせてスルー画像の内容が変更される画面の例である。

なお、図１１には、表示制御部１１４が初回の撮像画像とスルー画像とを表示させる例を示したが、合成部１１３は、初回の撮像画像とスルー画像とを動的に合成し、表示制御部１１４は、スルー画像の代わりに、合成画像を動的に表示させてもよい。このようにして動的に合成画像を表示させるようにすれば、ユーザは合成結果をより迅速に把握することが可能となる。

続いて、図１３および図１４を参照しながら、スルー画像と合成画像とを交互に表示する場合について説明する。図１３は、スルー画像と合成画像とを交互に表示する第１の例を示す図である。画面Ｄ８に示すように、表示制御部１１４は、初回の撮像が終わると、初回の撮像画像を表示させてよい。そして、画面Ｄ９に示すように、表示制御部１１４は、ユーザの操作に従って、初回の撮像画像を拡大またはスクロールさせてよい。

ユーザによって再撮像ボタンが選択されると、画面Ｄ１０に示すように、表示制御部１１４は、それまで表示していた領域とスルー画像とを表示させてよい。撮像部１３０により再撮像がなされると、合成部１１３は、初回の撮像画像と再撮像された撮像画像とを合成して合成画像を生成し、画面Ｄ８に示すように、表示制御部１１４は、合成画像を表示部１７０に表示させてよい。３回目以降の撮像および合成も、２回目の撮像および合成と同様に繰り返され得る。

図１４は、スルー画像と合成画像とを交互に表示する第２の例を示す図である。画面Ｄ１１に示すように、表示制御部１１４は、初回の撮像が終わると、初回の撮像画像を表示させてよい。そして、ユーザによって再撮像ボタンが選択されると、画面Ｄ１２に示すように、表示制御部１１４は、スルー画像を表示させてよい。撮像部１３０により再撮像がなされると、合成部１１３は、初回の撮像画像と再撮像された撮像画像とを合成して合成画像を生成し、画面Ｄ１１に示すように、表示制御部１１４は、合成画像を表示部１７０に表示させてよい。３回目以降の撮像および合成も、２回目の撮像および合成と同様に繰り返され得る。

図１５は、合成画像に対して施されるフィルタ処理の選択画面の表示例を示す図である。合成画像に対してはフィルタ処理が施され得る。例えば、合成画像に施されるフィルタ処理は、図１５に示した選択画面を用いてユーザによって選択されたフィルタ処理であってよい。例えば、フィルタ処理は、合成画像の彩度の調整であってもよいし、合成画像の色相の調整であってもよいし、合成画像の明度の調整であってもよい。キャンセルボタンＢｕ４が押下されると、合成画像に一度施されたフィルタ処理がキャンセルされてもよい。

このようにして得られた合成画像の用途は限定されない。例えば、終了ボタンＢｕ２が押下されると、表示制御装置１００は、合成画像が他のユーザと共有されるようにしてもよい。また、表示制御装置１００は、合成画像の共有が終了した場合には、合成画像をビューワ機能によりユーザに閲覧させてもよい。

以上、表示制御装置１００の機能詳細について説明した。

＜＜４．表示制御装置の動作例＞＞
続いて、表示制御装置１００の動作例について説明する。図１６および図１７は、表示制御装置の動作例を示すフローチャートである。なお、図１６および図１７に示した動作例は、表示制御装置１００の動作の一例を示したに過ぎない。したがって、表示制御装置１００の動作は、図１６および図１７に示した例に限定されない。

まず、図１６に示すように、表示制御部１１４は、初回の撮像画像を表示部１７０に表示させる（Ｓ１１）。続いて、領域検出部１１１が初回の撮像画像から修正候補領域を検出しない場合には（Ｓ１２で「Ｎｏ」）、Ｓ２５に動作を移行させる。一方、領域検出部１１１が初回の撮像画像から修正候補領域を検出した場合には（Ｓ１２で「Ｙｅｓ」）、撮像部１３０によって２回目の撮像が行われ（Ｓ１３）、領域検出部１１１は、２回目の撮像画像から修正候補領域に対応する領域を抽出領域として抽出する（Ｓ１４）。続いて、合成部１１３は、抽出領域を初回の撮像画像における修正候補領域に合成し（Ｓ１５）、表示制御部１１４は、合成画像を表示部１７０に表示させる（Ｓ１６）。

続いて、領域検出部１１１が合成画像から修正候補領域を検出しない場合には（Ｓ２１で「Ｎｏ」）、Ｓ２６に動作を移行させる。一方、領域検出部１１１が合成画像から修正候補領域を検出した場合には（Ｓ２１で「Ｙｅｓ」）、撮像部１３０によって今回の撮像が新たに行われ（Ｓ２２）、領域検出部１１１は、今回の撮像画像から修正候補領域に対応する領域を抽出画像として抽出する（Ｓ２３）。続いて、合成部１１３は、抽出領域を合成画像における修正候補領域に合成し（Ｓ２４）、表示制御部１１４は、合成画像を表示部１７０に表示させる（Ｓ２５）。

続いて、領域検出部１１１は、合成画像から修正候補領域を検出した場合には（Ｓ２１で「Ｙｅｓ」）、Ｓ２２に動作を移行させるが、合成画像から修正候補領域を検出しない場合には（Ｓ２１で「Ｎｏ」）、Ｓ２６に動作を移行させる。Ｓ２６においては、初回の撮像画像または合成画像に対してフィルタ処理が施され（Ｓ２６）、表示制御装置１００の動作が終了される。

なお、本動作例においては、修正候補領域の検出がなされなくなるまで再撮像および合成が繰り返されることとしたが、再撮像および合成が終了されるタイミングは特に限定されない。また、本動作例においては、初回の撮像画像または合成画像に対してフィルタ処理が施された後は、表示制御装置１００の動作が終了されることとしたが、表示制御装置１００は合成画像が他のユーザと共有されるようにしてもよいし、合成画像をビューワ機能によりユーザに閲覧させてもよい。

＜＜５．ハードウェア構成例＞＞
続いて、表示制御装置１００のハードウェア構成例について説明する。図１８は、表示制御装置１００のハードウェア構成例を示す図である。ただし、図１８に示したハードウェア構成例は、表示制御装置１００のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１００のハードウェア構成は、図１８に示した例に限定されない。

図１８に示したように、表示制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。

ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１００内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。表示制御装置１００のユーザは、該入力装置８０８を操作することにより、表示制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置８１１は、表示制御装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。

ドライブ８１２は、記憶媒体用リーダライタであり、表示制御装置１００に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体に情報を書き込むこともできる。

撮像装置８１３は、光を集光する撮像レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワークを介して他の装置と通信を行うことが可能である。

以上、表示制御装置１００のハードウェア構成例について説明した。

＜＜６．むすび＞＞
以上説明したように、本開示の実施形態によれば、初回の撮像画像Ｉｍ１０を表示部１７０に表示させる表示制御部１１４を備え、表示制御部１１４は、初回の撮像画像Ｉｍ１０から修正候補領域Ｒ１が検出された場合、修正候補領域Ｒ１に対して２回目の撮像画像の一部または全部が合成された合成画像Ｉｍ９０を表示部１７０に表示させる、表示制御装置１００が提供される。かかる構成によれば、撮像画像に含まれる修正候補領域をより高精度に修正することが可能である。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１００が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像画像を表示部に表示させる表示制御部を備え、
前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、
表示制御装置。
（２）
前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域の位置を基準とした所定位置の表示を変更する、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記第２の撮像画像の撮像に際して撮像方向の変更を促すガイダンスまたは撮像位置を前記表示部に表示させる、
前記（１）または（２）に記載の表示制御装置。
（４）
前記表示制御部は、変更後の撮像方向として推奨される方向を示す推奨情報を前記表示部に表示させる、
前記（３）に記載の表示制御装置。
（５）
前記表示制御部は、前記修正候補領域の位置に応じて前記推奨情報を決定する、
前記（４）に記載の表示制御装置。
（６）
前記表示制御部は、前記第２の撮像画像の撮像に際して前記第１の撮像画像とスルー画像とを前記表示部に表示させる、
前記（１）〜（５）のいずれか一項に記載の表示制御装置。
（７）
前記表示制御部は、前記第２の撮像画像の撮像に際して前記第１の撮像画像における前記スルー画像に対応する領域を基準とした所定位置の表示を変更する、
前記（６）に記載の表示制御装置。
（８）
前記表示制御装置は、
前記第１の撮像画像から検出された前記修正候補領域に対して前記第２の撮像画像の一部または全部を合成する合成部を備える、
前記（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記合成部は、前記第２の撮像画像から前記修正候補領域に対応する領域を抽出して前記修正候補領域に合成する、
前記（８）に記載の表示制御装置。
（１０）
前記合成部は、前記第２の撮像画像から前記合成画像において指定された領域に対応する領域を抽出して前記合成画像に合成する、
前記（８）または（９）に記載の表示制御装置。
（１１）
前記表示制御装置は、
前記第１の撮像画像から前記修正候補領域を検出する領域検出部を備える、
前記（１）〜（１０）のいずれか一項に記載の表示制御装置。
（１２）
前記領域検出部は、
前記第１の撮像画像の色情報に基づいて前記修正候補領域を検出する、
前記（１１）に記載の表示制御装置。
（１３）
前記領域検出部は、
スルー画像と前記第１の撮像画像とにおいて対応する画素間の色情報の差分に基づいて前記修正候補領域を検出する、
前記（１１）または（１２）に記載の表示制御装置。
（１４）
前記領域検出部は、
ユーザの操作に基づいて前記修正候補領域を検出する、
前記（１１）に記載の表示制御装置。
（１５）
前記表示制御装置は、
前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記第１の撮像画像と前記第２の撮像画像との間において対応する位置を決定する位置決定部を備える、
前記（１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
前記表示制御装置は、
前記第１の撮像画像と前記スルー画像とに基づいて、前記第１の撮像画像と前記スルー画像との間において対応する位置を決定する位置決定部を備える、
前記（１）〜（１４）のいずれか一項に記載の表示制御装置。
（１７）
前記表示制御部は、前記第１の撮像画像に対して台形補正を行う、
前記（１）〜（１６）のいずれか一項に記載の表示制御装置。
（１８）
前記表示制御装置は、
前記第１の撮像画像および前記第２の撮像画像を撮像する撮像部を備える、
前記（１）〜（１７）のいずれか一項に記載の表示制御装置。
（１９）
第１の撮像画像を表示部に表示させることと、
前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させることと、
を含む、表示制御方法。
（２０）
コンピュータを、
第１の撮像画像を表示部に表示させる表示制御部を備え、
前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。

１００ 表示制御装置
１１０ 制御部
１１１ 領域検出部
１１２ 位置決定部
１１３ 合成部
１１４ 表示制御部
１２０ 入力部
１３０ 撮像部
１５０ 記憶部
１６０ 通信部
１７０ 表示部
Ｉｍ１０ 撮像画像
Ｉｍ９０ 合成画像
Ｇ１ ガイダンス
Ｇ２ 推奨情報
Ｒ１、Ｒ２ 修正候補領域

Claims (20)

1. 第１の撮像画像を表示部に表示させる表示制御部を備え、
   前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、
   表示制御装置。
2. 前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域の位置を基準とした所定位置の表示を変更する、
   請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記第２の撮像画像の撮像に際して撮像方向の変更を促すガイダンスまたは撮像位置を前記表示部に表示させる、
   請求項１に記載の表示制御装置。
4. 前記表示制御部は、変更後の撮像方向として推奨される方向を示す推奨情報を前記表示部に表示させる、
   請求項３に記載の表示制御装置。
5. 前記表示制御部は、前記修正候補領域の位置に応じて前記推奨情報を決定する、
   請求項４に記載の表示制御装置。
6. 前記表示制御部は、前記第２の撮像画像の撮像に際して前記第１の撮像画像とスルー画像とを前記表示部に表示させる、
   請求項１に記載の表示制御装置。
7. 前記表示制御部は、前記第２の撮像画像の撮像に際して前記第１の撮像画像における前記スルー画像に対応する領域を基準とした所定位置の表示を変更する、
   請求項６に記載の表示制御装置。
8. 前記表示制御装置は、
   前記第１の撮像画像から検出された前記修正候補領域に対して前記第２の撮像画像の一部または全部を合成する合成部を備える、
   請求項１に記載の表示制御装置。
9. 前記合成部は、前記第２の撮像画像から前記修正候補領域に対応する領域を抽出して前記修正候補領域に合成する、
   請求項８に記載の表示制御装置。
10. 前記合成部は、前記第２の撮像画像から前記合成画像において指定された領域に対応する領域を抽出して前記合成画像に合成する、
    請求項８に記載の表示制御装置。
11. 前記表示制御装置は、
    前記第１の撮像画像から前記修正候補領域を検出する領域検出部を備える、
    請求項１に記載の表示制御装置。
12. 前記領域検出部は、
    前記第１の撮像画像の色情報に基づいて前記修正候補領域を検出する、
    請求項１１に記載の表示制御装置。
13. 前記領域検出部は、
    スルー画像と前記第１の撮像画像とにおいて対応する画素間の色情報の差分に基づいて前記修正候補領域を検出する、
    請求項１１に記載の表示制御装置。
14. 前記領域検出部は、
    ユーザの操作に基づいて前記修正候補領域を検出する、
    請求項１１に記載の表示制御装置。
15. 前記表示制御装置は、
    前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記第１の撮像画像と前記第２の撮像画像との間において対応する位置を決定する位置決定部を備える、
    請求項１に記載の表示制御装置。
16. 前記表示制御装置は、
    前記第１の撮像画像と前記スルー画像とに基づいて、前記第１の撮像画像と前記スルー画像との間において対応する位置を決定する位置決定部を備える、
    請求項１に記載の表示制御装置。
17. 前記表示制御部は、前記第１の撮像画像に対して台形補正を行う、
    請求項１に記載の表示制御装置。
18. 前記表示制御装置は、
    前記第１の撮像画像および前記第２の撮像画像を撮像する撮像部を備える、
    請求項１に記載の表示制御装置。
19. 第１の撮像画像を表示部に表示させることと、
    前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させることと、
    を含む、表示制御方法。
20. コンピュータを、
    第１の撮像画像を表示部に表示させる表示制御部を備え、
    前記表示制御部は、前記第１の撮像画像から修正候補領域が検出された場合、前記修正候補領域に対して第２の撮像画像の一部または全部が合成された合成画像を前記表示部に表示させる、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
    
    

Images