JP2020067715A - 情報処理装置、情報処理装置の制御方法、コンピュータプログラム - Google Patents

Abstract

【課題】撮像領域の中でカラー画像で表示する領域、モノクロ画像で表示する領域、合成カラー画像といった異なる画像種別で表示する領域を任意に設定可能とする情報処理装置、その制御方法及びコンピュータプログラムを提供する。【解決手段】情報処理装置は、複数の画像種別のうち第１の画像種別の指定を受け付ける第１の受付手段と、所定の表示領域に画像を第１の画像種別で表示する表示制御手段と、表示領域に表示されている画像において領域の指定を受け付ける領域受付手段と、を備える。表示制御手段は、表示されている画像のうち指定された領域を、複数の画像種別のうち第１の画像種別とは異なる第２の画像種別で表示する。【選択図】図４

Description

本発明は、情報処理装置、情報処理装置の制御方法、コンピュータプログラムに関する。

撮影装置には、カラー画像が取得可能な撮像素子と、モノクロ画像が取得可能な撮像素子を有し、"カラー画像"と、"モノクロ画像"と、さらには、カラー画像とモノクロ画像を合成した"合成カラー画像"を表示可能な装置がある。

また、撮影装置により撮像された画像を用いて、カラー画像の一部領域をモノクロ画像として表示する、あるいは、モノクロ画像の一部領域をカラー画像として表示する方法がある。特許文献１では、モノクロ画像とカラー(可視)画像のどちらかの画像の一部の領域のみを抽出し、もう一方の画像に重畳して表示する方法を開示する。モノクロ画像で表示された物体の輪郭をカラー画像として表示することで、ピーキング機能を実現する方法が開示されている。

特開２０１６−１８６５５５号公報

上記の撮影装置によれば、従来はモノクロ画像のみ表示可能であった暗所（照度が十分でない場所）でも合成カラー画像を表示可能となり、ユーザの利便性を向上できる。しかしながら、当該撮影装置を監視用途で用いた場合には、撮像領域のなかで、大きな明暗差が発生するおそれがあり、例えば、夜間撮影に際して、街灯が届く範囲は明るく、届かない範囲は暗くなってしまうことが考えられる。

そこで、撮像領域の中でカラー画像で表示する領域、モノクロ画像で表示する領域、合成カラー画像といった異なる画像種別で表示する領域をそれぞれ適切に設定可能にする技術が求められる。本発明は、撮像領域の中で異なる画像種別で表示する領域を任意に設定可能とするための技術を提供する。

上記課題を解決する本発明は、情報処理装置であって、
複数の画像種別のうち第１の画像種別の指定を受け付ける第１の受付手段と、
所定の表示領域に画像を前記第１の画像種別で表示する表示制御手段と、
前記表示領域に表示されている前記画像において領域の指定を受け付ける領域受付手段と、
を備え、
前記表示制御手段は、前記表示されている画像のうち指定された前記領域を、前記複数の画像種別のうち前記第１の画像種別とは異なる第２の画像種別で表示することを特徴とする。

本発明によれば、撮像領域の中で異なる画像種別で表示する領域を任意に設定可能とするための技術を提供することができる。

発明の実施形態に対応するシステムの構成例を示す図。 発明の実施形態に対応する情報処理装置１２０のハードウェア構成例を示す図、及び、撮影装置１１０の機能構成を示す図。 発明の実施形態に対応する情報処理装置１２０の表示部１２２に表示されるユーザインタフェース（ＵＩ）の一例を示す図。 発明の実施形態１に対応する処理の一例を示すフローチャート。 発明の実施形態２に対応する処理の一例を示すフローチャート。 発明の実施形態３に対応する処理の一例を示すフローチャート。 発明の実施形態４に対応する処理の一例を示すフローチャート。

以下に、発明の実施形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
まず、発明の第１の実施形態に係るシステムの構成について、図１のブロック図を用いて説明する。図１は、発明の実施形態１に係るシステムの構成例を示すブロック図である。図１において、システム１００は、撮影装置１１０、情報処理装置１２０、及び、表示装置１３０がネットワーク１４０を介して相互に接続されて構成されている。図１に示したシステム１００の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。

撮影装置１１０は、撮像部１１１、制御部１１２及び通信部１１３を有することができる。撮像部１１１は、光学系、撮像センサ、現像処理部、符号化部等を含むことができる。撮像部１１１では、例えば、静止画像のほかに、１秒間に３０フレーム分の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。撮像部１１１は、カラー画像用の撮像素子と、モノクロ画像用の撮像素子とを含むように構成され、カラー画像、モノクロ画像をそれぞれ出力することができる。また、カラー画像とモノクロ画像から合成カラー画像を生成し、出力することもできる。

制御部１１２は、撮影装置１１０の画角や撮影方向、フレームレート、取得する画像の種別等の撮影条件を調整する。撮影条件の調整は、ユーザからの指示に応じて実行することもできるし、撮影装置１１０に予め記憶された設定値に応じて行うこともできる。ユーザから指示を行う場合は、ネットワーク１４０を介して情報処理装置１２０や表示装置１３０から行なってもよいし、直接、撮影装置１１０に接続されたコンソール端末や撮影装置１１０が有する操作部（不図示）を介して行ってもよい。また、制御部１１２は、情報処理装置１２０や表示装置１３０から送信される命令に応じて、撮影開始／終了など撮像部１１１の制御を行う。

通信部１１３は、撮像部１１１が撮影により生成した画像データをネットワーク１４０経由で、情報処理装置１２０、表示装置１３０に送信するための通信インタフェースである。通信部１１３は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。また、通信部１１３は、情報処理装置１２０や表示装置１３０から撮影装置１１０を制御するための設定情報や命令を受信し、制御部１１２に供給する。制御部１１２は、その設定情報や命令に従って撮影装置１１０の動作を制御する。

情報処理装置１２０は、制御部１２１、表示部１２２、記憶部１２３、データベース（ＤＢ）管理部１２４、データベース（ＤＢ）１２５、操作部１２６、画像処理部１２７、通信部１２８を含んで構成される。制御部１２１は、情報処理装置１２０の各部の動作を制御する。表示部１２２は、図３（Ａ）から図３（Ｄ）を参照して後述するような、撮影装置１１０から取得した画像データを表示するためのユーザインタフェースを表示することができる。また、表示部１２２は、画像出力の他、音声出力を行う機能を有していてもよい。表示部１２２は、ディスプレイ等の表示装置と、当該表示装置における表示を制御する表示制御部とで構成することができる。また、ディスプレイは情報処理装置１２０の外部に設置され、情報処理装置１２０と接続して利用する形態であってもよい。

記憶部１２３は、撮影装置１１０から受信した画像データを記憶したり、画像処理部１２７における処理に用いられる情報や、処理結果を記憶したりする。操作部１２６は、情報処理装置１２０の操作者からの操作を受け付けることができる。具体的に、撮影装置１１０、情報処理装置１２０の設定を変更するための操作を受け付けることができ、キーボード、マウス、各種操作ボタン、タッチパネル等を含むことができる。情報処理装置１２０が受け付ける操作には、後述する図３（Ａ）から（Ｄ）のユーザインタフェースを利用した、プルダウンメニューやボタンの操作や領域の指定、変更等が含まれる。

撮影装置１１０がネットワーク１５０に複数台接続されている場合、操作部１２６により、１つの画面で複数台分の画像データを表示部１２２に表示するための指示入力を行うことができる。また、画面上で１つの画像データを選択して、その画像データを表示部１２２に表示するための指示入力を行うこともできる。また、各種設定情報を設定、変更するための指示入力を行うことができる。

画像処理部１２７は、本実施形態に対応する画像処理を実行する処理部である。当該画像処理には、例えば、モノクロ画像とカラー画像から合成カラー画像を生成する処理や、ユーザから指定された領域に表示するための画像を、選択された画像種別の画像から切り出して埋め込み画像を生成する処理等が含まれる。また、撮影装置１１０から受信したモノクロ画像やカラー画像について特定の波長成分を除去する処理を行うこともできる。生成されたモノクロ画像、カラー画像、合成カラー画像は、撮像された日時や、撮像場所等の各種の属性情報と関連付けられてＤＢ管理部１２４を介してＤＢ１２５に保存することができる。画像処理部１２７の機能構成、及び、動作の詳細は後述する。

通信部１２８は、撮影装置１１０から送信される画像データを受信する。また、通信部１２８は、情報処理装置１２０のユーザが表示部１２２や操作部１２６を使用して設定した設定情報や制御情報、配信命令を撮影装置１１０に送信することができる。また、情報処理装置１２０で画像データを処理した結果（上記通知を含む）をネットワーク１４０に接続された表示装置１３０に出力することができる。

表示装置１３０は、撮影装置１１０が撮影する画像を表示するとともに、情報処理装置１２０から受信した埋め込み画像が合成された画像を出力することができる。また、撮影装置１１０で撮影する撮影条件・撮影パラメータを指示・変更するためのユーザインタフェースを提供したり、配信された映像を表示したりすることもできる。

ネットワーク１４０は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１４０は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。撮影装置１１０は、指定された撮影条件に従ってライブ映像を撮影し、得られた画像データをネットワーク１４０経由で各装置に配信することができる。

本実施形態では１台の撮影装置１１０を利用する場合を説明するが、図１に示すシステム１００構成において、撮影装置１１０の台数は１台以上の任意の数とすることができ、台数に限定はない。情報処理装置１２０、及び表示装置１３０は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。

次に、本実施形態に対応するシステム１００を構成する情報処理装置１２０の概略構成を説明する。図２（Ａ）は、情報処理装置１２０のハードウェア構成の一例を示すブロック図である。上述した表示装置１３０も、同様或いは同等のハードウェア構成として構成しても良い。

図２（Ａ）において、ＣＰＵ２００は、制御部１２１として動作することができ、ハードディスク装置（以下、ＨＤと呼ぶ）２０５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、画像処理部１２７として動作することも可能であって、撮影装置１１０から提供されたモノクロ画像とカラー画像から合成カラー画像を生成する等の処理を実行する。さらには、インタフェース（Ｉ／Ｆ）２０８を介した外部の表示装置１３０とのデータ送受信を制御する。なお、後述する図４から図７における処理もＣＰＵ２００が対応する処理プログラムを実行することにより装置全体を制御して実現することができる。

ＲＯＭ２０１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２０２は各種データを一時記憶し、ＣＰＵ２００の主メモリ、ワーク領域等として機能する。また、撮影装置１１０から受信した情報を一時的に記憶する。外部記憶ドライブ２０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。

ハードディスク装置２０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。ハードディスク装置２０５を、データベース１２５として機能するように構成することができる。

指示入力装置２０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２０７は、指示入力装置２０６から入力されたコマンドや、それに対する応答出力等を出力する。出力装置２０７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２０９は、情報処理装置１２０内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２０８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２０５からＲＡＭ２０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２００で実行することも可能である。さらに、メディア２０４から対応プログラム及び関連データを直接ＲＡＭ２０２にロードして実行させることもできる。

次に、図２（Ｂ）を参照して、本実施形態に対応する撮影装置１１０の撮像部１１１の機能構成について説明する。図２（Ｂ）は、発明の実施形態に対応する撮像部１１１の機能構成例を示すブロック図である。

光学系２１１は、撮像センサに到達する被写体像の倍率やピント位置、あるいは光量を調整している。光学系２１１は、レンズを移動させるためのモータ等の所定の駆動機構を含み、当該駆動機構は制御部１１２からの指示に応じて動作が制御される。プリズム２１２は、光学系２１１からの光を分割し、分割された光の一方はカラー用撮像素子２１３に入射して光電変換され、分割された光のもう一方は、モノクロ用撮像素子２１４で光電変換される。カラー用撮像素子２１３及びモノクロ用撮像素子２１４の各撮像面に結像された各光像を光電変換して得られたアナログ画像信号は、Ａ／Ｄ変換器２１５に出力されデジタル画像信号に変換される。

画像処理部２１６は、Ａ／Ｄ変換器２１５から出力されたデジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施することができる。また、モノクロ画像やカラー画像から特定の波長成分を除去する処理や、モノクロ画像とカラー画像から合成カラー画像を生成する処理を実行してもよい。符号化部２１７では、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.２６４、H.２６５、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp４やavi形式などを含む任意の形式の画像データを生成しても良い。

次に、本実施形態におけるモノクロ画像とカラー画像から合成カラー画像を生成する処理を説明する。当該合成カラー画像の生成処理は、画像処理部１２７または画像処理部２１６において実施することができる。

図２（Ｂ）に示したカラー用撮像素子２１３は、受光素子の前に赤・緑・青の色フィルタが設置された撮像素子であり、赤成分・緑成分・青成分からなるカラー画像を出力する。カラー用撮像素子２１３によれば、無駄なく可視光をとらえることが可能となる。またモノクロ用撮像素子２１４は、受光素子の前に色フィルタが設置されない撮像素子であり、輝度情報からなるモノクロ画像データを出力する。モノクロ用撮像素子２１４は、高感度であり、可視光より波長の長い波長成分も受光することができるので、空間解像度が高い撮像が可能となる。

このように、カラー用撮像素子２１３とモノクロ用撮像素子２１４とでは、受光する光の波長帯域が異なっている。そこで、合成カラー画像の生成においてはカラー画像から色情報を抽出し、モノクロ画像データから輝度情報を抽出して、色情報と輝度情報を合成し画像データを生成することで、この帯域の違いを利用して被写体像が鮮明に表示される画像データを得ることができる。

画像処理部１２７や画像処理部２１６は、カラー画像が可視光領域以外の赤外光成分等の波長成分を含む場合は、可視光領域以外の波長成分を除去して、可視光領域の波長成分のみからなるカラー画像を生成してもよい。このようにして赤外光成分等の波長成分が除去されることにより、人の知覚に合致した人の目に分かりやすいカラー画像が得られる。また、画像処理部１２７や画像処理部２１６は、モノクロ画像が可視光領域の波長成分を含む場合に、可視光領域の波長成分を除去して可視光領域以外の波長成分のみからなるモノクロ画像とすることができる。このようにして可視光成分が除去されることにより、霧や霞などで見えにくい環境でも、被写体が鮮明なモノクロ画像が得られる。この場合に、画像処理部１２７や画像処理部２１６は、可視光領域の波長成分のみからなるカラー画像から抽出した色情報と、可視光領域以外の波長成分のみからなるモノクロ画像から抽出した輝度情報とを合成して合成カラー画像を生成することができる。

本実施形態においては、モノクロ画像、カラー画像、合成カラー画像は同一の大きさ（縦横の画素数）を有するものとする。よって、ある画像において指定された領域の座標情報は、他の画像における対応領域を切り出すための座標情報として利用することができる。

本実施形態では、これ以降、撮影装置１１０からモノクロ画像とカラー画像が情報処理装置１２０に送信され、情報処理装置１２０側で合成カラー画像の生成を行う場合を説明する。しかし、以下の実施形態についての説明は、合成カラー画像の生成を撮影装置１１０側で行って、撮影装置１１０からモノクロ画像、カラー画像、合成カラー画像の３つの画像種別の画像が情報処理装置１２０に送信される場合にも同様に適用可能である。

次に、図３（Ａ）および図４を参照して、本実施形態に対応する処理を説明する。まず、図３（Ａ）に、情報処理装置１２０の表示部１２２に表示されるユーザインタフェース（ＵＩ）の一例を示す。図３（Ａ）に示す表示画面３００の例では、背景画像を表示する表示領域３０１に撮影装置１００で撮像された撮像画像に基づく画像が表示されており、当該表示領域３０１の上側にプルダウンメニュー３０２が表示されている。プルダウンメニュー３０２には、表示領域３０１に表示する背景画像の選択要素として「モノクロ画像」、「合成カラー画像」の画像種別が含まれ、いずれにするかを選択することができる。本実施形態では、「モノクロ画像」と「合成カラー画像」の２つの画像種別（種類）を例として説明するが、「カラー画像」を更に選択可能としてもよい。また、「モノクロ画像」と「合成カラー画像」とのいずれかと、「カラー画像」を選択可能としてもよい。

プルダウンメニュー３０２は、デフォルト設定として例えばモノクロ画像（または、合成カラー画像）が選択されるように構成されていてもよい。また、点線で囲まれた領域３０３は、ユーザにより指定された領域である。当該領域は、例えば表示部１２２に表示された画面上のカーソルをユーザが操作部１２６のマウスにより操作することで指定することができる。

次に、図４のフローチャートを参照して、本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。

まず、Ｓ４０１において、制御部１２１は、デフォルトの背景画像を表示部１２２の表示画面３００内の表示領域３０１に表示する。デフォルトの背景画像は、例えばモノクロ画像とすることができる。続くＳ４０２において、制御部１２１は、ユーザから背景画像の画像種別の選択受付の有無を判定する。ユーザは、表示画面３００のプルダウンメニュー３０２において、モノクロ画像と合成カラー画像のうちのいずれかを選択することができる。Ｓ４０２において、ユーザからの選択を受け付けたと判定されると、処理はＳ４０３に進む。一方、ユーザからの選択を受け付けない場合には処理はＳ４０４に進む。

Ｓ４０３において制御部１２１は、Ｓ４０２で選択された画像種別の画像を、表示画面３００の表示領域３０１に表示する。たとえば、選択された背景画像の画像種別が合成カラー画像であった場合には、表示領域３０１には合成カラー画像を表示する。続く、Ｓ４０４において、制御部１２１は、ユーザから表示領域３０１内において領域３０３の指定受付の有無を判定する。制御部１２１が領域受付があったと判定すると、処理はＳ４０５に進む。制御部１２１が領域の指定を受け付けていないと判定すると、処理はＳ４０２に戻る。

Ｓ４０５において、制御部１２１は、Ｓ４０４で指定された領域３０３に表示する画像を、プルダウンメニュー３０２において選択されている画像とは異なる画像種別の画像から切り出して、領域３０３に埋め込み画像（あるいは、重畳画像、切り替え画像）として表示する。例えば、表示領域３０１に背景画像としてモノクロ画像が表示されている場合には、領域３０３には合成カラー画像が表示され、背景画像として合成カラー画像が表示されている場合には、領域３０３にはモノクロ画像が表示される。ここで、本実施形態では上述のように表示対象となるモノクロ画像と合成カラー画像とが同一の大きさ（縦横の画素数）を有するので、モノクロ画像において指定された領域の座標に基づき合成カラー画像から切り出す画像の位置を決定することができる。

このようにして、背景画像として表示した画像において、任意に指定された領域を異なる画像種別で示すことができる。例えば本実施形態によれば、駐車場に駐車されている車両を撮像した撮像画像を表示画面３００において確認する際に、背景画像を合成カラー画像としつつ、ナンバープレートが写っている領域を領域３０３として指定してモノクロ画像として表示することができる。これにより、車両の色を合成カラー画像で確認しつつ、ナンバープレートの部分についてはＳＮの良いモノクロ画像で番号の視認性を高めることが可能となる。

上記においては、ユーザは領域３０３の指定を行った後に、プルダウンメニュー３０２を利用して背景画像の画像種別を切り替えることができ、その場合には、背景画像の画像種別の切り替えに応じて領域３０３に表示されている画像種別も切り替わる。

また、上記においてはユーザが表示領域３０１内で指定可能な領域３０３の数が１つの場合を説明したが、設定可能な領域３０３の数は２以上であってもよい。また、領域の形状は、矩形形状だけでなく、円形、楕円形、多角形等を含む任意のものとすることができる。また、同一の背景画像について複数の異なる形状、大きさ及び枠の色の領域を指定することもできる。

また、上記では、背景画像についてユーザからの選択を受ける前にはデフォルト設定の画像種別の背景画像が表示される場合を示したが、ユーザによる背景画像の画像種別の選択に応じて背景画像の表示を開始してもよい。また、前回の処理の終了時における選択設定の内容を記憶しておいて、当該設定をデフォルト設定としてもよいし、あるいは、ユーザがデフォルト設定を予め設定可能としてもよい。

また、背景画像上に設定された領域は、所定の操作に応じて画像上から削除することができる。削除操作により、当該領域に相当する部分には元の背景画像が表示される。

このようにして本実施形態では、背景画像において任意の領域を指定して、背景画像とは異なる画像種別の画像を埋め込み表示（あるいは、重畳表示、部分的に切り替えて表示）することができるの。よって、１枚の画像において画像に含まれる被写体に応じて、領域毎に画像種別を切り替えて、視認性をより高めることができる。

［実施形態２］
次に、発明の第２の実施形態を説明する。本実施形態におけるシステム１０の構成は図１及び図２に示したものと同様である。上記の実施形態１では、選択可能な画像がモノクロ画像と合成カラー画像の２つの画像種別（種類）の場合を説明したが、本実施形態では、これらに追加してカラー画像も選択可能とする。本実施形態に対応する発明は、実施形態１との組み合わせにおいて実施されてもよいし、単独で実施されてもよい。

図３（Ｂ）は、本実施形態に対応する情報処理装置１２０の表示部１２２に表示されるユーザインタフェース（ＵＩ）の一例を示す。図３（Ｂ）に示す表示画面３１０の例では、背景画像を表示する表示領域３１１に撮影装置１００による撮像画像に基づく画像が表示され、当該表示領域３１１の上側に背景画像を選択するプルダウンメニュー３１２と、埋め込み画像を選択するプルダウンメニュー３１４とが表示されている。また、点線で囲まれた領域３１３は、ユーザにより指定された領域である。当該領域は、例えば表示部１２２に表示された画面上のカーソルをユーザが操作部１２６のマウスにより操作することで指定することができる。

プルダウンメニュー３１２には、表示領域３１１に表示する背景画像の選択要素として「モノクロ画像」、「合成カラー画像」、「カラー画像」が含まれ、いずれにするかを選択することができる。また、プルダウンメニュー３１４では、プルダウンメニュー３１２で選択された画像種別を除いた他の画像種別の中から埋め込み画像の画像種別を選択することができる。例えば、背景画像として「モノクロ画像」が選択された場合には、プルダウンメニュー３１４では「合成カラー画像」と「カラー画像」とのいずれかのみが選択可能となる。

次に、図５のフローチャートを参照して、本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。

まず、Ｓ５０１において、制御部１２１は、デフォルトの背景画像を表示部１２２の表示画面３１０内の表示領域３１１に表示する。デフォルトの背景画像は、例えばモノクロ画像とすることができる。続くＳ５０２において、制御部１２１は、ユーザから背景画像の画像種別の選択を受け付けたか否かを判定する。ユーザは、表示画面３１０のプルダウンメニュー３１２において、モノクロ画像、合成カラー画像、カラー画像のうちのいずれかを選択することができる。Ｓ５０２において、ユーザからの選択を受け付けたと判定されると、処理はＳ５０３に進む。一方、ユーザからの選択を受け付けない場合には処理はＳ５０４に進む。

Ｓ５０３において制御部１２１は、Ｓ５０２で選択された画像種別の画像を、表示画面３１０の表示領域３１１に表示する。たとえば、選択された背景画像の画像種別が合成カラー画像であった場合には、表示領域３１１には合成カラー画像を表示する。続く、Ｓ５０４において、制御部１２１は、ユーザから埋め込み画像の画像種別の選択を受け付けたか否かを判定する。このとき、プルダウンメニュー３１４で選択が可能な画像種別からは、プルダウンメニュー３１２で選択された画像種別が除外される。埋め込み画像の画像種別についても、デフォルト設定を用意することができるので、ユーザからの選択を受け付けない場合にはデフォルト設定のままとなる。デフォルト設定は、背景画像として選択されている画像種別以外のいずれかとすることができる。Ｓ５０４における判定の後、処理はＳ５０５に進む。

Ｓ５０５において制御部１２１は、ユーザから表示領域３１１内において領域３１３の指定を受け付けたか否かを判定する。制御部１２１が領域の指定を受け付けたと判定すると、処理はＳ５０６に進む。制御部１２１が領域の指定を受け付けていないと判定すると、処理はＳ５０２に戻る。Ｓ５０６において、制御部１２１は、Ｓ５０５で指定された領域３１３に表示する画像を、プルダウンメニュー３１４において選択されている画像種別の画像から切り出して、領域３１３に表示する。例えば、埋め込み画像としてモノクロ画像が選択されている場合には、領域３１３にはモノクロ画像が表示される。

上記においては、ユーザは領域３１３の指定を行った後に、当該領域に表示するプルダウンメニュー３１４を利用して埋め込み画像の画像種別を切り替えたり、プルダウンメニュー３１２を利用して背景画像の画像種別を切り替えたりすることもできる。

また、上記においてはユーザが表示領域３１１内で指定可能な領域３１３の数が１つの場合を説明したが、設定可能な領域３１３の数は２以上であってもよい。また、領域の形状は、矩形形状だけでなく、円形、楕円形、多角形等を含む任意のものとすることができる。また、同一の背景画像について複数の異なる形状、大きさ及び枠の色の領域を指定することもできる。本実施形態では、複数の領域３１３について表示される埋め込み画像の画像種別をプルダウンメニュー３１４により一括に指定したり、切り替えたりすることができる。また、背景画像上に設定された領域は、所定の操作に応じて画像上から削除することができる。削除操作により、当該領域に相当する部分には元の背景画像が表示される。

また、上記では、背景画像及び埋め込み画像についてユーザからの選択を受ける前にはデフォルト設定の画像種別の画像が表示される場合を示したが、ユーザによる画像種別の選択に応じて各画像の表示を開始してもよい。この場合、Ｓ５０４よりも先にＳ５０５を実行してもよい。また、前回の処理の終了時における各選択設定の内容を記憶しておいて、当該設定をデフォルト設定としてもよいし、あるいは、ユーザがデフォルト設定を予め設定可能としてもよい。

このようにして本実施形態では、背景画像及び埋め込み画像の画像種別をそれぞれユーザが指定することができるので、撮像画像に含まれる被写体に応じた画像種別をユーザが選択し、視認性をより高めることが可能となる。

［実施形態３］
次に、発明の第３の実施形態を説明する。本実施形態におけるシステム１０の構成は図１及び図２に示したものと同様である。上記の実施形態２では、埋め込み画像の画像種別はプルダウンメニュー３１４により一括に指定されていたが、本実施形態では、設定された領域毎に画像種別を選択可能とする。本実施形態に対応する発明は、実施形態１及び／又は２との組み合わせにおいて実施されてもよいし、単独で実施されてもよい。

図３（Ｃ）は、本実施形態に対応する情報処理装置１２０の表示部１２２に表示されるユーザインタフェース（ＵＩ）の一例を示す。図３（Ｃ）に示す表示画面３２０の例では、背景画像を表示する表示領域３２１に撮影装置１００による撮像画像に基づく画像が表示されており、当該表示領域３２１の上側に背景画像を選択するプルダウンメニュー３２２が表示されている。また、点線で囲まれた領域３２３、３２５は、ユーザにより指定された領域である。当該領域は、例えば表示部１２２に表示された画面上のカーソルをユーザが操作部１２６のマウスにより操作することで指定することができる。各領域には、プルダウンメニュー３２４、３２６が対応付けて表示され、各プルダウンメニューにより対応する埋め込み画像の画像種別を選択することができる。

プルダウンメニュー３２２には、表示領域３２１に表示する背景画像の選択要素として「モノクロ画像」、「合成カラー画像」、「カラー画像」が含まれ、いずれにするかを選択することができる。また、プルダウンメニュー３２４、３２６では、プルダウンメニュー３２２で選択された画像種別を除いた他の画像種別の中から埋め込み画像の画像種別を選択することができる。例えば、背景画像として「モノクロ画像」が選択された場合には、プルダウンメニュー３２４、３２６では「合成カラー画像」と「カラー画像」とのいずれかのみが選択可能となる。

次に、図６のフローチャートを参照して、本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。

まず、Ｓ６０１において、制御部１２１は、デフォルトの背景画像を表示部１２２の表示画面３２０内の表示領域３２１に表示する。デフォルトの背景画像は、例えばモノクロ画像とすることができる。続くＳ６０２において、制御部１２１は、ユーザから背景画像の画像種別の選択を受け付けたか否かを判定する。ユーザは、表示画面３２０のプルダウンメニュー３２２において、モノクロ画像、合成カラー画像、カラー画像のうちのいずれかを選択することができる。Ｓ６０２において、ユーザからの選択を受け付けたと判定されると、処理はＳ６０３に進む。一方、ユーザからの選択を受け付けない場合には処理はＳ６０４に進む。

Ｓ６０３において制御部１２１は、Ｓ６０２で選択された画像種別の画像を、表示画面３２０の表示領域３２１に表示する。たとえば、選択された背景画像の画像種別が合成カラー画像であった場合には、表示領域３２１には合成カラー画像を表示する。続く、Ｓ６０４において、制御部１２１は、ユーザから表示領域３２１内において領域の指定を受け付けたか否かを判定する。制御部１２１が領域の指定を受け付けたと判定すると、処理はＳ６０５に進む。制御部１２１が領域の指定を受け付けていないと判定すると、処理はＳ６０２に戻る。Ｓ６０５において、制御部１２１は、指定された領域の近傍に、埋め込み画像用のプルダウンメニューを表示する。例えば、領域３２３の指定を受け付けた場合には、プルダウンメニュー３２４を表示する。

このとき、埋め込み画像用のプルダウンメニューの表示位置は、指定された領域との関係で予め定められた位置とすることができる。例えば、領域が矩形形状の場合に下側の辺の近傍としてもよい。あるいは、上側の辺の近傍としてもよい。また、領域が指定された周辺における画像の特徴に基づいて表示する位置を決定してもよい。例えば、領域３２３は自動車の一部を取り囲むように設定されている。このとき、領域３２３の上側部分には自動車は含まれていないが、下側部分には自動車の残り部分が含まれているので、下側部分は高周波成分が多く検出されるが、上側部分は高周波成分はあまり検出されない。よって、画像としての情報量の少ない上側部分にプルダウンメニューを表示することで、プルダウンメニューにより背景画像に含まれる被写体が隠れてしまうことを防止し、視認性を損なわないようにすることができる。

また、プルダウンメニューの表示位置を、ユーザからの操作部１２６を利用した変更指示に応じて表示領域３２１内で移動させてもよい。これによりユーザが希望する位置にプルダウンメニューを表示することが可能となる。また、プルダウンメニューは、領域を指定した後、一定時間だけ表示したのち、表示画面３２０内から消去してもよい。表示を消した後であっても、再度領域がカーソルで選択された場合には、プルダウンメニューを再表示してもよい。

続くＳ６０６では、制御部１２１は、表示した埋め込み画像用のプルダウンメニューによりユーザから埋め込み画像の画像種別の選択を受け付けたか否かを判定する。このとき、埋め込み画像用のプルダウンメニューで選択が可能な画像種別からは、背景画像用のプルダウンメニュー３２２で選択された画像種別が除外される。埋め込み画像の画像種別についても、デフォルト設定を用意することができるので、ユーザからの選択を受け付けない場合にはデフォルト設定のままとなる。デフォルト設定は、背景画像として選択されている画像種別以外のいずれかとすることができる。Ｓ６０６における判定の後、処理はＳ６０７に進む。

Ｓ６０７において、制御部１２１は、Ｓ６０５で指定された領域に表示する画像を、埋め込み画像用のプルダウンメニューにおいて選択されている画像種別の画像から切り出して、領域３２３に表示する。例えば、埋め込み画像としてカラー画像が選択されている場合には、領域にはカラー画像が表示される。

本実施形態においても、指定可能な領域の形状は、矩形形状だけでなく、円形、楕円形、多角形等を含む任意のものとすることができる。また、同一の背景画像について複数の異なる形状、大きさ及び枠の色の領域を指定することもできる。

このようにして本実施形態では、埋め込み画像の画像種別を、指定した領域毎にユーザが指定することができるので、撮像画像に含まれる被写体に応じた画像種別をユーザが選択し、視認性をより高めることが可能となる。

本実施形態によれば、図３（Ｃ）に示すように、１枚の撮像画像において大きな明暗差が発生しうるような場合であっても、領域毎に適切な画像種別の画像を指定することが可能となる。図３（Ｃ）では、夜間における撮像画像の一例を示しているが、街灯が届く範囲に存在する被写体は、周囲が明るく認識しやすいのでカラー画像で表示し、街灯が届かず周囲が暗い被写体は、合成カラー画像で表示することができる。このように１つの画像の中でも被写体の撮像条件に応じた画像種別を選択することができる。

［実施形態４］
次に、発明の第４の実施形態を説明する。本実施形態におけるシステム１０の構成は図１及び図２に示したものと同様である。上記の実施形態２及び３では、埋め込み画像の画像種別をプルダウンメニューを利用して指定していたが、本実施形態では、ボタンにより画像種別を選択可能とする。本実施形態に対応する発明は、実施形態１から３の少なくともいずれかとの組み合わせにおいて実施されてもよいし、単独で実施されてもよい。

図３（Ｄ）は、本実施形態に対応する情報処理装置１２０の表示部１２２に表示されるユーザインタフェース（ＵＩ）の一例を示す。図３（Ｄ）に示す表示画面３２０の例では、背景画像を表示する表示領域３３１に撮影装置１００による撮像画像に基づく画像が表示されており、当該表示領域３３１の上側に背景画像を選択するプルダウンメニュー３３２が表示されている。また、領域３３３、３３４は、ユーザにより指定された領域である。当該領域は、例えば表示部１２２に表示された画面上のカーソルをユーザが操作部１２６のマウスにより操作することで指定することができる。

表示画面３３０には、選択要素としてボタン３３５から３３７が更に含まれる。カラー表示用ボタン３３５は、カラー画像を明示する文字ないしはイラストないしは画像が表示されたボタンである。合成カラー表示ボタン３３６は、合成カラー画像を明示する文字ないしはイラストないしは画像が表示されたボタンである。モノクロ表示用ボタン３３７は、モノクロ画像を明示する文字ないしはイラストないしは画像が表示されたボタンである。本実施形態では、埋め込み画像用のプルダウンメニューの代わりに、選択要素であるボタン３３５から３３７のいずれかを個別に選択することで、埋め込み画像の画像種別を選択することができる。

次に、図７のフローチャートを参照して、本実施形態に対応する情報処理装置１２０における処理の流れを説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する１以上のプロセッサ（例えば、ＣＰＵ２００）が対応するプログラム（ＲＯＭ２０１やＨＤ２０５等に格納）を実行することにより実現できる。

まず、Ｓ７０１において、制御部１２１は、デフォルトの背景画像を表示部１２２の表示画面３３０内の表示領域３３１に表示する。デフォルトの背景画像は、例えばモノクロ画像とすることができる。続くＳ７０２において、制御部１２１は、ユーザから背景画像の画像種別の選択を受け付けたか否かを判定する。ユーザは、表示画面３３０のプルダウンメニュー３３２において、モノクロ画像、合成カラー画像、カラー画像のうちのいずれかを選択することができる。Ｓ７０２において、ユーザからの選択を受け付けたと判定されると、処理はＳ７０３に進む。一方、ユーザからの選択を受け付けない場合には処理はＳ７０４に進む。

Ｓ７０３において制御部１２１は、Ｓ７０２で選択された画像種別の画像を、表示画面３３０の表示領域３３１に表示する。たとえば、選択された背景画像の画像種別が合成カラー画像であった場合には、表示領域３３１には合成カラー画像を表示する。続くＳ７０４において、制御部１２１は、ユーザから表示画面３３０内のボタン３３５から３３６のうちのいずれかの個別の選択を受け付けたか否かを判定する。制御部１２１がいずれかのボタンの選択を受け付けたと判定すると、処理はＳ７０５に進む。一方、制御部１２１がボタンの選択を受け付けていない（既にいずれかのボタンの選択を受け付けていて、それが変更されていない場合を含む）と判定した場合、処理はＳ７０６に進む。Ｓ７０４においてボタンの選択を受け付ける際に、制御部１２１は、背景画像の画像種別として選択された画像種別に対応するボタンをグレーアウトする、或いは、表示しない、或いはユーザのクリック操作を受け付けない等してユーザが選択できないようにしてもよい。

Ｓ７０５では、制御部１２１は、後段のＳ７０６において領域指定を受け付ける場合に、指定される領域に表示される画像種別を、現在選択されているボタンの画像種別に基づいて決定する。例えば、Ｓ７０４において、カラー表示用ボタン３３５が選択されている場合には、後段のＳ７０６において指定される領域に表示される埋め込み画像の種別はカラー画像となる。

続くＳ７０６では、制御部１２１はユーザから表示領域３３１内において領域の指定を受け付けたか否かを判定する。制御部１２１が領域の指定を受け付けたと判定すると、処理はＳ７０７に進む。制御部１２１が領域の指定を受け付けていないと判定すると、処理はＳ７０２に戻る。領域指定を受け付ける場合に、表示領域３３１上に描画される領域の表示、例えば枠線の色や線の種別は、選択されたボタンの表示形態と視覚的に関連付けられるようにしてもよい。図３（Ｄ）では、カラー表示用ボタン３３５は実線の枠線で示されており、これに対応する領域３３４の枠線も実線で示されている。また、合成カラー表示用ボタン３３６は破線の枠線で示されており、これに対応する領域３３３の枠線も点線で示されている。これにより、指定された領域に表示されるべき画像の種別を、ボタンの表示態様を参照することで直ちに確認することができる。被写体や撮像条件によっては、カラー画像、合成カラー画像、モノクロ画像のいずれで表示されているのかが一見分かりづらい場合があるため、このような枠線表示により画像種別をユーザに視覚的に分かりやすく通知することできる。

Ｓ７０７において、制御部１２１は、Ｓ７０５で決定された画像種別の画像を切り出して、Ｓ７０６で指定された領域に表示する。例えば、Ｓ７０４でカラー表示用ボタン３３５が選択されていた場合には、領域にはカラー画像が表示される。処理はその後、Ｓ７０２に戻る。

上記では、ボタンを選択してから領域を指定する場合について説明したが、一度設定した領域について、表示する画像種別の変更を選択ボタンの切り替えにより行うこともできる。例えば、図３（Ｄ）の例では、表示画面３３０においてカーソルで領域３３３を選択すると、合成カラー表示用ボタン３３６が選択されていることが示されるが、このときにカラー表示用ボタン３３５を選択することにより、領域３３３に表示されている埋め込み画像の画像種別を合成カラー画像からカラー画像に変更することができる。これにより、画像種別を予め選択して指定した領域について、領域指定後であっても画像種別を変更することが可能となる。

このようにして本実施形態では、埋め込み画像の画像種別を選択した上で、埋め込み画像を表示する領域を指定することができるので、撮像画像に含まれる被写体に応じた画像種別をユーザが選択し、視認性をより高めることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：システム、１１０：撮影装置、１２０：情報処理装置、１３０：表示装置、１４０：ネットワーク

Claims (19)

1. 情報処理装置であって、
   複数の画像種別のうち第１の画像種別の指定を受け付ける第１の受付手段と、
   所定の表示領域に画像を前記第１の画像種別で表示する表示制御手段と、
   前記表示領域に表示されている前記画像において領域の指定を受け付ける領域受付手段と、
   を備え、
   前記表示制御手段は、前記表示されている画像のうち指定された前記領域を、前記複数の画像種別のうち前記第１の画像種別とは異なる第２の画像種別で表示することを特徴とする情報処理装置。
2. 前記第２の画像種別の指定を受け付ける第２の受付手段を更に備え、
   前記第２の受付手段は、前記複数の画像種別のうち、前記第１の受付手段が受け付けた前記第１の画像種別を除く画像種別のうちから前記第２の画像種別の指定を受け付け、
   前記表示制御手段は、前記表示されている画像のうち指定された前記領域を、前記第２の受付手段で受け付けた前記第２の画像種別で表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の受付手段は、前記領域受付手段で指定される複数の領域のための画像種別を一括で受け付けることを特徴とする請求項２に記載の情報処理装置。
4. 前記領域受付手段は、前記領域の指定を、前記第２の受付手段により指定を受け付けた前記第２の画像種別で表示する領域の指定として受け付けることを特徴とする請求項２または３に記載の情報処理装置。
5. 前記第２の受付手段は、前記複数の画像種別のそれぞれに対応する複数の選択要素を用いて、前記第２の画像種別の指定を受け付けることを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記第２の受付手段は、前記複数の選択要素を含むプルダウンメニューにより選択を受け付けることを特徴とする請求項５に記載の情報処理装置。
7. 前記第２の受付手段は、前記複数の選択要素に対応する個別に選択可能なボタンにより選択を受け付けることを特徴とする請求項５に記載の情報処理装置。
8. 前記表示制御手段は、指定を受け付けた前記第２の画像種別に対応するボタンと、該第２の画像種別で前記画像を表示する領域とを視覚的に関連付けて表示することを特徴とする請求項７に記載の情報処理装置。
9. 前記第２の受付手段は、前記領域受付手段により指定を受け付けた領域について、前記第２の画像種別の指定を受け付けることを特徴とする請求項２に記載の情報処理装置。
10. 前記第２の受付手段は、前記領域受付手段が複数の領域の指定を受け付けている場合に、該複数の領域のそれぞれについて画像種別を個別に受け付けることを特徴とする請求項９に記載の情報処理装置。
11. 前記第２の受付手段は、前記複数の画像種別のそれぞれに対応する複数の選択要素を用いて、前記第２の画像種別の指定を受け付けることを特徴とする請求項１０に記載の情報処理装置。
12. 前記第２の受付手段は、前記複数の領域のそれぞれと関連付けられた、前記複数の選択要素を含むプルダウンメニューにより選択を受け付けることを特徴とする請求項１１に記載の情報処理装置。
13. 前記表示制御手段は、前記プルダウンメニューを前記領域の近傍に表示することを特徴とする請求項１２に記載の情報処理装置。
14. 前記表示制御手段は、前記プルダウンメニューの表示位置の変更指示に応じて、前記プルダウンメニューの表示位置を変更することを特徴とする請求項１３に記載の情報処理装置。
15. 前記複数の画像種別は、カラー画像、モノクロ画像、前記カラー画像と前記モノクロ画像を合成して得られる合成カラー画像のうち、少なくとも２つを含むことを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
16. 画像を前記複数の画像種別のそれぞれで取得する取得手段をさらに備え、
    取得された前記画像は、画像種別にかかわらず同一の大きさを有することを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
17. 請求項１から１６のいずれか１項に記載の情報処理装置と、
    所定の領域を撮影して画像を複数の画像種別のそれぞれで生成し、前記情報処理装置に提供する撮影装置と、
    を備えるシステム。
18. 情報処理装置の制御方法であって、
    第１の受付手段が、複数の画像種別のうち第１の画像種別の指定を受け付ける工程と、
    表示制御手段が、所定の表示領域に画像を前記第１の画像種別で表示する工程と、
    領域受付手段が、前記表示領域に表示されている前記画像において領域の指定を受け付ける工程と、
    前記表示制御手段が、前記表示されている画像のうち指定された前記領域を、前記複数の画像種別のうち前記第１の画像種別とは異なる第２の画像種別の画像で表示する工程と
    を含むことを特徴とする情報処理装置の制御方法。
19. コンピュータを請求項１から１６のいずれか１項に記載の情報処理装置として動作させるためのプログラム。