JP2023004849A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】ユーザの要求に対応した画像を提供する。【解決手段】画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部と、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。【選択図】図３

Description

本発明は画像処理装置、画像処理方法、プログラムに関する。

従来、ユーザが視認する映像データについて、フレームごとに出力される画像データに基づいて、映像データがどのようなシーンであるかを示す情報を付与するものが開示されている（例えば、特許文献１）。

特開２０１８－４２２５３号公報

しかし、特許文献１のように画像データを処理する際には、ユーザの要求に対応した画像を提供することが求められている。

本発明は、上記に鑑みてなされたものであり、ユーザの要求に対応した画像を提供することが可能な画像処理装置、画像処理方法、プログラムを提供することを目的とする。

本発明にかかる画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部と、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。

本発明にかかる画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部と、ユーザの位置情報から、前記ユーザの位置が前記特定地域内であるか判断する位置情報処理部と、画像データから、前記特定地域に関連する前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、前記ユーザの位置が前記特定地域内と判断され、かつ前記特定地域に関連する前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。

本発明にかかる画像処理方法は、第１オブジェクトの情報を取得するステップと、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、を含む。

本発明にかかるプログラムは、第１オブジェクトの情報を取得するステップと、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、を含む。

本発明によれば、画像データに基づいて、ユーザの要求に対応した画像を提供することが可能な画像処理装置を提供することができる。

図１は、本実施形態にかかる画像処理システムの一例を示す図である。 図２は、本実施形態にかかる画像処理装置が表示する画像の一例を示す図である。 図３は、本実施形態にかかる画像処理システムの一例を示す機能ブロック図である。 図４は、第１実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。 図５は、本実施形態にかかる表示態様変更情報の一例を示す図である。 図６は、本実施形態にかかるフローチャートである。 図７は、第２実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。

以下、本発明にかかる画像処理装置、画像処理法およびプログラムの実施形態を図面に基づいて説明する。なお、本実施形態によりこの発明が限定されるものではない。また、本実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

（第１実施形態）
図１は、本実施形態にかかる画像処理システムの一例を示す図である。第１実施形態にかかる画像処理システム１は、ユーザＵに、視覚刺激を出力することで、ユーザＵに情報を提供する装置である。図１に示すように、画像処理システム１は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、画像処理システム１は、ユーザＵの目に装着される画像処理装置１００を有する。ユーザＵの目に装着される画像処理装置１００はユーザＵに視覚刺激を出力する（画像を表示する）後述の出力部１２０を含む。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、画像処理システム１は、ウェアラブルデバイスに限られず、ユーザＵに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。

（メイン像）
図２は、本実施形態にかかる画像処理装置が表示する画像の一例を示す図である。図２に示すように、画像処理システム１は、出力部１２０を通して、ユーザＵにメイン像ＰＭを提供する。これにより、画像処理システム１を装着したユーザＵは、メイン像ＰＭを視認できる。メイン像ＰＭとは、本実施形態では、ユーザＵが画像処理システム１を装着していないと仮定した場合に、ユーザＵが視認することになる景色の像であり、ユーザＵの視野範囲に入る実在の対象物の像であるともいえる。視野範囲とは、ユーザＵの視線を中心とした、眼球を動かさないで見える範囲を指す。

本実施形態では、画像処理システム１は、例えば出力部１２０から外光（周辺の可視光）を透過させることで、ユーザＵにメイン像ＰＭを提供する。すなわち、本実施形態では、ユーザＵは、出力部１２０を通して、実際の景色の像を直接視認しているといえる。ただし、画像処理システム１は、ユーザＵに実際の景色の像を直接視認させることに限られず、出力部１２０にメイン像ＰＭの画像を表示させることで、出力部１２０を通してユーザＵにメイン像ＰＭを提供してもよい。この場合、ユーザＵは、出力部１２０に表示された景色の画像を、メイン像ＰＭとして視認することとなる。この場合、画像処理システム１は、後述する撮像部２００が撮像した、ユーザＵの視野範囲に入る像を、メイン像ＰＭとして出力部１２０に表示させる。

（サブ画像）
図２に示すように、画像処理システム１は、出力部１２０を通して提供されるメイン像ＰＭに重畳するように、出力部１２０にサブ画像ＰＳを表示させる。これにより、ユーザＵは、メイン像ＰＭにサブ画像ＰＳが重畳された像を視認することとなる。サブ画像ＰＳとは、メイン像ＰＭに重畳される画像であり、ユーザＵの視野範囲に入る実在の景色以外の画像といえる。すなわち、画像処理システム１は、実在の景色であるメイン像ＰＭにサブ画像ＰＳを重畳させることで、ユーザＵにＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を提供するといえる。

このように、画像処理システム１は、メイン像ＰＭとサブ画像ＰＳとを提供するが、それ以外にも、メイン像ＰＭとサブ画像ＰＳとは異なる画像を出力部１２０に表示させてもよく、任意の画像であってよい。

（画像処理システムの構成）
図３は、本実施形態にかかる画像処理システムの一例を示す機能ブロック図である。図３に示すように、画像処理システム１は、画像処理装置１００と、撮像部２００とを備える。画像処理装置１００は、入力部１１０と、出力部１２０と、記憶部１４０と、通信部１３０と、制御部１５０とを備える。

（撮像部）
撮像部２００は、撮像装置であり、環境情報として、画像処理システム１の周辺の可視光を検出することで、画像処理システム１の周辺を撮像する。撮像部２００は、所定のフレームレート毎に撮像するビデオカメラであってよい。画像処理システム１において撮像部２００の設けられる位置や向きは任意であるが、例えば、撮像部２００は、図１に示す画像処理装置１００に設けられており、撮像方向がユーザＵの顔が向いている方向であってよい。これにより、撮像部２００は、ユーザＵの視線の先にある対象物を、すなわちユーザＵの視野の範囲に入る対象物を、撮像できる。また、撮像部２００の数は任意であり、単数であっても複数であってもよい。

（入力部）
入力部１１０は、ユーザの操作を受け付ける装置であり、例えばタッチパネルなどであってよい。

（出力部）
出力部１２０は、画像を表示することでユーザＵの視覚刺激を出力するディスプレイであり、視覚刺激出力部と言い換えることもできる。本実施形態では、出力部１２０は、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。出力部１２０は、上述のように、サブ画像ＰＳを表示する。なお、出力部１２０は、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。

（通信部）
通信部１３０は、外部の装置などと通信するモジュールであり、例えばアンテナなどを含んでよい。通信部１３０による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。

(制御部)
制御部１５０は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１５０は、画像データ取得部１５１と、オブジェクト情報取得部１５２と、オブジェクト検出部１５３と、表示態様変更部１５４と、を含む。制御部１５０は、記憶部１４０からプログラム（ソフトウェア）を読み出して実行することで、画像データ取得部１５１とオブジェクト情報取得部１５２とオブジェクト検出部１５３と表示態様変更部１５４とを実現して、それらの処理を実行する。なお、制御部１５０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像データ取得部１５１とオブジェクト情報取得部１５２とオブジェクト検出部１５３と表示態様変更部１５４との少なくとも一部を、ハードウェアで実現してもよい。

（画像データ取得部）
画像データ取得部１５１は、撮像部２００を通じて画像データを取得する。本実施形態において画像データとは、メイン像ＰＭの画像であり、ユーザＵが画像処理システム１を装着していないと仮定した場合に、ユーザＵが視認することになる環境像であり、ユーザＵの視野範囲に入る実在の対象物の像ともいえる。画像データ取得部１５１は、画像データを記憶部１４０から取得してもよい。

図４は、第１実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。図４の例では、画像データ取得部１５１は、ユーザＵが視認しているメイン像ＰＭ１を画像データとして取得する。図４の例では、メイン像ＰＭ１とは、子供であるユーザＵが、保護者の立ち合いのもと、看護師に注射を受ける場面であり、注射器Ｏ１０と、人間の顔Ｏ２０とを含む。以下、例として注射の場面で本実施形態を説明するが、本実施形態はこの例に限定されない。

（オブジェクト情報取得部）
オブジェクト情報取得部１５２は、第１オブジェクトの情報を取得する。第１オブジェクトの情報とは、第１オブジェクトとして指定するオブジェクトの情報である。オブジェクト情報取得部１５２は、第１オブジェクトの種類を示す情報（第１オブジェクトがどのようなオブジェクトであるかを示す情報）を取得するともいえる。本実施形態において、オブジェクト情報取得部１５２は、ユーザＵが注視することで恐怖感や嫌悪感を覚えるオブジェクトの情報を、第１オブジェクトの情報として取得する。

ここで、オブジェクトとは、一定の形状を有し、視覚で捉えることのできる実在の対象物を指す。本実施形態において、第１オブジェクトとは、例えば、ユーザＵにとって恐怖感や嫌悪感のあるオブジェクトであり、第１オブジェクトは、ユーザＵが注視することでユーザＵの恐怖感や嫌悪感を強めるおそれがあるオブジェクトであるともいえる。図４の例では、注射器Ｏ１０が第１オブジェクトに相当する。

（表示態様変更情報）
本実施形態では、オブジェクト情報取得部１５２は、表示態様変更情報Ｄを取得する。図５は、本実施形態にかかる表示態様変更情報の一例を示す図である。表示態様変更情報Ｄとは、第１オブジェクトの情報と、第２オブジェクトの情報と、所定の条件と、第２オブジェクトの変更後の表示態様とを含んだ情報である。表示態様変更情報Ｄは、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とが、関連付けられたデータといえる。第２オブジェクトとは、第１オブジェクトに関連するオブジェクトであり、ユーザＵが第１オブジェクトとともに視認する可能性が高いオブジェクトであるともいえる。所定の条件とは、第２オブジェクトの表示態様を変更する第２オブジェクトにかかる条件を指す。すなわち、所定の条件とは、複数種類の第２オブジェクトのうちから、表示態様を変更する第２オブジェクトを選択するための条件を指す。第２オブジェクトの変更後の表示態様とは、ユーザＵが視認することになる第２オブジェクトの表示態様を指し、より具体的には、第２オブジェクトに重畳されるサブ画像ＰＳを示す情報である。表示態様変更情報Ｄは、異なる第１オブジェクトに対して、第２オブジェクトの情報と、所定の条件と、第２オブジェクトの変更後の表示態様とを含んでもよい。すなわち、第１オブジェクトが複数種類設定され、それぞれの第１オブジェクト毎に、表示態様変更情報Ｄが設定されてよい。

オブジェクト情報取得部１５２は、任意の方法で表示態様変更情報Ｄを取得してよく、例えば、ユーザＵが、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とを入力してもよい。また、オブジェクト情報取得部１５２が、ユーザＵが入力した第１オブジェクトの情報に基づいて、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とを決めてもよい。また、ユーザＵの入力による表示態様変更情報Ｄの設定は必須でなく、デフォルトで決められていてもよい。

（オブジェクト検出部）
オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから、第１オブジェクトと、関連する第２オブジェクトとを検出する。より具体的には、オブジェクト検出部１５３は、表示態様変更情報Ｄで指定されている第１オブジェクトと、表示態様変更情報Ｄでその第１オブジェクトに対応付けられている第２オブジェクトとが、画像データ（ユーザが視認しているメイン像ＰＭ１）に含まれているかを、検出する。オブジェクト検出部１５３は、任意の方法で第１オブジェクトと第２オブジェクトとを検出してよく、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルを用いて第１オブジェクトと第２オブジェクトとを検出してもよい。この場合のＡＩモデルは、記憶部１４０に記憶されており、画像データから、画像に写っているオブジェクトを抽出して種類を特定するためのモデルである。ＡＩモデルは、画像データと、その画像に写っているオブジェクトの種類を示す情報とを１つのデータセットとし、複数のデータセットを教師データとして学習して構築された、学習済みのＡＩモデルとなっている。図４の例では、第１オブジェクトとして注射器Ｏ１０が設定されており、第２オブジェクトとして人間の顔Ｏ２０が設定されている。そのため、オブジェクト検出部１５３は、画像データから第１オブジェクトである注射器Ｏ１０と、表示態様変更情報Ｄにおいて注射器Ｏ１０と対応する第２オブジェクトである人間の顔Ｏ２０とを、検出する。

（表示態様変更部）
表示態様変更部１５４は、第１オブジェクトが検出された場合に、第２オブジェクトの表示態様を変更する。本実施形態では、表示態様変更部１５４は、第１オブジェクトと第２オブジェクトが同じ画像データから検出された際に、表示態様変更情報Ｄに基づいて、所定の条件を満たす第２オブジェクトの表示態様を変更する。具体的には、表示態様変更部１５４は、画像データから検出された第２オブジェクトが、表示態様変更情報Ｄで示される所定の条件を満たすかを判断する。

第２オブジェクトが複数検出された場合には、表示態様変更部１５４は、それぞれの第２オブジェクトについて、表示態様変更情報Ｄで示される所定の条件を満たすかを判断し、所定の条件を満たす第２オブジェクトを抽出する。そして、表示態様変更部１５４は、所定の条件を満たす第２オブジェクトと重畳する位置に、サブ画像ＰＳを表示させることで第２オブジェクトの表示態様を変更する。より詳しくは、表示態様変更部１５４は、所定の条件を満たす第２オブジェクトと重畳する位置に、表示態様変更情報Ｄで示されるサブ画像ＰＳを表示させる。表示態様変更部１５４は、所定の条件を満たさない第２オブジェクトに対しては、重畳する位置にサブ画像ＰＳを表示せず、第２オブジェクトの表示態様は変更されない。

本実施形態では、サブ画像ＰＳは、メイン像ＰＭに含まれている特定の対象物である第１オブジェクトを注視しにくくさせるため第２オブジェクト上に表示される画像であり、ユーザＵが第１オブジェクトを注視しにくくするものであれば、文字やアイコン等、任意の画像でよく、それらを組み合わせてもよい。図４の例では、表示態様を変更する第２オブジェクトの条件として、ユーザＵの保護者の顔Ｏ２２ではないことが課せられており、注射器Ｏ１０と人間の顔Ｏ２１が検出された場合、表示態様変更部１５４は、条件を満たす看護師の顔Ｏ２１のみに、サブ画像ＰＳ１として例えばウサギの顔の画像を重畳する。一方、表示態様変更部１５４は、所定の条件を満たさない保護者の顔Ｏ２２には、サブ画像ＰＳ１を重畳しない。この場合、ユーザＵは保護者の顔Ｏ２２をそのまま視認することになる。

なお、以上の説明では、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様との組み合わせが、表示態様変更情報Ｄとして予め設定されていたが、それに限られない。例えば、第２オブジェクトの変更後の表示態様であるサブ画像ＰＳは予め設定されていなくてもよく、第２オブジェクトに対して、任意の画像を重畳表示してもよい。また、第２オブジェクトの変更後の表示態様は、第２オブジェクトに重畳されるサブ画像ＰＳに限られず、第２オブジェクトに対して色調の調整やぼかし等、光学処理を施したものでもよい。以上の説明では、第２オブジェクト（ここでは人間の顔Ｏ２０）を検出して、その中で所定の条件を満たす第２オブジェクト（ここでは看護師の顔Ｏ２１）のみの表示態様を変化させたが、それに限られない。例えば、第２オブジェクト検出時に所定の条件を課しておき、オブジェクト検出部１５３が、所定の条件を満たす第２オブジェクトを検出してよい。すなわち、オブジェクト検出部１５３は、人間の顔Ｏ２０をすべて検出せずに、看護師の顔Ｏ２１のみを検出してよい。また、所定の条件は必ずしも必要とはせずに、表示態様変更部１５４は、第１オブジェクトが検出された場合に、第２オブジェクトの表示態様を変更してもよい。

（記憶部）
記憶部１４０は、制御部１５０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部１４０には、表示態様変更情報Ｄが記憶されている。なお、表示態様変更情報Ｄや、記憶部１４０が保存する制御部１５０用のプログラムは、画像処理システム１が読み取り可能な記録媒体に記憶されていてもよい。また、記憶部１４０が保存する制御部１５０用のプログラムや、表示態様変更情報Ｄは、記憶部１４０に予め記憶されていることに限られず、これらのデータを使用する際に、画像処理システム１が通信部１３０によって外部の装置から取得してもよい。

（効果）
ここで、ユーザの要求に対応した画像を提供することが求められている。それに対し、本実施形態によれば、第１オブジェクトを設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵの注意を第２オブジェクトに向けることができる。そのため第１オブジェクトを、例えば、ユーザＵにとって恐怖感や嫌悪感のあるオブジェクトに設定することで、ユーザＵは第１オブジェクトを注視しにくくなる。これにより、ユーザの要求に対応した画像を提供することができる。

（フローチャート）
図６は、本実施形態にかかるフローチャートである。以下、画像処理装置１００による処理内容について説明する。

画像データ取得部１５１は、撮像部２００を通じて画像データを取得する（ステップＳ１０）。次いで、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトと、を検出する（ステップＳ２０）。ここで第１オブジェクトが画像データから検出され（ステップＳ３０；Ｙｅｓ）、表示態様変更部１５４は、第２オブジェクトが所定の条件を満たす場合（ステップＳ４０；Ｙｅｓ）、その第２オブジェクトの表示態様を変更する（ステップＳ５０）。ここで、第２オブジェクトが所定の条件を満たさない場合（ステップＳ４０；Ｎｏ）、表示態様変更部１５４は、その第２オブジェクトの表示態様を変更しない。このときユーザＵはメイン像ＰＭの、所定の条件を満たす第２オブジェクトにサブ画像ＰＳが重畳された像、すなわち所定の条件を満たす第２オブジェクトの表示態様が変更されたメイン像を視認することになる。一方で、ステップＳ３０で第１オブジェクトが画像データから検出されなかった場合（ステップＳ３０；Ｎｏ）、第２オブジェクトの表示態様の変更は行われない。このときユーザＵはメイン像ＰＭのみを視認することになる。

（第２実施形態）
第２実施形態は、ユーザＵが第１オブジェクトを認識しやすくするよう第２オブジェクトの表示態様を変更する点で第１実施形態と異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。

（画像データ取得部）
図７は、第２実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。図７の例では、画像データ取得部１５１は、ユーザＵが視認しているメイン像ＰＭ２を画像データとして取得する。図７の例では、メイン像ＰＭ２とは、ユーザＵが繁華街で店舗Ａの看板を探す場面であり、店舗Ａの看板Ｏ１５と、全ての店舗の看板Ｏ２５とを含む。以下、例として店舗の看板の場面で本実施形態を説明するが、本実施形態はこの例に限定されない。

（オブジェクト情報取得部）
本実施形態において、オブジェクト情報取得部１５２は、ユーザＵが認識する必要のあるオブジェクトの情報を、第１オブジェクトの情報として取得する。本実施形態において、第１オブジェクトとは、例えば、ユーザＵが認識することを所望するオブジェクトであり、第１オブジェクトは、ユーザＵがメイン像ＰＭ２から見つけ出したいオブジェクトであるともいえる。

（オブジェクト検出部）
図７の例では、オブジェクト検出部１５３は、画像データから第１オブジェクトである店舗Ａの看板Ｏ１５と、表示態様変更情報Ｄにおいて店舗Ａの看板Ｏ１５と対応する第２オブジェクトである全ての店舗の看板Ｏ２５とを、検出する。

（表示態様変更部）
本実施形態において、サブ画像ＰＳは、メイン像ＰＭに含まれている特定の対象物である第１オブジェクトを認識しやすくするため第２オブジェクト上に表示される画像であり、ユーザＵが第１オブジェクトを認識しやすくするものであれば、文字やアイコン等、任意の画像でよく、それらを組み合わせてもよい。図７の例では、表示態様を変更する第２オブジェクトの条件として、店舗Ａの看板Ｏ１５ではないことが課せられており、店舗Ａの看板Ｏ１５と全ての店舗の看板Ｏ２５が検出された場合、表示態様変更部１５４は、例えば、条件を満たす店舗Ｂの看板Ｏ２６の文字である文字情報を消すようにサブ画像ＰＳ２を重畳させたり、条件を満たす店舗Ｃの看板Ｏ２７自体を消すようにサブ画像ＰＳ３を重畳させたりするなどの処理を行う。一方、所定の条件を満たさない店舗Ａの看板Ｏ１５は、サブ画像ＰＳ２またはサブ画像ＰＳ３が重畳されず、ユーザＵは店舗Ａの看板Ｏ１５をそのまま視認することになる。

（効果）
本実施形態によれば、第１オブジェクトを設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵの注意を第１オブジェクトに向けることができる。そのため第１オブジェクトを、例えば、ユーザＵが見つけ出したいオブジェクトに設定することで、ユーザＵは第１オブジェクトを認識しやすくなる。これにより、ユーザの要求に対応した画像を提供することができる。

（第３実施形態）
第３実施形態は、制御部１５０は、さらに位置情報処理部を備え、特定地域の情報に基づいて第２オブジェクトの表示態様を変更する点で第１実施形態と異なる。第３実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。

（表示態様変更情報）
本実施形態では、表示態様変更情報Ｄは、特定地域の情報をさらに含んだ情報である。特定地域とは、ユーザが存在しうる特定の地理的な範囲であり、例えば、ユーザＵが、画像処理システム１を使用することが想定される地域を指す。ここで、本実施形態において、第１オブジェクトとは、例えば、特定地域において特徴的なオブジェクトであり、第１オブジェクトは、ユーザＵが特定地域において視認する可能性が高いオブジェクトであるともいえる。表示態様変更情報Ｄは、異なる特定地域に対して、第１オブジェクトの情報と、第２オブジェクトの情報と、第２オブジェクトの変更後の表示態様とを含んでもよい。すなわち、特定地域が複数設定され、それぞれの特定地域毎に、表示態様変更情報Ｄが設定されてもよい。

（位置情報処理部）
本実施形態では、位置情報処理部は、ユーザの位置情報を取得し、表示態様変更情報Ｄに基づいて、ユーザの位置が特定地域内であるかを判断する。ここで、ユーザの位置情報とは、ユーザＵが実在する地理的な位置をいう。位置情報処理部は、任意の方法でユーザの位置情報を取得してよく、例えば通信部１３０を通じてユーザの位置情報を取得してよい。

（オブジェクト検出部）
本実施形態では、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから、特定地域に関連する第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトを検出する。より具体的には、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、特定地域に対応付けられている第１オブジェクトと、表示態様変更情報Ｄでその第１オブジェクトに対応付けられている第２オブジェクトとが、画像データ（ユーザが視認しているメイン像）に含まれているかを、検出する。

（表示態様変更部）
本実施形態では、表示態様変更部１５４は、ユーザの位置が特定地域内であると判断され、かつ第１オブジェクトと第２オブジェクトが同じ画像データから検出された際に、表示態様変更情報Ｄに基づいて、所定の条件を満たす第２オブジェクトの表示態様を変更する。

以上の説明では、表示態様変更情報Ｄとして、第１オブジェクトは特定地域に関連付けられ、第２オブジェクトは第１オブジェクトに関連付けられていたが、これに限られない。例えば、第１オブジェクトは特定地域と関連付けられていなくてもよく、第２オブジェクトが特定地域および第１オブジェクトに関連付けられて設定されてもよい。すなわち、ユーザの位置が特定地域内であり、かつ第１オブジェクトが画像データから検出された場合、その特定地域および第１オブジェクトに関連付けられた第２オブジェクトに対して、任意の画像を重畳表示してもよい。この場合、第２オブジェクトは、第１オブジェクト及び特定地域に関連するオブジェクトであり、ユーザＵが特定地域において第１オブジェクトともに視認する可能性が高いオブジェクトであるといえる。

また、以上の説明では、特定地域と、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様との組み合わせが、表示態様変更情報Ｄとして予め設定されていたが、これに限られない。例えば、第１オブジェクトは設定されていなくてもよく、ユーザの位置が特定地域内である場合、その特定地域に関連付けられた第２オブジェクトに対して、任意の画像を重畳表示してもよい。この場合、第２オブジェクトは、特定地域に関連するオブジェクトであり、ユーザＵが特定地域において視認する可能性が高いオブジェクトであるといえる。

（効果）
本実施形態によれば、特定地域を設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵが特定地域にいる場合に限って、第２オブジェクトの表示態様を変更することができる。これにより、ユーザの要求に対応した画像を提供することができる。

（本発明の効果）
各実施形態に記載の画像処理装置、画像処理方法、およびプログラムは、例えば以下のように把握される。

第１の態様の画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４と、を備える。この構成によれば、ユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。

第２の態様の画像処理装置は、第２オブジェクトが所定の条件を満たす場合に、その第２オブジェクトの表示態様を変更し、第２オブジェクトが所定の条件を満たさない場合には、その第２オブジェクトの表示態様を変更しない。これにより、第２オブジェクトに対して選択的に表示態様を変更することができるので、よりユーザの要求に対応することができる。

第３の態様の画像処理装置は、オブジェクト情報取得部１５２は、第１オブジェクトと、第２オブジェクトと、第２オブジェクトの変更後の表示態様と、が関連付けられたデータである表示態様変更情報Ｄを取得し、表示態様変更部は、第１オブジェクトが検出された場合には、表示態様変更情報Ｄに基づき、第２オブジェクトの表示態様を変更する。これにより、複数の異なる第１オブジェクトに対して、それぞれ対応する第２オブジェクトの表示態様を変更することができるので、よりユーザの要求に対応することができる。

第４の態様の画像処理装置は、画像を視認するユーザＵが第１オブジェクトを注視しにくくするように、第２オブジェクトの表示態様を変更する。これにより、ユーザが第１オブジェクトの注視を避ける必要のある場合、第２オブジェクトが目立つように表示態様を変更することで、第１オブジェクトへの注視を回避しやすくなるため、よりユーザの要求に対応することができる。

第５の態様の画像処理装置は、画像を視認するユーザＵが第１オブジェクトを認識しやすくなるように、第２オブジェクトの表示態様を変更する。具体的には、第５の態様の画像処理装置は、第２オブジェクトの表示態様を第２オブジェクト内における文字情報を削除する表示態様へ変更する。これにより、ユーザが第１オブジェクトの認識する必要のある場合、第２オブジェクトが目立たないように表示態様を変更することで、第１オブジェクトの認識が容易になるため、よりユーザの要求に対応することができる。

第６の態様の画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、特定地域に関連する第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断され、かつ特定地域に関連する第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４と、を備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。

第７の態様の画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、第１オブジェクトと、特定地域及び第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断され、かつ第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４とを備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。

第８の態様の画像処理装置は、特定地域の情報を取得する特定地域情報取得部（オブジェクト情報取得部１５２）と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、特定地域に関連するオブジェクト（第２オブジェクト）を検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断された場合には、オブジェクト（第２オブジェクト）の表示態様を変更する表示態様変更部１５４とを備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。

第９の態様の画像処理方法は、第１オブジェクトの情報を取得するステップと、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するステップと、第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更するステップと、を含む。

第１０の態様のプログラムは、第１オブジェクトの情報を取得するステップと、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するステップと、第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、をコンピュータに実行させる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 画像処理システム
１００ 画像処理装置
１１０ 入力部
１２０ 出力部
１３０ 通信部
１４０ 記憶部
１５０ 制御部
１５１ 画像データ取得部
１５２ オブジェクト情報取得部
１５３ オブジェクト検出部
１５４ 表示態様変更部
２００ 撮像部
Ｄ 表示態様変更情報
Ｏ１０ 注射器
Ｏ１５、Ｏ２５、Ｏ２６、Ｏ２７ 看板
Ｏ２０、Ｏ２１、Ｏ２２ 顔
ＰＭ，ＰＭ１，ＰＭ２ メイン像
ＰＳ，ＰＳ１，ＰＳ２，ＰＳ３ サブ画像
Ｕ ユーザ

Claims (7)

1. 第１オブジェクトの情報を取得するオブジェクト情報取得部と、
   画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、
   前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、
   を備える、画像処理装置。
2. 前記表示態様変更部は、前記第２オブジェクトが所定の条件を満たす場合に、その第２オブジェクトの表示態様を変更し、前記第２オブジェクトが前記所定の条件を満たさない場合には、その第２オブジェクトの表示態様を変更しない、
   請求項１に記載の画像処理装置。
3. 前記オブジェクト情報取得部は、前記第１オブジェクトと、前記第２オブジェクトと、前記第２オブジェクトの変更後の表示態様と、が関連付けられたデータである表示態様変更情報を取得し、
   前記表示態様変更部は、前記第１オブジェクトが検出された場合には、前記表示態様変更情報に基づき、前記第２オブジェクトの表示態様を変更する、
   請求項１または請求項２に記載の画像処理装置。
4. 前記表示態様変更部は、前記第２オブジェクトの表示態様を前記第２オブジェクト内における文字情報を削除する表示態様へ変更する、
   請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部と、
   ユーザの位置情報から、前記ユーザの位置が前記特定地域内であるか判断する位置情報処理部と、
   画像データから、前記特定地域に関連する前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、
   前記ユーザの位置が前記特定地域内であると判断され、かつ前記特定地域に関連する前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、
   を備える、画像処理装置。
6. 第１オブジェクトの情報を取得するステップと、
   画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、
   前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、
   を含む、画像処理方法。
7. 第１オブジェクトの情報を取得するステップと、
   画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、
   前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、
   をコンピュータに実行させる、プログラム。
   

Images