JP2018010510A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】会話の促進を支援すること。【解決手段】画像投影装置によって投影される画像である投影対象画像に対して描画を行う画像処理装置は、音声の入力を制御する音声入力制御部と、入力された音声を文字列に変換する変換部と、前記文字列に関連する１つ以上の情報を検索する検索部と、前記検索部によって検索された前記情報と前記情報が検索された時期を示す識別情報とを対応付けて記憶する記憶部と、記憶された前記情報をそれぞれ含む図形を前記投影対象画像に描画する描画部であって、対応付けられた識別情報に応じた大きさで前記図形を前記投影対象画像に投影する描画部と、を有する。【選択図】図１３

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

ブレーンストーミングでは、各人が自由な発想でアイデアを出すことが許容される。すなわち、アイデアに対して特段の制限が設けられない。そうすることで、多数のアイデアが挙げられ、斬新な結論への到達を期待することができる。

しかしながら、アイデアに対して特段の制限が設けられない状況においても、なかなかアイデアが出てこない場合がある。その結果、会話が滞ってしまい、時間が浪費されてしまう可能性も有る。

そこで、ブレーンストーミングにおける会話に対して音声解析を行い、音声解析によって文字列化したテキストをキーワードとして画像検索を行い、検索結果を表示することで、会話の内容を可視化することが可能な構成がある。しかし、会話をする度に画像検索が行われると、検索結果の数が増大するため、会話の内容が発散してしまう可能性がある。

本発明は、上記の点に鑑みてなされたものであって、会話の促進を支援することを目的とする。

そこで上記課題を解決するため、画像投影装置によって投影される画像である投影対象画像に対して描画を行う画像処理装置は、音声の入力を制御する音声入力制御部と、入力された音声を文字列に変換する変換部と、前記文字列に関連する１つ以上の情報を検索する検索部と、前記検索部によって検索された前記情報と前記情報が検索された時期を示す識別情報とを対応付けて記憶する記憶部と、記憶された前記情報をそれぞれ含む図形を前記投影対象画像に描画する描画部であって、対応付けられた識別情報に応じた大きさで前記図形を前記投影対象画像に投影する描画部と、を有する。

会話の促進を支援することができる。

本発明の実施の形態における会話促進支援装置１の外観の一例を示す図である。 ユーザの発話から文字列の表示までの動作を説明するための図である。 検索結果の表示例を説明するための図である。 検索に利用される文字列の他の表示例を示す図である。 検索時期と画像円のサイズとの関係を説明するための図である。 画像円に対する操作の第１の例を説明するための図である。 画像円に対する操作の第２の例を説明するための図である。 画像円に対する操作の第３の例を説明するための図である。 本発明の実施の形態における会話促進支援装置の構成要素の配置位置の一例を示す図である。 アクリル板に対する操作を検出する仕組みの一例を示す図である。 会話促進支援装置の構成要素間の接続関係の一例を示す図である。 本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。 本発明の実施の形態における画像処理装置の機能構成例を示す図である。 画像処理装置が実行する処理手順の一例を説明するためのフローチャートである。 検索履歴記憶部の構成例を示す図である。 描画情報記憶部の構成例を示す図である。 操作に応じた処理の処理手順の一例を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における会話促進支援装置１の外観の一例を示す図である。図１において、（１）は、会話促進支援装置１の上面図であり、（２）は、会話促進支援装置１の側面図である。会話促進支援装置１の上面は、例えば、直径１０００ｍｍの円形の平面であり、下面は、直径が８００ｍｍの円形である。また、会話促進支援装置１の上面までの高さは、１１００ｍｍである。また、上面と下面とは同心円である。すなわち、会話促進支援装置１は、円錐台を逆さにしたような形状をしている。なお、会話促進支援装置１の形状及び寸法は一例である。本実施の形態では、会話促進支援装置１の周囲に立っているユーザが容易に会話促進支援装置１の上面を操作できるように、図１のような形状及び寸法が採用されている。

会話促進支援装置１の上面は、後述のプロジェクタ２０によって、画像が投影される投影面であると共に、ユーザがタッチ操作等によって画像を操作可能な領域でもある。以下、会話促進支援装置１の上面を操作領域Ａ１という。

続いて、図２〜図８を用いて会話促進支援装置１の動作の概要を説明する。図２は、ユーザの発言から文字列の表示までの動作を説明するための図である。

例えば、（１）に示されるように、会話促進支援装置１を取り囲んでいるユーザのうちの誰かが、「北海道新幹線は新函館北斗駅と新青森駅を結んでるんだって。」と発言したとする。この場合、（２）に示されるように、操作領域Ａ１の円周沿いに、タイプ開始位置ｐ１から反時計回りの方向に、発言の内容を示す文字列を構成する各文字がタイピングされる。（２）の右側には、文字列がタイピングされた部分が拡大されて示されている。タイピングされた文字列は、時計回りにゆっくりと回転する。なお、円周が文字列で埋まった場合、古い文字から順に消えていく。

発言が一定時間途絶えることにより文字列が確定すると、確定された文字列から検索語となる名詞が抽出される。（３）では、抽出された名詞が位置を変えずに残り、抽出されなかった文字が透過して、消えていく状態が示されている。

続いて、（４）に示されるように、抽出された各名詞は、例えば、赤く表示され、「・」によって区切られる。続いて、抽出された名詞群に関連する画像の検索が行われる（５）。検索の対象は、例えば、インターネットにおいて公開されている画像である。また、検索は、一般的な検索エンジンが利用されて行われてもよい。

図３は、検索結果の表示例を説明するための図である。図３の（１）に示されている操作領域Ａ１内には５つの円が含まれている。これらは、検索された画像を含む円（以下、「画像円」という。）である。本実施の形態では、検索された画像群のうち、上位５件の画像のそれぞれの画像円が操作領域Ａ１に表示される。但し、５件は一例であり、５件未満又は６件以上が表示されてもよい。なお、一般的に、画像は矩形である。そこで、例えば、画像の長辺が所定の長さ（例えば、２００ｐｉｘｅｌ）になるように画像が拡大又は縮小された上で、画像の中心から半径ｒ（ｒは、例えば、５０ｐｉｘｅｌ）の円の範囲が切り出されて画像円が生成されてもよい。なお、各画像円は、仮想的、かつ、ランダムな方向の水流により、操作領域Ａ１内をランダムな方向にゆっくり移動（浮遊）する。

図３の（２）は、２回目の検索が行われた状態（すなわち、図２が再度繰り返された状態）を示す。（２）における操作領域Ａ１には、サイズの異なる画像円が混在している。小さい方の画像円は、１回目の検索により表示された画像円である。大きい方の画像円は、２回目の検索により表示された画像円である。すなわち、２回目の検索後において、１回目の検索により表示された画像円は、縮小される。なお、画像円内の画像も同じ縮小率で縮小される。

なお、２回目の検索において音声認識された文字列は、例えば、１回目の検索に関して抽出された検索語の後に続けて表示されてもよい。または、検索ごとの文字列は、図４に示されるように表示されてもよい。

図４は、検索に利用される文字列の他の表示例を示す図である。図４では、操作領域Ａ１内において、Ｌ領域及びＲ領域が形成されている例が示されている。検索ごとに、音声認識された文字列は、Ｌ領域又はＲ領域に交互に表示される。Ｌ領域に表示される文字列は、Ｌ領域開始位置からタイピングが開始される。Ｒ領域に表示される文字列は、Ｒ領域開始位置からタイピングが開始される。

図３に戻る。図３の（３）は、３回目の検索が行われた状態を示す。（３）における操作領域Ａ１には、３段階のサイズの画像円が混在している、最小の画像円は、１回目の検索により表示された画像円である。中サイズの画像円は、２回目の検索により表示された画像円である。最大の画像円は、３回目の検索により表示された画像円である。すなわち、３回目の検索の画像円以外は、前回の検索時のサイズから縮小される。

図３の（４）は、４回目の検索が行われた状態を示す。（４）における操作領域Ａ１には、４段階のサイズの画像円が混在している、最小の画像円は、１回目の検索により表示された画像円である。２番目に小さいサイズの画像円は、２回目の検索により表示された画像円である。３番目に小さい画像円は、３回目の検索により表示された画像円である。最大の画像円は、４回目の検索により表示された画像円である。すなわち、４回目の検索の画像円以外は、前回の検索時のサイズから縮小される。

図３の（５）は、５回目の検索が行われた状態を示す。（５）における操作領域Ａ１には、５段階のサイズの画像円が混在している、最小の画像円は、１回目の検索により表示された画像円である。２番目に小さいサイズの画像円は、２回目の検索により表示された画像円である。３番目に小さい画像円は、３回目の検索により表示された画像円である。４番目に小さい画像円は、４回目の検索により表示された画像円である。最大の画像円は、５回目の検索により表示された画像円である。すなわち、５回目の検索の画像円以外は、前回の検索時のサイズから縮小される。

このように、本実施の形態では、画像の検索時期に応じて、当該画像に対応する画像円の大きさが異なる。そうすることで、ユーザは、各画像円に含まれる画像の検索時期の相対的な前後関係を容易に認識することができる。この点について、図５を用いて更に詳しく説明する。

図５は、検索時期と画像円のサイズとの関係を説明するための図である。本実施の形態では、画像円の表示に関して「レイヤ」という概念が導入される。図５に示されるように、本実施の形態では、第１レイヤから第３レイヤまでの３つのレイヤが定義される。

第１レイヤは、最後（最新）の３回分の検索における画像円が属するレイヤである。したがって、図３の（５）の状態では、５回目、４回目、及び３回目の検索における画像円が第１レイヤに属する。第１レイヤの画像円は、ユーザによる操作が可能である。また、第１レイヤの画像円は、他のレイヤに属する画像円よりも輝度が上げられてもよい。なお、第１レイヤの中でも検索時期（検索回数）に応じて画像円のサイズは異なる。すなわち、最後の検索における画像円のサイズは、大サイズである。最後から１回前の検索における画像円のサイズは、大サイズよりも小さい中サイズである。最後から２回前の検索における画像円のサイズは、中サイズよりも小さい小サイズである。なお、第１レイヤに属する画像円同士は、相互に重ならないように表示されるようにしてもよい。

第２レイヤは、最後から３回前の画像円が属するレイヤである。したがって、図３（５）の状態では、２回目の検索における画像円が第２レイヤに属する。第２レイヤの画像円のサイズは、小サイズよりも小さい小２サイズである。

第３レイヤは、最後から４回前の画像円が属するレイヤである。したがって、図３（５）の状態では、１回目の検索における画像円が第３レイヤに属する。第３レイヤの画像円のサイズは、小２サイズよりも小さい小３サイズである。

なお、第２レイヤの画像円及び第３レイヤの画像円は操作不能である。また、第２レイヤ、第３レイヤの順に、画像円の透明度が増加してもよい。そうすることで、操作不能な画像円の視認性を低下させて、ユーザによる誤操作の可能性を低下させることができる。また、第２レイヤ又は第３レイヤに属する画像円は、他の画像円との重畳が許容されてもよい。この場合、重畳部分の表示については、上位のレイヤの画像円が有効とされてもよい。

また、表示対象とされるのは、第１レイヤから第３レイヤのいずれかのレイヤに属する画像円のみである。したがって、図３の（５）の状態から更に検索が行われた場合、１回目の検索における画像円は、操作領域Ａ１から消滅する。

なお、図５に示されている、大サイズ、中サイズ、小サイズ、小２サイズ、及び小３サイズのそれぞれの具体的な寸法は一例である。

図６は、画像円に対する操作の第１の例を説明するための図である。図６に示されるように、ユーザは、レイヤ１に属する画像円を、ドラッグ＆ドロップにより移動させることができる。

図７は、画像円に対する操作の第２の例を説明するための図である。図７の（１）に示されるように、ユーザによってタップされた画像円は、操作領域Ａ１の中心に移動し、拡大表示される。拡大された画像円内の画像の向きは、拡大直前の画像円の向きと同じでもよい。

（２）に示されているように、大サイズ、中サイズ、及び小サイズのいずれのサイズの画像円であっても、タップされた場合、同じ拡大サイズの画像円に拡大される。この際、画像円内の画像自体は、拡大された画像円（以下、「拡大画像円」という。）内において全体表示される。但し、全体表示ではなく、画像の一部のみが拡大画像円において表示されてもよい。

なお、拡大画像円は、第１レイヤよりも上位に表示される。すなわち、拡大画像円以外の画像円が拡大画像円と重畳する場合、重畳部分における表示は拡大画像円が有効とされる。したがって、拡大画像円は、第１レイヤよりも上位の第０レイヤに属するともいえる。なお、検索時に表示される文字列も、全ての画像円よりも上位に表示されるという意味において、第０レイヤに属するといえる。

また、拡大画像円が表示されている状態においても、検索の実行は可能である。この場合、拡大画像円内の画像の検索時期に関わらず、拡大画像円の表示は維持される。

また、拡大画像円が表示されている状態において、第１レイヤに属する他の画像円がタップされた場合、タップされた他の画像円によって、拡大画像円が入れ替えられる。すなわち、拡大画像円は、最大で１つである。但し、同時に複数の拡大画像円の表示が許容されてもよい。更に、拡大画像円の表示位置は固定されずに、他の画像円と同様、拡大画像円がランダムに移動してもよい。

また、拡大画像円が表示されている状態において、第１レイヤに属する画像円以外の領域がタップされた場合、当該拡大画像円の拡大は解除される。

拡大画像円は、拡大が解除されると、当該拡大画像円内の画像の表示形態は、検索時期に応じた状態に戻される。例えば、当該画像の検索時期が、最後の検索から３回前であれば、当該画像を含む画像円は、第２レイヤに属する。当該画像の検索時期が、最後の検索から５回前であれば、当該画像を含む画像円は、消去される。

図８は、画像円に対する操作の第３の例を説明するための図である。図８には、拡大画像円内の画像の操作例が示されている。（１）に示されるように、拡大画像円内の画像については、例えば、ピンチアウトにより拡大することができ、ピンチインにより縮小することができる。

また、（２）に示されるように、拡大画像円内の画像は、ドラッグ＆ドロップにより、拡大画像円内においてスクロール（移動）することができる。

以下、会話促進支援装置１の具体例について説明する。図９は、本発明の実施の形態における会話促進支援装置の構成要素の配置位置の一例を示す図である。図９に示されるように、会話促進支援装置１の上面を形成するテーブルには、例えば、アクリル板ｂ１が嵌め込まれ、アクリル板ｂ１の周辺には、例えば、３つのマイク８０と、多数の赤外線ＬＥＤ９０とが配置される。アクリル板ｂ１は、操作領域Ａ１を形成する。但し、アクリル板以外の素材の板によって操作領域Ａ１が形成されてもよい。マイク８０は、ユーザの発言の音声を入力するために用いられる。マイク８０は、３つ未満でもよいし、４つ以上であってもよい。赤外線ＬＥＤ９０は、アクリル板ｂ１に対する操作の検出に利用される。

また、会話促進支援装置１の筐体内には、画像処理装置１０、プロジェクタ２０、電源タップ３０、ミキサ４０、小型ファン５０、鏡６０、赤外線カメラ７０等が格納される。

画像処理装置１０は、プロジェクタ２０により投影対象とされる画像（以下、「投影対象画像」という。）の描画処理等を実行する。例えば、ＰＣ（Personal Computer）等の汎用的なコンピュータが、画像処理装置１０として用いられてもよい。

プロジェクタ２０は、投影対象画像の投影（出力）を行う。投影対象画像は、鏡６０によって反射されてアクリル板ｂ１の裏面に投影される。アクリル板ｂ１の裏面には、リアプロジェクション用シートが貼られているため、アクリル板ｂ１の裏面に投影された画像は、アクリル板ｂ１の表面に表示される。投影対象画像が鏡６０を経由するのは、プロジェクタ２０からアクリル板ｂ１までの投影距離を長くしてプロジェクタ２０の焦点をアクリル板ｂ１に合わせ易くするためである。したがって、鏡６０を用いずともプロジェクタ２０の焦点をアクリル板ｂ１に合わせることが可能であれば、鏡６０は不要である。

電源タップ３０は、赤外線ＬＥＤ９０、画像処理装置１０、プロジェクタ２０、ミキサ４０、及び小型ファン５０等に電力を供給する。ミキサ４０は、複数のマイク８０から入力される音声信号を合成する。小型ファン５０は、筐体内の熱を筐体外に放出する。赤外線カメラ７０は、赤外線ＬＥＤ９０から発光されている赤外線の変化を検出することで、アクリル板ｂ１（操作領域Ａ１）に対する操作を検出するために利用される。

図１０は、アクリル板に対する操作を検出する仕組みの一例を示す図である。各赤外線ＬＥＤ９０からは、アクリル板ｂ１の内側に赤外線が発光されている。ユーザがアクリル板ｂ１の表面をタッチすると、タッチした箇所においてアクリル板ｂ１の表面の屈折率が変化する。赤外線カメラ７０が、当該屈折率の変化を検出することで、タッチの発生とタッチされた箇所とが検出される。

なお、タッチの検出は、一般的なタッチパネルにおいて採用されている他の方式（例えば、静電容量方式等）により行われてもよい。

図１１は、会話促進支援装置の構成要素間の接続関係の一例を示す図である。各赤外線ＬＥＤ９０、ミキサ４０、プロジェクタ２０、画像処理装置１０、及び小型ファン５０は、電源ケーブルによって電源タップ３０に接続される。画像処理装置１０とプロジェクタ２０とは、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等、画像をデジタル信号で伝送する通信インタフェースを介して接続される。各マイク８０は、ミキサ４０に音声ケーブルによって接続される。ミキサ４０によってまとめられた一本の音声ケーブルは、画像処理装置１０に接続される。赤外線カメラ７０は、ＵＳＢ（Universal Serial Bus）ケーブルによって画像処理装置１０に接続される。

図１２は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図１２の画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

画像処理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像処理装置１０に係る機能を実行する。インタフェース装置１０５は、音声ケーブルとのインタフェース、プロジェクタ２０との通信インタフェース、及び赤外線カメラ７０とのＵＳＢインタフェースをまとめて表現したものである。

図１３は、本発明の実施の形態における画像処理装置の機能構成例を示す図である。図１３において、画像処理装置１０は、音声入力制御部１１、音声認識部１２、文字列描画部１３、自然言語処理部１４、画像検索部１５、画像描画部１６、画像出力部１７、及び操作検出部１８等を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像処理装置１０は、また、検索履歴記憶部１２１及び描画情報記憶部１２２を利用する。これら各記憶部は、例えば、補助記憶装置１０２、又は画像処理装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

音声入力制御部１１は、マイク８０（ミキサ４０）からの音声の入力を制御する。音声認識部１２は、入力された音声に対して音声認識処理を実行して、当該音声を文字列（テキストデータ）に変換する。なお、音声認識処理は、公知技術を用いて実行することができる。文字列描画部１３は、音声認識部１２によって得られた文字列を、投影対象画像ｉ１において、操作領域Ａ１の円周沿いに対応する部分に描画する。自然言語処理部１４は、音声認識部１２によって得られた文字列に対して自然言語処理を実行して、当該文字列から検索語を抽出する。画像検索部１５は、抽出された検索語に関連する画像を、インターネット等から検索する。画像描画部１６は、検索された画像を含む画像円を、投影対象画像ｉ１に対して描画する。画像出力部１７は、投影対象画像ｉ１をプロジェクタ２０に出力する。したがって、投影対象画像ｉ１に対する画像円の描画は、プロジェクタ２０による当該画像円の投影と等価である。投影対象画像ｉ１は、例えば、メモリ装置１０３に記憶されている。操作検出部１８は、操作領域Ａ１に対するユーザの操作を検出する。

検索履歴記憶部１２１には、検索された画像の識別情報が記憶される。描画情報記憶部１２２には、投影対象画像ｉ１に対する画像円の描画状況を示す情報が記憶される。

以下、画像処理装置１０が実行する処理手順について説明する。図１４は、画像処理装置が実行する処理手順の一例を説明するためのフローチャートである。

音声入力制御部１１は、マイク８０からの音声の入力を待機している（Ｓ１０１）。会話促進支援装置１を囲んでいるいずれかのユーザによる発言の音声がマイク８０及び音声入力制御部１１によって入力されると（Ｓ１０１でＹｅｓ）、音声認識部１２は、入力された音声について音声認識処理を実行して、当該音声を文字列に変換する（Ｓ１０２）。続いて、文字列描画部１３は、投影対象画像ｉ１において操作領域Ａ１の円周沿いに対応する位置に、変換された文字列を描画する（Ｓ１０３）。その結果、当該文字列が、操作領域Ａ１に投影される。すなわち、図２の（２）において説明したような表示が実現される。ステップＳ１０２及びＳ１０３は、音声の入力が開始されてから音声の入力が一定時間途絶えるまで繰り返し実行される。以下、入力が開始されてから入力が一定時間途絶えるまでに入力された音声の文字列への変換結果を、「入力文字列」という。

続いて、自然言語処理部１４は、入力文字列に対して自然言語処理を行い、入力文字列から検索語を抽出する（Ｓ１０４）。例えば、係り受け解析が行われて、入力文字列に含まれている各名詞が検索語として抽出される。自然言語処理部１４は、抽出結果に基づいて、投影対象画像ｉ１に描画されている入力文字列を更新する（Ｓ１０５）。具体的には、図２の（３）及び（４）に示したように、抽出された各検索語が「・」で区切られて投影対象画像ｉ１に描画される。なお、名詞以外の単語が検索語とされてもよい。

続いて、画像検索部１５は、抽出された各検索語をＡＮＤ条件によって接続した検索条件によって、インターネット等から画像を検索する（Ｓ１０６）。続いて、画像検索部１５は、検索結果を検索履歴記憶部１２１に記憶する（Ｓ１０７）。

図１５は、検索履歴記憶部の構成例を示す図である。図１５において、検索履歴記憶部１２１には、検索の実行ごとにレコードが記憶される。各レコードは、検索番号及び画像ＩＤ群等を含む。検索の実行ごととは、ステップＳ１０６の実行ごとをいう。

検索番号は、何回目の検索であるのかを示す値である。図１５では、６回の検索が行われた例が示されている。画像ＩＤ群は、当該検索において検索された画像の識別情報の集合である。本実施の形態では、検索結果のリスト順において、上位の５件の画像の画像ＩＤが、画像ＩＤ群に記憶される。なお、上位の５件のみが抽出されるのは、多数の画像円が操作領域Ａ１に表示され、操作領域Ａ１内の表示が煩雑になるのを避けるためである。

続いて、画像描画部１６は、検索番号が、「最後の検索番号−５」である検索結果が検索履歴記憶部１２１に記憶されているか否かを判定する（Ｓ１０８）。すなわち、現時点においてレイヤ３に属する検索結果の有無が判定される。該当する検索結果が無い場合（これまでの検索回数が５回以下である場合）（Ｓ１０８でＮｏ）、ステップＳ１１１に進む。該当する検索結果が有る場合（Ｓ１０８でＹｅｓ）、画像描画部１６は、該当する検索結果の画像ＩＤ群に含まれる各画像ＩＤに対応する画像円を、投影対象画像ｉ１から消去する（Ｓ１０９）。但し、拡大画像円は、消去対象から除外される。そうすることで、拡大画像円の表示が維持される。続いて、画像描画部１６は、消去された画像円に対応するレコードを、描画情報記憶部１２２から削除する（Ｓ１１０）。

図１６は、描画情報記憶部の構成例を示す図である。図１６において、描画情報記憶部１２２は、投影対象画像ｉ１に描画された画像円ごとにレコードを有する。各レコードは、画像ＩＤ、位置、向き、レイヤ、サイズ、及び拡大フラグ等を含む。

画像ＩＤは、画像円に含まれる画像の画像ＩＤである。位置は、画像ＩＤに係る画像の画像円の描画位置の座標値である。画像円の描画位置とは、画像円の中心位置をいう。当該座標値は、投影対象画像ｉ１の座標系に基づくものであってもよい。向きは、画像ＩＤに係る画像の向きである。例えば、画像円に含まれる画像の長辺についての所定の方向（例えば、投影対象画像ｉ１の座標系のＸ軸の方向）に対する角度が向きの値とされてもよい。レイヤは、画像ＩＤに係る画像が属するレイヤである。サイズは、画像ＩＤに係る画像の画像円のサイズである。本実施の形態では、図５に示した５つのサイズ（大、中、小、小２、小３）のいずれかがサイズの値とされる。なお、当該画像円が拡大されている場合であっても、サイズの値は５つのうちのいずれかである。拡大フラグは、画像ＩＤに係る画像の画像円が拡大されているか否かを示す情報である。ＴＲＵＥは、拡大されていることを示し、ＦＡＬＳＥは、拡大されていないことを示す。

ステップＳ１１０では、レイヤの値が３であって、かつ、拡大フラグの値が「ＦＡＬＳＥ」であるレコードが削除される。レイヤの値が３であって、拡大フラグの値が「ＴＲＵＥ」であるレコードが有る場合、当該レコードのレイヤの値が「−１」に更新される。レイヤの値が「−１」であることは、本来消去される画像円であるが、拡大されているために消去されていないことを意味する。

続いて、画像描画部１６は、「最後の検索番号−４」を変数Ｎに代入し、変数ｉに１を代入する（Ｓ１１１）。最後の検索番号とは、検索履歴記憶部１２１における最後のレコードの検索番号である。すなわち、今回の検索の検索番号である。図１５の例によれば、最後の検索番号は６である。したがって、Ｎには、６−４＝２が代入される。

続いて、画像描画部１６は、Ｎ回目の検索結果（検索番号＝Ｎの検索結果）のレコードが検索履歴記憶部１２１に記憶されているか否かを判定する（Ｓ１１２）。該当レコードが記憶されていない場合（Ｓ１１２でＮｏ）、ステップＳ１１６に進む。該当レコードが記憶されている場合（Ｓ１１２でＹｅｓ）、画像描画部１６は、変数ｉの値に基づいて、当該レコードに係る検索結果の新たなレイヤを判定する（Ｓ１１３）。本実施の形態では、図５に示したようにレイヤが定義される。したがって、ｉ＝１に対応するレイヤは、第３レイヤである。ｉ＝２に対応するレイヤは、第２レイヤである。３≦ｉ≦５に対応するレイヤは、第１レイヤである。

続いて、画像描画部１６は、Ｎ回目の検索結果の各画像の画像円について、描画情報記憶部１２２に記憶されているサイズ及びレイヤの値を更新する（Ｓ１１４）。サイズの値は、変数ｉの値に応じたサイズに変更される。ｉの値に応じたサイズとは、ｉ＝１であれば、小３サイズである。ｉ＝２であれば、小２サイズである。ｉ＝３であれば、小サイズである。ｉ＝４であれば、中サイズである。レイヤは、ステップＳ１１３において判定された値に更新される。

続いて、画像描画部１６は、ステップＳ１１４における画像円のサイズの変更を、投影対象画像ｉ１に反映する（Ｓ１１５）。その結果、当該画像円について、操作領域Ａ１に投影されるサイズが変更される。但し、拡大フラグの値が「ＴＲＵＥ」である画像円（すなわち、拡大画像円）は、投影対象画像ｉ１への反映対象から除外される。すなわち、拡大画像円は、そのままの状態が維持される。

続いて、画像描画部１６は、ステップＳ１１４においてサイズが変更された各画像円について、描画情報記憶部１２２に記憶されているレコードのサイズの値を変更後の値に更新し、当該レコードのレイヤの値を、ステップＳ１１３において判定された値に更新する（Ｓ１１５）。

続いて、画像描画部１６は、変数Ｎ及び変数ｉのそれぞれに１を加算する（Ｓ１１６）。続いて、画像描画部１６は、変数Ｎの値が、（最後の検索番号−１）を超えているか否かを判定する（Ｓ１１７）。すなわち、変数Ｎの値が、前回の検索に対応する検索番号を超えたか否かが判定される。変数Ｎの値が（最後の検索番号−１）以下である場合（Ｓ１１７でＮｏ）、ステップＳ１１２以降が繰り返される。

変数Ｎの値が（最後の検索番号−１）を超える場合（Ｓ１１７でＹｅｓ）、画像描画部１６は、検索番号がＮである検索結果（すなわち、今回の検索の検索結果）について検索履歴記憶部１２１に記憶されているレコードの画像ＩＤ群に含まれる各画像ＩＤに係る画像を含む画像円を投影対象画像ｉ１に描画する（Ｓ１１８）。すなわち、今回の検索結果の各画像の画像円が描画される。この際、各画像円のサイズは、大サイズとされる。各画像円の描画位置及び向きは、ランダムに決定されてよい。

続いて、画像描画部１６は、ステップＳ１１５で描画された各画像円のレコードを描画情報記憶部１２２に追加する。当該レコードのレイヤには１が記憶され、サイズには「大」が記憶される。

なお、画像描画部１６は、投影対象画像ｉ１に描画されている各画像円について、例えば、一定間隔で位置及び向きをランダムに変更する。変更後の位置及び向きは、描画情報記憶部１２２に逐次反映される。

一方、操作検出部１８によって、操作領域Ａ１に対する操作が検出されると（Ｓ１２０でＹｅｓ）、操作に応じた処理が実行される（Ｓ１２１）。

続いて、ステップＳ１２１の詳細について説明する。図１７は、操作に応じた処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ２０１において、操作検出部１８は、操作対象が拡大画像円であるか否かを判定する。すなわち、描画情報記憶部１２２において拡大フラグの値が「ＴＲＵＥ」であるレコードが有り、かつ、検出された操作箇所の座標値が、当該レコードに係る画像円（拡大画像円）の範囲内であるか否かが判定される。当該画像円の範囲は、当該レコードの座標値を中心とし、拡大画像円に対応した直径を有する円の範囲である。なお、検出された操作箇所は、投影対象画像ｉ１の座標系の座標値に変換されればよい。

操作対象が拡大画像円である場合（Ｓ２０１でＹｅｓ）、画像描画部１６は、操作に応じた描画処理を実行する（Ｓ２０２）。すなわち、図８において説明したように、ピンチアウト操作であれば、拡大画像円内の画像が拡大され、ピンチイン操作であれば、拡大画像円内の画像が縮小される。また、ドラッグ＆ドロップであれば、拡大画像円内の画像がスクロール（移動）される。

一方、操作対象が拡大画像円で無い場合（Ｓ２０１でＮｏ）、操作検出部１８は、操作の種別がタップであるか否かを判定する（Ｓ２０３）。操作の種別の判定には公知技術が利用されればよい。

操作の種別がタップである場合（Ｓ２０３でＹｅｓ）、画像描画部１６は、拡大画像円の有無を判定する（Ｓ２０４）。拡大画像円の有無は、拡大フラグの値が「ＴＲＵＥ」であるレコードが描画情報記憶部１２２に記憶されているか否かで判定することができる。拡大フラグの値が「ＴＲＵＥ」であるレコードが描画情報記憶部１２２に記憶されていない場合（Ｓ２０４でＮｏ）、ステップＳ２０９に進む。

拡大フラグの値が「ＴＲＵＥ」であるレコードが描画情報記憶部１２２に記憶されている場合（Ｓ２０４でＹｅｓ）、画像描画部１６は、当該レコードに係る画像円（すなわち、拡大画像円）を投影対象画像ｉ１から消去する（Ｓ２０５）。続いて、画像描画部１６は、当該レコードのレイヤの値が「−１」であるか否かを判定する（Ｓ２０６）。当該レコードのレイヤの値が「−１」であれば（Ｓ２０６でＹｅｓ）、画像描画部１６は、当該レコードを描画情報記憶部１２２から削除する（Ｓ２０７）。すなわち、当該レコードに係る画像円は、表示されない。一方、当該レコードのレイヤの値が「−１」でない場合（Ｓ２０６でＮｏ）、画像描画部１６は、当該レコードの拡大フラグの値を「ＦＡＬＳＥ」に更新し、当該レコードの画像ＩＤに係る画像を含む画像円を、当該レコードに記憶されているサイズで投影対象画像ｉ１に描画する（Ｓ２０８）。この際、当該レコードの位置及び向きは、当該画像円の描画位置及び向きによって更新される。なお、当該画像円の描画位置は、操作箇所（タップの箇所）でもよいし、任意の位置でもよい。

続いて、画像描画部１６は、第１レイヤに属する画像円が操作対象（タップの対象）であるか否かを判定する（Ｓ２０９）。第１レイヤに属する画像円の範囲は、描画情報記憶部１２２においてレイヤの値が１であるレコードに基づいて特定することができる。すなわち、当該レコードの座標値を中心とし、当該レコードのサイズに対応した直径を有する円の範囲が、該当の範囲である。したがって、検出された操作箇所の座標値が、該当の範囲のいずれかに含まれていれば、第１レイヤに属する画像円が操作対象であることになる。

第１レイヤに属する画像円が操作対象である場合（Ｓ２０９でＹｅｓ）、画像描画部１６は、操作対象の画像円を投影対象画像ｉ１から消去する（Ｓ２１０）。続いて、画像描画部１６は、当該画像円に係る画像の拡大画像円を投影対象画像ｉ１に描画する（Ｓ２１１）。拡大画像円は、操作領域Ａ１における中心に対応する位置に描画される。続いて、画像描画部１６は、当該拡大画像円に対応する、描画情報記憶部１２２のレコードの位置及び拡大フラグの値を更新する（Ｓ２１２）。位置は、操作領域Ａ１の中心の座標に更新される。拡大フラグは、「ＴＲＵＥ」に更新される。

また、操作の種別がタップではなく（Ｓ２０３でＮｏ）、ドラッグ＆ドロップである場合（Ｓ２１３でＹｅｓ）、画像描画部１６は、ステップＳ２０９と同様に、第１レイヤに属する画像円が操作対象であるか否かを判定する（Ｓ２１４）。１レイヤに属する画像円が操作対象である場合（Ｓ２１４でＹｅｓ）、画像描画部１６は、操作対象の画像円の描画位置を、投影対象画像ｉ１においてドロップ先に対応する位置に移動させる（Ｓ２１５）。続いて、画像描画部１６は、当該画像円に対応する、描画情報記憶部１２２のレコードの位置を、移動先の座標値に更新する（Ｓ２１６）。

上述したように、本実施の形態によれば、会話促進支援装置１を囲んでいるユーザの一人が何らかの発言をすると、当該発言の内容に関連する画像群が操作領域Ａ１に表示される。当該画像群を見たいずれかのユーザが、更に、発言を行うと、当該発言の内容に関連する画像群が操作領域Ａ１に更に表示される。このようにして、検索結果の画像群が、ユーザの発言を促進することができる。すなわち、ユーザ間の会話の促進を支援することができる。

また、画像群の中には、ユーザにとっては想定外であった画像が含まれる可能性も有る。このような画像が表示されることで、想定外の方向の話題に会話を導くこともできる。

また、過去の検索において表示された画像円は、検索が繰り返されるごとにサイズが縮小されて、操作不能とされる。そうすることで、検索が繰り返され、多数の画像が混在することによる、ユーザの混乱を回避することができる。すなわち、ユーザは、画像円のサイズに応じて、当該画像円に含まれる画像の検索時期を判断することができる。

また、過去数回分の検索結果の画像が表示されることで、最新の画像が表示されるまでの経緯を把握可能とすることもできる。

なお、本実施の形態では、検索対象が画像である例について説明した。これは、画像の方が文字列に比べて直感的な情報であり、会話の促進にも好適であると考えたためである。但し、画像以外の情報（例えば、文字列）が検索対象とされ、画像円に含まれて表示されてもよい。

また、本実施の形態では、検索された画像が円形で表示される例について説明したが、他の図形によって表示されてもよいし、検索された画像の形状のまま表示されてもよい。

また、本実施の形態では、「検索の時期」が、検索回数によって規定される例について説明した。すなわち、各画像円のレイヤ及びサイズが、最後の検索の検索回数を基準として何回前の検索に係る画像円であるかに基づいて決定される例について説明した。しかし、「検索の時期」は、時間によって規定されてもよい。例えば、各画像円のレイヤ及びサイズは、それぞれの画像円の画像の検索から最後の検索まで経過時間に基づいて決定されてもよい。

また、画像の投影には、プロジェクタ２０の代わりに液晶ディスプレイが利用されてもよい。

また、会話促進支援装置１は、ブレーンストーミング等の業務目的のみならず、娯楽目的で利用されてもよい。例えば、レストランや喫茶店等のテーブルに会話促進支援装置１が利用されてもよい。その他の目的で会話促進支援装置１が利用されてもよい。

なお、本実施の形態において、プロジェクタ２０は、画像投影装置の一例である。音声認識部１２は、変換部の一例である。画像検索部１５は、検索部の一例である。画像描画部１６は、描画部の一例である。拡大画像円は、所定の大きさの図形の一例である。第３レイヤに属する画像が検索された時期は、第１の時期の一例である。第１レイヤに属する画像が検索された時期は、第２の時期の一例である。操作領域Ａ１は、投影面の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 会話促進支援装置
１０ 画像処理装置
１１ 音声入力制御部
１２ 音声認識部
１３ 文字列描画部
１４ 自然言語処理部
１５ 画像検索部
１６ 画像描画部
１７ 画像出力部
１８ 操作検出部
２０ プロジェクタ
３０ 電源タップ
４０ ミキサ
５０ 小型ファン
６０ 鏡
７０ 赤外線カメラ
８０ マイク
９０ 赤外線ＬＥＤ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ 検索履歴記憶部
１２２ 描画情報記憶部
Ｂ バス
ｂ１ アクリル板
ｉ１ 投影対象画像

特願２０１４−１９９４９０号公報

Claims (10)

1. 画像投影装置によって投影される画像である投影対象画像に対して描画を行う画像処理装置であって、
   音声の入力を制御する音声入力制御部と、
   入力された音声を文字列に変換する変換部と、
   前記文字列に関連する１つ以上の情報を検索する検索部と、
   前記検索部によって検索された前記情報と前記情報が検索された時期を示す識別情報とを対応付けて記憶する記憶部と、
   記憶された前記情報をそれぞれ含む図形を前記投影対象画像に描画する描画部であって、対応付けられた識別情報に応じた大きさで前記図形を前記投影対象画像に投影する描画部と、
   を有することを特徴とする画像処理装置。
2. 前記描画部は、検索された時期が相対的に前である情報を含む図形を、検索された時期が相対的に後である情報を含む図形よりも小さくする、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記描画部は、最後の検索を基準として第１の時期より前に検索された情報を含む図形を、前記投影対象画像から消去する、
   ことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記投影対象画像が投影される投影面に対する操作を検出する検出部を有し、
   前記描画部は、前記検出部によって検出された操作の箇所に位置する図形を所定の大きさに拡大する、
   ことを特徴とする請求項１乃至３いずれか一項記載の画像処理装置。
5. 前記描画部は、前記検出部によって検出された操作の箇所に位置する図形が、最後の検索を基準として第２の時期より後に検索された情報を含む図形である場合に、当該図形を所定の大きさに拡大する、
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記描画部は、前記所定の大きさの図形については、当該図形が含む情報が検索された時期に関わらず前記所定の大きさを維持する、
   ことを特徴とする請求項４又は５記載の画像処理装置。
7. 前記描画部は、前記所定の大きさの図形については、当該図形が含む情報が検索された時期に関わらず前記所定の大きさを維持し、前記検出部によって検出された操作の箇所に、最後の検索を基準として前記第２の時期より後に検索された情報を含む図形が位置しない場合に、前記所定の大きさの図形を、当該図形が含む情報が検索された時期に応じて描画又は消去する、
   ことを特徴とする請求項５記載の画像処理装置。
8. 前記検索部は、前記文字列に関連する画像を検索する、
   ことを特徴とする請求項１乃至７いずれか一項記載の画像処理装置。
9. 画像投影装置によって投影される画像である投影対象画像に対して描画を行う画像処理装置が、
   音声の入力を制御する音声入力制御手順と、
   入力された音声を文字列に変換する変換手順と、
   前記文字列に関連する１つ以上の情報を検索する検索手順と、
   検索された前記情報と前記情報が検索された時期を示す識別情報とを対応付けて記憶部に記憶する記憶手順と、
   記憶された前記情報をそれぞれ含む図形を前記投影対象画像に描画する描画手順であって、対応付けられた識別情報に応じた大きさで前記図形を前記投影対象画像に投影する描画手順と、
   を実行することを特徴とする画像処理方法。
10. 画像投影装置によって投影される画像である投影対象画像に対して描画を行う画像処理装置に、
    音声の入力を制御する音声入力制御手順と、
    入力された音声を文字列に変換する変換手順と、
    前記文字列に関連する１つ以上の情報を検索する検索手順と、
    検索された前記情報と前記情報が検索された時期を示す識別情報とを対応付けて記憶部に記憶する記憶手順と、
    記憶された前記情報をそれぞれ含む図形を前記投影対象画像に描画する描画手順であって、対応付けられた識別情報に応じた大きさで前記図形を前記投影対象画像に投影する描画手順と、
    を実行させることを特徴とするプログラム。

Images