JP2016167227A - 情報処理装置およびその制御方法、情報処理システム - Google Patents

Abstract

【課題】より効率的な議事録作成を可能とするための技術を提供する。【解決手段】情報処理装置は、投射装置により投射された投射画像から１以上の文字列を抽出する抽出手段と、投射画像における１以上の文字列それぞれの出現特徴に基づいて、当該１以上の文字列それぞれに対する評価値を決定する決定手段と、１以上の文字列の入力支援に利用可能とすべく１以上の文字列をそれぞれの評価値に関連付けた文字列情報を生成する生成手段と、を有する。【選択図】図１

Description

本発明は、プロジェクタ等の投射装置により投射された投射画像に含まれる文字列の入力支援のための情報を生成する技術に関するものである。

近年、情報端末であるパーソナルコンピュータ（ＰＣ）等を用いて、議事進行と並行してプレゼンテーション中の議事録メモをタイプし、議事記録を残すことが多くなっている。そこで、プロジェクタにより投射された映像やプレゼンテータの発音をテキストにする議事録作成システムが提案されている。

特許文献１では、文字認識テキスト化データと音声認識テキスト化データとを１つのファイルとした議事録データを作成する議事録作成装置が提案されている。具体的には、文字認識テキスト化データを、プロジェクタによって投影された投影画像に含まれる文字列を認識することにより生成している。また、音声認識テキスト化データを、文字認識結果に基づいて分野別の音声認識用辞書データを選択し、選択された音声認識用辞書データを用いて音声認識を行うことにより生成している。

特開２００６−２６７９３４号公報

しかしながら、上述の特許文献１の議事録作成装置構成により生成された議事録データから最終的な議事録に仕上げる作業は依然として煩雑であるという問題があった。例えば、文字認識テキスト化データ及び音声認識テキスト化データを推敲し、誤認識された語句を議事で実際に使用された語句へ修正するための処理（置換、挿入、削除）を行う必要があった。

本発明はこのような問題を鑑みてなされたものであり、より効率的な議事録作成を可能とするための技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、情報処理装置は、投射装置により投射された投射画像から１以上の文字列を抽出する抽出手段と、前記投射画像における前記１以上の文字列それぞれの出現特徴に基づいて、該１以上の文字列それぞれに対する評価値を決定する決定手段と、前記１以上の文字列の入力支援に利用可能とすべく、前記１以上の文字列をそれぞれの評価値に関連付けた文字列情報を生成する生成手段と、を有する。

本発明によれば、より効率的な議事録作成を可能とする技術を提供することができる。

第１実施形態に係る情報処理システムの構成を示すブロック図である。 プロジェクタ及びユーザ操作端末のハードウェア構成を示すブロック図である。 投射データの更新による抽出された文字列と評価値の変化を例示的に示す図である。 ポインタやマウスカーソルの指示による抽出された文字列と評価値の変化を例示的に示す図である。 ユーザ操作端末であるタブレット端末における画面表示を例示的に示す図である。 第１実施形態におけるプロジェクタの動作を示すフローチャートである。 第１実施形態におけるタブレット端末の動作を示すフローチャートである。 第２実施形態に係る情報処理システムの構成を示すブロック図である。 投射された画像の領域分割処理を説明する図である。 文字入力支援の一例としての文字列候補表示を説明する図である。 第２実施形態におけるプロジェクタの動作を示すフローチャートである。 第２実施形態におけるＰＣ端末の動作を示すフローチャートである。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、プロジェクタを例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る情報処理システムの構成を示すブロック図である。当該情報処理システムは、主に、プロジェクタ１とユーザ操作端末２とを含む。また、図２は、プロジェクタ１及びユーザ操作端末２のハードウェア構成を示すブロック図である。

プロジェクタ１は、プレゼンテーション画像を投影する装置である。投射画像１０は、プロジェクタ１がスクリーンなどに投射した画像を例示的に示したものである。ユーザ操作端末２は、ユーザがプレゼンテーション記録（議事録）を作成するために使用する装置である。

まず、プロジェクタ１の構成について説明する。制御部１１は、プロジェクタ１内の各機能部を統括的に制御する機能部である。制御部１１は、例えばＣＰＵ４１がＲＯＭ４３に格納された制御プログラムを実行することにより実現される。なお、各機能部は、制御バスやデータバスなどのバス２４を介して、相互に接続されているものとする。

記憶部１２は、画像撮像部１６により取得された撮像画像を保存する。また、プロジェクタ１により投射される画像（投射データ）及び該画像に関連する各種情報を保存する。ここでは、各種情報としては、後述する、投射データから読みとられた文字列、文字列の評価値、及び、文字列リストのデータを想定する。記憶部１２は、例えば、ハードディスクドライブ（ＨＤＤ）４８により実現される。また、一時的に各種データを記憶するＲＡＭ４２も利用される。なお、２次記憶媒体として、ＨＤＤのほか、ソリッドステートドライブ（ＳＳＤ）や、ＳＤ（登録商標）メモリーカード等のメモリ素子を用いることも可能である。

データ入力部１３は、投射するデータ（投射データ）を受信する機能部であり、例えば、映像入力端子４４により実現される。また、データ入力部１３は、投射するデータが更新されたことを検出する機能も有する。データ出力部１４は、後述する文字列リストを他の機器（ここではユーザ操作端末２）に送信する機能部である。データ出力部１４は、例えば、通信インタフェース（Ｉ／Ｆ）４７により実現される。なお、通信Ｉ／Ｆ４７は、例えば、有線通信又は無線通信のインタフェースである。

プロジェクション部１５は、データ入力部１３から入力されたデータを投射する機能部である。プロジェクション部１５は、例えば、画像を光学映像としてスクリーン等に投射するプロジェクタ４５により実現される。

画像撮像部１６は、外部の映像を撮像し画像を取得する機能部である。なお、以下の説明では、外部の映像として、プロジェクション部１５を介してスクリーン等に投射されたプレゼンテーション画像を想定する。画像撮像部１６は、例えば、イメージセンサを搭載したカメラ４６により実現される。

文字読取部１７は、投射データをテキスト化する機能部である。また、文字読取部１７は、テキスト化の結果を１以上の文字列に切り分ける機能を有する。評価値処理部１８は、文字列に対し所定の評価を行い評価値として導出する機能部である。評価値導出の詳細については後述する。

リストソート部１９は、後述する文字列リスト内の文字列をソートする機能部である。ここでは、文字列をそれぞれの文字列に対する評価値をキーとしてソートすることを想定する。リスト管理部２０は、文字読取部１７によるテキスト化により得られた１以上の文字列を元に文字列リストを作成する機能部である。リスト管理部２０は、文字列リスト内の文字列の変更管理や、文字列の評価値の変更管理、及び文字列リスト内の文字列の順序管理も行う。

画像処理部２１は、投射データや撮像画像を解析し、投射された映像における変化を各種の画像処理を行うことにより検出する機能部である。例えば、撮像画像におけるマウスカーソルやポインタを検出する。

カーソル検知部２２は、撮像画像を画像処理部２１を使って解析し、マウスカーソルで指示された箇所の位置データをリスト管理部２０に通知する機能部である。同様に、ポインタ検知部２３は、撮像画像を画像処理部２１を使って解析し、ポインタで指示された箇所の位置データをリスト管理部２０通知する機能部である。

ここでは、文字読取部１７、評価値処理部１８、リストソート部１９、リスト管理部２０、画像処理部２１、カーソル検知部２２、ポインタ検知部２３は、ＣＰＵ４１がＲＯＭ４３に格納された制御プログラムを実行することにより実現されることを想定する。

次に、ユーザ操作端末２の構成について説明する。制御部２５は、ユーザ操作端末２内の各機能部を統括的に制御する機能部である。制御部２５は、例えばＣＰＵ４９がＲＯＭ５１に格納された制御プログラムを実行することにより実現される。なお、各機能部は、制御バスやデータバスなどのバス３０を介して、相互に接続されているものとする。

記憶部２６は、例えば、議事録作成のためのアプリケーションプログラムを記憶する。また、議事録作成処理に関連する各種情報を保存する。ここでは、各種情報としては、後述する、文字列リストのデータを想定する。記憶部１２は、例えば、ハードディスクドライブ（ＨＤＤ）５５により実現される。また、一時的に各種データを記憶するＲＡＭ５０も利用される。

データ入力部２７は、プロジェクタ１から送信される文字列リストを入力する機能部である。データ入力部２７は、例えば、通信インタフェース（Ｉ／Ｆ）５３により実現される。なお、通信Ｉ／Ｆ５３は、例えば、有線通信又は無線通信のインタフェースである。操作入力部２８は、ユーザからの入力操作を受け付ける機能部であり、例えば、キーボード５４により実現される。表示部２９は、各種表示を行う機能部であり、各種のディスプレイ５２により実現される。ここでは、表示部２９は、主に、議事録作成のためのアプリケーションプログラムによる入力画面を表示することを想定する。

＜装置の動作＞
以下の説明では、図１に示すように、プロジェクタ１を用いたプレゼンテーションが行われている状況で、ユーザが、ユーザ操作端末２を用いて議事録を作成する事例について説明する。特に、プロジェクタ１が、投射したプレゼンテーション画像に基づいた文字列リストを生成し、ユーザ操作端末２であるタブレット端末に文字列リストを送信する事例を示す。

図６は、第１実施形態におけるプロジェクタ１の動作を示すフローチャートである。

ステップＳ１００では、画像撮像部１６は、撮像を開始し、撮像された画像を記憶部１２に記憶する。また、画像を記憶した際、当該画像の記録時刻をカーソル検知部２２及びポインタ検知部２３に通知する。プロジェクタ１のデータ入力部１３にて映像入力端子から入力されたデータは、プロジェクション部１５に送られて、スクリーンに投射される。 ステップＳ１０１では、データ入力部１３は、入力された投射データを記憶部１２に保存すると共に、文字読取部１７にデータ更新通知を通知する。文字読取部１７は、データ入力部１３からのデータ更新通知を受信すると、記憶部１２から投射データを読み出し、文字読み取り処理を行う。なお、第１実施形態では文字読み取り手法として光学文字認識（ＯＣＲ）の技術を用いることを想定するが、電子画像そのものを画像処理するような他の方法を用いて文字読み取りを行っても良い。

ステップＳ１０２では、文字読取部１７は、文字読み取り処理によりテキスト化したテキストデータを、文字区切り情報に基づいて１以上の文字列に分割して記憶部１２に保存する。ここでの文字区切り情報は、句読点や、構文解析による文字のつながり判定情報を想定している。そして、文字読取部１７は、評価値処理部１８に評価値決定の依頼通知を送信する。なお、形態素解析などを用いてより正確に単語文字列に分解するよう構成してもよい。

ステップＳ１０３では、評価値処理部１８は、評価値決定の依頼通知を文字読取部１７から受信すると、各文字列に対する評価値を計算する。評価値処理部１８は、各々の文字列に対し、それぞれの出現特徴に基づいて評価値を算出する。ここでは、投射画像における文字列の大きさと、投射画像内の文字列の出現頻度（現在の投射データ及び過去の投射データにおける出現頻度）に応じて、評価値を決定し、記憶部１２に保存する。

図３は、投射データの更新による、抽出された文字列と評価値の変化を例示的に示す図である。プレゼンテーションの１枚目の投射データとして投射画像３０１に示す画像を、２枚目の投射データとして投射画像３０２に示す画像をそれぞれ投射する場合を例示的に示している。

なお、ここでは、文字列の評価値は、当該文字列の文字の大きさと、当該文字列の出現頻度をパラメータ化した数値の合計として導出される例を示している。ここでは、文字が大きいほど評価値を大きくし、出現頻度（累計回数）が多いほど評価値を大きくするように構成している。

投射画像３０１からは、文字が読みとられて文字列リスト３００ａが生成され、図３における文字列リスト３００ａにおいては各文字列に対して導出された評価値を併せて表示している。たとえは、文字列リスト３００ａ内の文字列”○○○傾向”については、投射画像３０１における文字の大きさ（”３”）と、出現頻度（”１”）の合計”４”ポイントとして評価値が決定され関連付けられている。

また、投射されるデータが更新され、投射画像が投射画像３０１から投射画像３０２に更新された場合、文字列リスト（文字列および各文字列の評価値）は更新される。具体的には、記憶部１２に保存される投射データが更新された時点で、評価が再度実行されて文字列および評価値が更新される。

例えば、投射画像３０２に更新されると、文字が読みとられて、リスト内の文字列の更新（追加）及び評価値の更新が行われ、文字列リスト３００ｂが生成される。図３における文字列リスト３００ｂにおいては、文字列”○○○傾向”については、投射画像３０２における文字の大きさ（”２”）と、出現頻度（”２”）の合計”４”ポイントとして評価値が決定され関連付けられている。

文字読取部１７は、評価値処理部１８により評価値が決定した各文字列とともに、投射データ内処理完了をリスト管理部２０に通知する。

ステップＳ１０４では、ポインタ検知部２３又はカーソル検知部２２は、撮像画像において、指示デバイスによる指示マーカーであるポインタ又はマウスカーソルを検知したか否かを判定する。検知した場合は、Ｓ１０５に進み、検知しなかった場合はＳ１０６に進む。

すなわち、プレゼンテーションテータが、プレゼンテーション中に、投影画面の注目すべき領域に対して指示行動をすることがある。そこで、ポインタ検知部２３は、プレゼンテータによる指示に関する特定の事象としてポインタを検知する。また、カーソル検知部２２は、プレゼンテータによる指示に関する特定の事象として、投影制御を行っているパーソナルコンピュータ（ＰＣ）上（不図示）あるいはプロジェクタ上でのマウスカーソルを検知する。もちろん、指示棒の先端部を画像認識により検出するよう構成してもよい。

なお、上述のＳ１０４において、ポインタ又はマウスカーソルが検知された場合、各々の検知部より、指示された箇所の位置データとその指示の発生時期が、リスト管理部２０に通知される。なお、ここでは、画像処理部２１による画像処理により指示棒やレーザポインタの検知を行うことを想定している。具体的には、データ入力部１３により記憶部１２に保存された投射データと、画像撮像部１６で撮像され記憶部１２に保存された撮像画像とに対して、画像処理を行い比較を行うことで検知を行う。しかしながら、指示棒やレーザポインタの検知は、任意の周知の検知方法を用いることが可能である。

また、マウスカーソルの検知は、例えば、画像撮像部１６で撮像されて記憶部１２に保存された画像のフレーム間差分を画像処理部２１で行うことで、変化のある部分を検出して行うことを想定している。しかしながら、マウスカーソルの検知についても、任意の周知の検知方法を用いることが可能である。

ステップＳ１０５では、ポインタ検知部２３やカーソル検知部２２より指示された箇所の位置データを受信したリスト管理部２０は、文字読取部１７に対し、文字列リスト内の対応する文字列を特定するよう依頼する。具体的には、リスト管理部２０は、文字読取部１７に対し、ポインタ又はマウスカーソルで指示された箇所の位置データとその指示の発生時期を通知し、対応する文字列の特定を依頼する。

リスト管理部２０より特定処理を依頼された文字読取部１７は、指示された箇所の位置データとその指示の発生時期に対応する文字列を、記憶部１２の投射データを基に特定する。そして、文字読取部１７は、評価値処理部１８に対し、当該文字列の評価値更新処理の実行を依頼する。具体的には、文字列の評価値にプレゼンテータ指示ポイント（例えば”５”）を加算するよう評価値処理部１８に依頼する。そして、評価値処理部１８は、例えばポインタやマウスカーソルの指示する文字列の評価値を更新する。

図４は、ポインタやマウスカーソルの指示による、抽出された文字列と評価値の変化を例示的に示す図である。投射画像４０１は、投射画像３０１に対してレーザポインタの操作によるポインタ４０４が併せて表示されている画像を示している。また、投射画像４０２は、投射画像３０２に対してマウス操作によるマウスカーソル４０５が併せて表示されている画像を示している。

投射画像４０１からは、文字列リスト３００ａが更新され文字列リスト４００ａが生成される。具体的には、文字列”ＸＸＸ旅行傾向”についてプレゼンテータ指示ポイント（”５”）が加算される。また、Ｓ１０９で後述するが、更新の結果、文字列”ＸＸＸ旅行傾向”の評価値が最も高くなるため、ソートの結果、文字列リスト４００ａにおける先頭の文字列として設定されている。

また、投射画像４０２からは、文字列リスト３００ｂが更新され文字列リスト４００ｂが生成される。具体的には、文字列”○○○Ｎａｔｉｏｎａｌ Ｐａｒｋ”についてプレゼンテータ指示ポイント（”５”）が加算される。更に、Ｓ１０９で後述するが、更新の結果、文字列”○○○Ｎａｔｉｏｎａｌ Ｐａｒｋ”の評価値が最も高くなるため、ソートの結果、文字列リスト４００ｂにおける先頭の文字列として設定されている。

ステップＳ１０６では、文字読取部１７は、評価値が更新された文字列リストを記憶部１２に保存する。また、文字読取部１７は、投射データ内処理完了をリスト管理部２０に通知する。リスト管理部２０は、文字読取部１７からの各文字列と投射データ内処理完了を受信するとＳ１０７に進む。なお、リスト管理部２０は、投射データ内処理完了を受信しない間は、Ｓ１００〜Ｓ１０５の処理を繰り返す。

ステップＳ１０７では、リスト管理部２０は、受信した文字列の文字列リストが作成されているかを判定する。作成されている場合はＳ１０９に進み、文字列リストが作成されていないと判定された場合はＳ１０８に進む。ステップＳ１０８では、リスト管理部２０は、受信した文字列のリスト形式のデータを作成し、文字列リストとして記憶部１２に保存する。

ステップＳ１０９では、リストソート部１９は、リスト管理部２０よりソート依頼を受け、文字列リスト内の文字列を、評価値をキーにしてソートを実行する。リストソート部１９は、ソートが終わった文字列リストを記憶部１２に保存し、ソート完了通知をリスト管理部２０に通知する。

リストソート部１９からのソート完了通知を受信したリスト管理部２０は、データ出力部１４を介して、次の処理を実行する。

ステップＳ１１０では、リスト管理部２０は、記憶部１２に保存された文字列リストの更新の有無を判断する。記憶部１２に保存された文字列リストが、更新されていなければ、Ｓ１１１に進む。記憶部１２に保存された文字列リストが、更新されていれば、Ｓ１１２に進む。ステップＳ１１１では、リスト管理部２０は、データ入力部１３での記憶部１２に保存される投射データの更新を待って、ステップＳ１００に戻る。

ステップＳ１１２では、制御部１１は、記憶部１２に保存された文字列リスト（文字列情報）をユーザ操作端末２に送信する。ステップＳ１１３では、制御部１１は、プレゼン終了指示があるまで、上述の処理を繰り返し実行する。なお、本実施形態では、文字列リストが生成され、送信される場合の例を中心に説明しているが、文字列と評価値とが対応づけられていれば、その形式はリストに限らない。

図７は、第１実施形態におけるユーザ操作端末２であるタブレット端末の動作を示すフローチャートである。

ステップＳ１２１では、データ入力部２７は、プロジェクタ１のデータ出力部１４から出力された文字列リスト（文字列情報）を受信する。なお、上述のように、プロジェクタ１は、投影画像の更新に伴い文字列リストを更新し、更新された文字列リストはリアルタイムにユーザ操作端末２に送信される。

ステップＳ１２２では、制御部２５は、受信した文字列リストの各文字列に読み仮名があるかを判断する。第１実施形態では、ＯＣＲで画像の形状から文字をテキスト化している為、漢字等の場合に現時点では読み仮名は判明していないとする。なお、文字列リストの各文字列に読み仮名がある場合の処理（Ｓ１２４）については、後述の第２実施形態で説明するが、例えば日本語変換システムにおけるユーザ辞書への登録処理に相当する処理である。

ステップＳ１２３では、制御部２５は、読み仮名が付加されていないと判断した文字列リストをそのまま記憶部２６に保存する。

ステップＳ１２５では、制御部２５は、操作入力部２８を介した文字入力において、文字列リスト参照による入力補助が必要か否かを判断する。この判断は、例えば議事録作成のためのアプリケーションプログラムの起動を検出することにより判断してもよいし、ユーザからの明示的な指示を受け付けて判断するよう構成してもよい。入力補助が必要と判断した場合はＳ１２６に進む。

ステップＳ１２６では、制御部２５は、記憶部２６から文字列リストを読みだし、入力候補文字列として表示部２９に表示する。なお、文字列リストの評価値は、表示でも非表示でもよい。

図５は、ユーザ操作端末２であるタブレット端末における画面表示を例示的に示す図である。ユーザ操作端末２での表示部２９での表示の一例を示す図である。

図５では、入力文字列の候補リスト５１０が表示されている。ここでは、受信した文字列リストが文字列リスト５００に示すものであるとする。この場合、”○○○傾向”の評価値が文字列リスト５００内で最も高いため、文字列”○○○傾向”が候補リスト５１０の先頭に表示されている。例えば、文字列”○○○傾向”をユーザが選択することで、議事録作成のためのアプリケーションプログラムに対して文字列”○○○傾向”が入力される。なお、候補リスト５１０を表示する機能は、日本語変換ソフトウェアや、予測入力ソフトウェアに組み込む形で実装すると好適である。

ステップＳ１２７では、文字入力の操作が終了したか否かを判定し、操作の終了を検知すると、図７の処理を終了する。

以上説明したとおり第１実施形態によれば、プロジェクタにおいて、投射画像（投射データ）に基づく文字列リストを生成し、ユーザ操作端末に送信する。これにより、ユーザ操作端末において、ユーザは、投射画像に表示されている文字列を、より容易に入力することが可能となる。特に、投射画像内で使用されている複数の文字列それぞれに対して評価値を算出し、当該複数の文字列をソートした文字列リストを生成することにより、ユーザは、重要な文字列をより簡単に入力することが可能となる。また、リアルタイムに文字列リストを更新することにより、ユーザは、現在投射されている投射映像に対する議事録をより簡単に作成することが可能となる。

（第２実施形態）
本発明に係る情報処理装置の第２実施形態としてプロジェクタ１を例に挙げて以下に説明する。特に、投射画像を領域分割した後テキスト化を行う点、読み仮名を付与した単語列データを生成する点が第１実施形態と異なる。また、ユーザ操作端末２においては、受信した単語列データをユーザ辞書に登録して使用する点が第１実施形態と異なる。

＜装置構成＞
図８は、第２実施形態に係る情報処理システムの構成を示すブロック図である。当該情報処理システムは、主に、プロジェクタ１とユーザ操作端末２とを含む。なお、各装置のハードウェア構成は第１実施形態（図２）と同様であるため説明は省略する。

プロジェクタ１は、プレゼンテーション画像を投影する装置である。投射画像１０は、プロジェクタ１がスクリーンなどに投射した画像を例示的に示したものである。ユーザ操作端末２は、ユーザがプレゼンテーション記録（議事録）を作成するために使用する装置である。

以下では、第１実施形態（図１）と異なる機能部について説明を行う。図１における参照符号と同一の参照符号を有する機能部については第１実施形態とほぼ同様であるため説明は省略する。

具体的には、図８では、文字読取部１７が単語列読取部３２に変更になっている。また、リスト管理部２０が、文字列リストの代わりに単語列リストを管理する点が異なる。また、領域分割部３１及び付加部３３が新たに追加されている。

領域分割部３１は、投射データの領域分割を行う。以下の説明では、データ入力部１３から入力され記憶部１２に保存された投射データに対し領域分割処理を行うことを想定する。また、領域分割部３１は、各々の分割された領域での投射データ中のテキスト化を担当する。

単語列読取部３２は、領域分割部３１を使ってテキスト化された文字列を、１以上の文字列に切り分ける処理を行う。付加部３３は、単語列読取部３２によって切り分けられた文字列それぞれについて、読み仮名辞書を参照することにより読み仮名を検索し付加する機能部である。なお、読み仮名辞書は、記憶部１２に記憶されているものとする。

＜装置の動作＞
以下の説明では、図８に示すように、プロジェクタ１を用いたプレゼンテーションが行われている状況で、ユーザが、ユーザ操作端末２を用いて議事録を作成する事例について説明する。特に、プロジェクタ１が、投射したプレゼンテーション画像に基づいた単語列リストを生成し、ユーザ操作端末２であるＰＣ端末に単語列リストを送信する事例を示す。

図１１は、第２実施形態におけるプロジェクタ１の動作を示すフローチャートである。

ステップＳ２００では、画像撮像部１６は、撮像を開始し、撮像された画像を記憶部１２に記憶する。また、画像を記憶した際、当該画像の記録時刻をカーソル検知部２２及びポインタ検知部２３に通知する。プロジェクタ１のデータ入力部１３にて映像入力端子から入力されたデータは、プロジェクション部１５に送られて、スクリーンに投射される。 ステップＳ２０１では、データ入力部１３は、入力された投射データを記憶部１２に保存すると共に、領域分割部３１にデータ更新通知を通知する。領域分割部３１は、データ入力部１３からのデータ更新通知を受信すると、記憶部１２から投射データを読み出し、領域分割処理を行う。

図９は、投射された画像の領域分割処理を説明する図である。領域分割処理は、プロジェクタ１において、投射データ９００をテキスト化する前処理として実行される。図９では、投射データ９００の画像の各領域を、３つの領域種別（テキスト、グラフィック、写真）に基づいて、４つの領域に分割した例を示している。具体的には、投射データ９００は、テキスト領域９０１、テキスト領域９０２、グラフィック領域９０３、写真領域９０４として分割されている。

各領域に対して領域種別の情報を付加した投射データ９００を記憶部１２に保存する。データ入力部１３は、処理完了後、単語列読取部３２にデータ更新を通知する。なお、ここでは、データ入力部１３において取得された投射データ９００を対象として、領域分割及び文字の読み取りを行う形態について説明を行う。しかしながら、Ｓ２００で取得した撮像画像を対象として領域分割及び文字の読み取りを行う構成も可能である。ただし、一般には、投射データ９００を用いた方がより正確な領域分割及び文字の読み取りが可能である。

ステップＳ２０２では、単語列読取部３２は、各々の領域毎の領域情報に基づいて、文字読み取り処理を行う。また、文字列を文字区切り情報に基づいて１以上の単語列に分割し、領域毎に単語列を収集して、記憶部１２に保存する。ここでの文字区切り情報として、句読点や、構文解析による文字のつながり判定情報を用いる。

具体的には、データ入力部１３からのデータ更新通知を受信した単語列読取部３２は、記憶部１２から投射データを読み出し、付加された領域情報に基づいて、各々の領域毎に文字読み取り処理を行う。

例えば、テキスト領域に対しては、画像の２値化を行い、黒画素連結成分を囲む矩形などの画像的な情報を用いる方法の処理で文字切出しを行った後、文字認識を行う。

一方、グラフィック領域に対しては、エッジ強調等の画像フィルタを施した後、文字切出しと文字認識を行う。また、写真領域に対しては、濃淡値ヒストグラムの複数分割に基づく画像分解法や、複雑度など文字領域性評価尺度に基づく画像分解法などの画像処理を実行した後、文字切出しを行い、文字認識行う。

上述のように、領域情報を利用することで、画像全体としての文字画像のテキスト化率が向上させることが可能となる。

ステップＳ２０３では、単語列読取部３２は、付加部３３に対し、文字列に対する読み仮名の付与を依頼する。付加部３３は、記憶部１２に保存されたテキスト化された文字列に対して、記憶部１２に記憶された読み仮名辞書を参照することにより読み仮名を検索し付加する。そして、付加部３３は、読み仮名を付与した単語列として記憶部１２に保存し、単語化処理完了を単語列読取部３２に通知する。

ステップＳ２０４では、付加部３３からの単語化処理完了を受信した単語列読取部３２は、各単語列について、評価値処理部１８に評価値計算を依頼する。評価値計算依頼を受信した評価値処理部１８は、各々の単語列に対し、その単語列に対応する文字の大きさと、投射データ内における単語列の出現頻度（現在の投射データ及び過去の投射データにおける出現頻度）に応じて、評価値を決定し、記憶部１２に保存する。そして、評価値決定完了を単語列読取部３２に送信する。なお、評価値の決定詳細動作は、上述の第１実施形態と同様であるため説明を省略する。

Ｓ２０５〜Ｓ２０７は、第１実施形態（図６）におけるＳ１０４〜Ｓ１０６において「文字列」を「単語列」と読み替えたものと同様であるため説明は省略する。リスト管理部２２は、単語列読取部３２から投射データ内処理の完了を受信すると、単語列のリストデータを記憶部１２に保存すると共に、単語列リストのソートをリストソート部１９に依頼する。

ステップＳ２０８では、リストソート部１９は、リスト管理部２２よりソート依頼を受けると、単語列リストに含まれる単語列について、評価値の値と、読み仮名をキーにしてソートを実行する。例えば、読み仮名の先頭の文字毎に、評価値をキーにした降順ソートを行う。リストソート部１９は、ソートが終わった単語列リストを記憶部１２に保存し、ソート完了通知をリスト管理部２２に通知する。

Ｓ２０９〜Ｓ２１２は、第１実施形態（図６）におけるＳ１１０〜Ｓ１１３において「文字列」「文字列リスト」をそれぞれ「単語列」「単語列リスト」と読み替えたものと同様であるため説明は省略する。

なお、リスト管理部２２は、単語列リストをユーザ操作端末２に送信する際、単語列リストを、ユーザ操作端末２で利用可能な辞書形式に予め変換し単語辞書として送信してもよい。

図１２は、第２実施形態におけるユーザ操作端末２であるＰＣ端末の動作を示すフローチャートである。なお、Ｓ２２１〜Ｓ２２７は、第１実施形態（図７）におけるＳ１２１〜Ｓ１２７において「文字列」「文字列リスト」をそれぞれ「単語列」「単語列リスト」と読み替えたものと同様であるため説明は省略する。ただし、上述の第１実施形態の説明においてはＳ１２４（文字列リストの各文字列に読み仮名がある場合の処理）に進んだ場合の説明を省略したため、以下で説明する。

ステップＳ２２４では、制御部２５は、単語列リストを辞書化し、ユーザ辞書として記憶部２６に保存する。ここで、ユーザ辞書とは、例えば、日本語変換システムにおける、ユーザにより変換候補が登録された辞書を意味している。

既にユーザ辞書が存在している場合は、ユーザ辞書を更新する。例えば、単語列”Ｎａｔｉｏｎａｌ Ｐａｒｋ”は、読み仮名「なしょなるぱーく」として、単語列”ナイアガラの滝”は、読み仮名「ないあがらのたき」としてユーザ辞書に登録する。なお、単語列リストを予め辞書の形式で受信した場合は、新たなユーザ辞書として設定するか、あるいは、既存のユーザ辞書と結合するよう構成するとよい。

ステップＳ２２５では、制御部２５は、操作入力部２８を介した文字入力において、文字列リスト参照による入力補助が必要か否かを判断する。この判断は、例えば議事録作成のためのアプリケーションプログラムの起動を検出することにより判断してもよいし、ユーザからの明示的な指示を受け付けて判断するよう構成してもよい。入力補助が必要と判断した場合はＳ２２６に進む。

ステップＳ２２６では、制御部２５は、記憶部２６からユーザ辞書を読みだし、入力候補文字列として表示部２９に表示する。なお、単語列リストの評価値は、表示でも非表示でもよい。なお、Ｓ２２３を介してＳ２２６に来た場合は、保存した単語列リスト内の単語列を表示する。

図１０は、文字入力支援の一例としての文字列候補表示を例示的に示す図である。ここでは、入力補助として、ユーザが一文字目を入力した時に、当該一文字目と同じ読み仮名を有する入力候補文字列をリストとしてプルダウンで表示する例を示している。

まず、入力文字１０００として”な”という一文字を入力する。この時点では、現在参照している１以上の辞書の中から読み仮名の先頭文字が”な”で始まる単語列が候補リスト１０１０として表示されている。ここでは、単語列”Ｎａｔｉｏｎａｌ Ｐａｒｋ”（読み仮名は「なしょなるぱーく」）の評価値が最も高く、候補リスト１０１０の先頭に表示されている。

以上説明したとおり第２実施形態によれば、プロジェクタにおいて、投射画像（投射データ）に基づく単語列リストを生成し、ユーザ操作端末に送信する。これにより、ユーザ操作端末において、ユーザは、投射画像に表示されている文字列を構成する単語列を、より容易に入力することが可能となる。また、読み仮名を含む単語列リストとして生成することにより、ユーザ操作端末において、既存の文字入力システムへ容易に組み込むことが可能となる。

（変形例）
上述の第１及び第２実施形態においては、外部情報処理装置であるユーザ操作端末２に文字列リストや単語列リストを送信する構成について説明したが、これらの形態に限定されることはない。すなわち、プロジェクタ自身で、文字列リストや単語列リストを用いて、文字入力の補助処理を行っても良い。

また、プロジェクタ１は、文字列リストや単語列リストを自身の記憶部に格納し、辞書サーバとして動作するよう構成してもよい。この場合、外部情報処理装置であるユーザ操作端末２は、辞書サーバとしてのプロジェクタ１にアクセスしながら動作することになる。また、文字列リストや単語列リストを、第３者装置である共有サーバやクラウドに送信し、ユーザ操作端末から利用する形態としてもよい。

さらに、上述の第１及び第２実施形態においては、文字列リストや単語列リストを、プロジェクタ単位で生成しているが、画像撮像部１６により、プレゼンテータ（人物）を特定し、プレゼンテータ単位で生成してもよい。

なお、上記の実施形態では、２次記憶媒体としてＨＤＤを用いる場合の例を中心に説明しているが、ＨＤＤに限ることなく、ＳＳＤや、ＳＤメモリーカード等のメモリ素子を用いた２次記憶媒体を用いてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ プロジェクタ； ２ ユーザ操作端末； １０ 投影画像； １７ 文字読取部； １８ 評価値処理部； ２０ リスト管理部； ２１ 画像処理部

Claims (13)

1. 投射装置により投射された投射画像から１以上の文字列を抽出する抽出手段と、
   前記投射画像における前記１以上の文字列それぞれの出現特徴に基づいて、該１以上の文字列それぞれに対する評価値を決定する決定手段と、
   前記１以上の文字列の入力支援に利用可能とすべく、前記１以上の文字列をそれぞれの評価値に関連付けた文字列情報を生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記生成手段は、前記それぞれの評価値に基づいて前記１以上の文字列をソートした前記文字列情報を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記文字列情報を外部装置へ送信する送信手段を更に有する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 文字列に対して読み仮名を付加する付加手段と、
   前記文字列情報を、前記抽出手段により抽出された１以上の文字列と該１以上の文字列それぞれに対して付加された読み仮名とを関連付けた辞書形式に変換する変換手段と、
   を更に有する
   ことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記出現特徴は、前記投射画像における文字列の大きさ及び出現頻度の少なくとも一方を含む
   ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記出現特徴は、前記投射画像における文字列に対する指示デバイスによる指示の有無を更に含む
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記投射装置は、
   画像を入力する入力手段と、
   前記入力手段により入力された画像を投射する投射手段と、
   を有し、
   前記抽出手段は、前記入力手段により入力された画像を前記投射画像として用い、前記１以上の文字列を抽出する
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記抽出手段は、前記入力手段により入力された画像内の各領域から、それぞれに対応する領域種別に応じた画像処理を施して文字列を抽出する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記抽出手段は、前記投射画像を撮像した撮像画像から、前記１以上の文字列を抽出する
   ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
10. 前記生成手段は、前記投射画像の更新に基づいて、前記抽出手段による文字列の抽出及び前記決定手段による評価値の決定を再度実行することにより前記文字列情報を更新する
    ことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 情報処理装置の制御方法であって
    投射装置により投射された投射画像から１以上の文字列を抽出する抽出工程と、
    前記投射画像における前記１以上の文字列それぞれの出現特徴に基づいて、該１以上の文字列それぞれに対する評価値を決定する決定工程と、
    前記１以上の文字列の入力支援に利用可能とすべく、前記１以上の文字列をそれぞれの評価値に関連付けた文字列情報を生成する生成工程と、
    を有することを特徴とする情報処理装置の制御方法。
12. 投射装置により投射された投射画像から１以上の文字列を抽出する抽出手段と、
    前記投射画像における前記１以上の文字列それぞれの出現特徴に基づいて、該１以上の文字列それぞれに対する評価値を決定する決定手段と、
    前記１以上の文字列の入力支援に利用可能とすべく、前記１以上の文字列をそれぞれの評価値に関連付けた文字列情報を生成する生成手段と、
    前記文字列情報を利用して、文字列の入力支援を行う入力支援手段と、
    を有することを特徴とする情報処理システム。
13. コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images