JP2016034060A - 画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】投影手段によって投影された投影画像の所定の領域に対して画像処理を指示することを容易にする画像処理装置を提供する。
【解決手段】画像処理装置は、投影手段によって投影面に所定の画像を投影する画像処理装置であって、前記投影面に投影された投影画像を撮像して得た撮像画像に基づいて、前記投影画像に対して指定された指定領域を判断する判断手段と、前記判断された指定領域の前記投影する所定の画像における位置を算出する算出手段と、前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行う画像処理手段と、を有する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラムに関する。

プロジェクタは、画像を拡大して投影することができることから、発表者等が同じ画像を複数の人に提示する、オフィスでの会議、各種プレゼンテーション、教育現場等の様々な状況で使われている。また、発表者によっては、プロジェクタによる画像の投影面にペンやマーカ等で説明を加えることがある。その際に、投影面に投影された投影画像がペンやマーカで説明を加える際の邪魔になってしまう場合がある。

これに関連する技術として、プロジェクタの本体又はリモコン等のカーソルボタンを用いて入力画像に対して領域を指定し、指定された領域の色を背景色に置換えることが可能なプロジェクタが知られている（例えば、特許文献１参照）。

特許文献１に開示された技術では、プロジェクタの入力操作部、又はリモコン等のカーソルボタンの操作により、プロジェクタを制御してメニュー画面を選択し、処理を行う領域の指定を行っていた。そのため、例えば、プロジェクタを用いて発表を行う利用者は、投影画像を確認しながら、プロジェクタに対して処理を行う領域を指定する操作を行うことになり、その操作性は必ずしも良いとは言えなかった。このように、投影手段によって画像を投影する画像処理装置（プロジェクタ等）を用いて発表を行う利用者が、投影された画像の所定の領域に対して画像処理を指示することには困難を伴っていた。

本発明の実施の形態は、上記問題点に鑑みてなされたものであって、投影手段によって投影された投影画像の所定の領域に対して画像処理を指示することを容易にする画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、投影手段によって投影面に所定の画像を投影する画像処理装置であって、前記投影面に投影された投影画像を撮像して得た撮像画像に基づいて、前記投影画像に対して指定された指定領域を判断する判断手段と、前記判断された指定領域の前記投影する所定の画像における位置を算出する算出手段と、前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行う画像処理手段と、を有する。

本発明の実施の形態によれば、投影手段によって投影された投影画像の所定の領域に対して画像処理を指示することを容易にする画像処理装置を提供することができる。

一実施形態に係る画像処理システムの構成の一例を示す図である。 一実施形態に係る指定領域の内部を置換した後の投影画像の例を示す図である。 一実施形態に係る画像投影装置のハードウェア構成例を示す図である。 一実施形態に係るコンピュータの構成例を示す図である。 第１の実施形態に係る画像変換部の機能構成図である。 第１の実施形態に係る画像変換部の処理の概要を説明するための図である。 第１の実施形態に係る画像比較手段、及び指定領域判断手段の処理を説明するための図である。 第１の実施形態に係る位置関係算出手段の処理を説明するための図である。 第１の実施形態に係る画素置換手段の処理を説明するための図である。 第１の実施形態に係るプレビュー処理の流れを示すフローチャートである。 第２の実施形態に係る画像変換部の機能構成部である。 第２の実施形態に係る領域補間手段の処理を説明するための図である。 第３の実施形態に係る画像処理システムの構成例を示す図である。 第３の実施形態に係る光指示具の例を示す図である。 第３の実施形態に係る画像変換部の機能構成図である。 第３の実施形態に係る画素の置換処理の流れを示すフローチャートである。 一実施形態に係る画像処理システムのその他の構成例を示す図である。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システムの構成＞
図１は、一実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム１００は、画像投影装置（プロジェクタ）１０１、ＰＣ（Personal Computer）１０２、投影面（スクリーン）１０３等を含む。画像処理システム１００は、例えば、会議システム等で好適に利用することができる。

画像投影装置１０１は、例えば、画像投影装置１０１に接続されたＰＣ１０２等の情報端末から投影する所定の画像（例えば、ＰＣ１０２で表示している画像）を取得し、取得した画像を、投影レンズ１０７を介して投影面１０３に投影する。また、本実施の形態に係る画像投影装置１０１は、投影面１０３、及び投影面１０３に投影された投影画像１０４を撮像するカメラ１０８を備えている。このカメラ１０８は、画像投影装置１０１に内蔵されたものであっても良いし、画像投影装置１０１の外部に設けられたものであっても良い。尚、画像投影装置１０１は、画像処理装置の一例である。

画像処理システム１００の利用者は、例えば、投影画像１０４にコメントを書き込むためにスペースが必要な場合等、投影画像１０４に削除したい領域がある場合、ペンや、ペンライト等の指示具１０５で削除したい指定領域１０６を投影面１０３に描く。指定領域１０６が描かれた投影面１０３及び投影画像１０４は、カメラ１０８によって撮像され、画像投影装置１０１に入力される。

画像投影装置１０１は、カメラ１０８によって撮像された撮像画像に基づいて、指示具１０５で指定された指定領域１０６の内部を、例えば、所定の色（背景色等）に置換する。これにより、投影面１０３に投影された投影画像１０４の指定された指定領域１０６にコメント等を書き込むためのスペースが作成される。尚、指定領域１０６の内部を所定の色に置換する処理は、画像処理の一例である。例えば、画像投影装置１０１は、指定領域１０６の色調を変更したり、フォントや線の色を変更したりすること等によって指定領域１０６内部の情報を目立たないように画像処理するものであっても良い。

また、画像処理システム１００の利用者は、カメラ１０８によって取得された画像を、任意のタイミングでＰＣ１０２に保存することができる。この画像は、別のファイル名で保存されるため、ユーザは、ＰＣ１０２の記憶容量が許す限りの画像をＰＣ１０２に保存することができる。

図２は、一実施形態に係る指定領域の内部を置換した後の投影画像の例を示す図である。図２の例では、投影画像１０４に描かれた指定領域１０６の内部の画素値が背景色に置換されている。画像処理システム１００の利用者は、背景色に置換された指定領域１０６の内部に、コメント等の情報を好適に追記することができる。また、コメントが追記された投影画像１０４は、カメラ１０８によって撮像され、ＰＣ１０２に保存することができる。

このように、本実施形態に係る画像処理システム１００によれば、画像投影装置１０１を用いて発表を行う利用者は、投影画像１０４の指定領域１０６に対して所定の画像処理（例えば背景色への置換）を容易に指示することができる。

＜ハードウェア構成＞
（画像投影装置のハードウェア構成）
図３は、一実施形態に係る画像投影装置のハードウェア構成図である。画像投影装置１０１は、内部バス３１１に接続されたＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３、Ｉ／Ｆ（Interface）３０４、光学エンジン３０５、及び画像変換部３０６を有する。

ＣＰＵ３０１は、ＲＯＭ３０３等に記憶されたプログラムを実行することにより、画像投影装置１０１全体を制御する演算装置である。

ＲＡＭ３０２は、ＣＰＵ３０１のワークエリアとして用いられる不揮発性のメモリである。また、ＲＡＭ３０２は、ＰＣ１０２から入力された画像データ、カメラ１０８によって撮像された撮像画像データ、指定領域１０６の画素値が置換された後の画像データ等、各種画像データを記憶する。

ＲＯＭ３０３は、プログラムを記憶する不揮発性のメモリであり、例えば、フラッシュＲＯＭ等により構成される。

Ｉ／Ｆ３０４は、周辺バス、ＤＭＡＣ（Direct Memory Access Controller）、バスコントローラ等であり、Ｉ／Ｆ３０４に接続された各インタフェースが受信したデータの優先度を調停して、ＲＡＭ３０２に記憶する。また、Ｉ／Ｆ３０４に接続された各インタフェースにデータを出力する。図３の例では、Ｉ／Ｆ３０４には、ネットワークＩ／Ｆ３０７、外部ストレージＩ／Ｆ３０８、映像ケーブルＩ／Ｆ３０９、カメラＩ／Ｆ３１０等が接続されている。

ネットワークＩ／Ｆ３０７は、例えば、有線／無線ＬＡＮ（Local Area Network）等により画像投影装置１０１をネットワークに接続し、データの送受信を行うためのインタフェースである。外部ストレージＩ／Ｆ３０８は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、外付けのＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）の外部ストレージ３１２を接続するためのインタフェースである。映像ケーブルＩ／Ｆ３０９は、ＲＧＢケーブル、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等の映像インタフェースを接続するインタフェースである。

カメラＩ／Ｆ３１０は、カメラ１０８を接続するためのインタフェースである。カメラ１０８は、投影面１０３に投影された投影画像１０４を撮像するための撮像手段である。カメラ１０８は、画像投影装置１０１に内蔵されていても良いし、画像投影装置１０１に外付けされるものであっても良い。また、カメラ１０８が外付けされている場合、カメラ１０８によって撮像された撮像画像は、映像ケーブルＩ／Ｆ３０９や、ネットワークＩ／Ｆ３０７等を介して入力されるものであっても良い。

光学エンジン３０５は、例えば、ランプ、ＬＥＤ（Light Emitting Diode）等の投影用の光源、ＤＭＤ（Digital Mirror Device）、ＬＣＤ（Liquid Crystal Display）等の表示素子、及び制御部等を含む。光学エンジン３０５から出力された画像は、投影レンズ１０７を介して、投影面１０３に投影画像１０４として投影される。投影レンズ１０７は、プロジェクタの仕様に応じて、固定焦点レンズ又はズーム用レンズ等の他、焦点距離、明るさ、画角等、仕様に沿ったものが用いられる。

画像変換部３０６は、カメラ１０８で撮像された投影面１０３及び投影画像１０４の撮像画像に基づいて指定領域１０６を判断し、投影画像１０４の指定領域１０６に所定の画像処理を行う。画像変換部３０６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable gate array）等の専用回路で構成され、所定のプログラムが実行可能となるように構成されている。尚、画像変換部３０６の機能は、例えば、ＣＰＵ３０１等で動作するプログラムによって実現されるものであっても良い。

（ＰＣのハードウェア構成）
ＰＣ１０２は、一般的なコンピュータの構成を有する情報処理装置である。

図４は、一実施形態に係るコンピュータのハードウェア構成例を示す図である。コンピュータ４００は、例えば、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ストレージ部４０４、入力装置４０５、表示装置４０６、外部Ｉ／Ｆ４０７、通信Ｉ／Ｆ４０８、バス４０９等を有する。

ＣＰＵ４０１は、ＲＯＭ４０３やストレージ部４０４等からプログラムやデータをＲＡＭ４０２上に読み出し、処理を実行する演算装置である。ＲＡＭ４０２は、ＣＰＵ４０１のワークエリア等として用いられる不揮発性のメモリである。ＲＯＭ４０３は、例えば、コンピュータ４００の起動時に実行されるＢＩＯＳ（Basic Input / Output System）や、各種の設定等を記憶する不揮発性のメモリであり、例えば、フラッシュＲＯＭ等で構成される。

ストレージ部４０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。

入力装置４０５は、例えば、キーボード、マウス、タッチパネル等により実現され、コンピュータ４００に各操作信号を入力するために用いられる。表示装置４０６は、例えば、ＬＣＤ（Liquid Crystal Display）ディスプレイ等により実現され、コンピュータ４００による処理結果等を表示する。

外部Ｉ／Ｆ４０７は、外部装置とのインタフェースである。外部装置には、例えば、画像投影装置１０１、外付けのカメラ、各種記録媒体等が含まれる。

通信Ｉ／Ｆ４０８は、コンピュータ４００をネットワークに接続するインタフェースである。これにより、コンピュータ４００は通信Ｉ／Ｆ４０８を介してデータの送受信を行うことができる。バス４０９は、上記各構成に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。

＜機能構成＞
［第１の実施形態］
図５は、第１の実施形態に係る画像変換部の機能構成図である。画像変換部３０６は、画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６等を含む。

撮像手段５０１は、投影面１０３、及び投影面１０３に投影された投影画像を撮像する手段であり、例えば、図３のカメラ１０８等によって実現される。

画像比較手段５０３は、撮像手段５０１によって撮像された少なくとも２つの撮像画像の差分を抽出する。尚、画像比較手段５０３は、指定領域判断手段５０４に含まれていても良い。

指定領域判断手段（判断手段）５０４は、投影面１０３に投影された投影画像を撮像手段５０１によって撮像して得た撮像画像に基づいて、投影画像に対して指定された指定領域１０６を判断する。本実施の形態では、指定領域判断手段５０４は、画像比較手段５０３によって抽出された少なくとも２つの撮像画像の差分に基づいて、指定領域１０６が指定されたことや、指定された指定領域１０６等を判断する。

位置関係算出手段（算出手段）５０５は、指定領域判断手段５０４によって判断された指定領域１０６の、投影手段５０２が投影する画像における位置を算出する。例えば、位置関係算出手段５０５は、指定領域判断手段５０４によって判断された指定領域１０６と、投影手段５０２が投影する画像との位置関係を算出する。

画素置換手段５０６は、位置関係算出手段５０５によって算出された位置に基づいて、指定された指定領域１０６に対応する投影する画像の画素を置換する。例えば、画素置換手段５０６は、上記投影対象となる画像の画素のうち、上記指定された指定領域１０６に対応する画素の画素値を、所定の値、例えば、背景色や、指定された色等に置換する。尚、画素値を所定の値に置換する処理は所定の画像処理の一例であり、画素置換手段５０６は、画像処理手段の一例である。

上記の画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６等は、例えば、図３の画像変換部３０６で動作するプログラムや、画像変換部３０６に含まれるハードウェア等によって実現される。或いは、画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６等は、図３のＣＰＵ３０１で動作するプログラム等によって実現されるものであっても良い。

投影手段５０２は、画素置換手段５０６によって、投影する画像の指定領域１０６の画素が置換えられた場合、画素が置換えられた後の投影する画像を投影面１０３に投影する。投影手段５０２は、例えば、図３の光学エンジン３０５、投影レンズ１０７等によって実現される。

＜処理の流れ＞
（処理の概要）
図６は、第１の実施形態に係る画像変換部の処理の概要を説明するための図である。

ここで、投影手段５０２が投影する画像は、例えば、ＰＣ１０２から入力された画像データ等であり、画像投影装置１０１のＲＡＭ３０２の所定エリアに記憶されているものとする。また、本実施の形態では、指定領域１０６は閉じた曲線によって指定されるものとする。また、画像比較手段５０３は、指定領域判断手段５０４に含まれているものとして説明を行う。

ステップＳ６１において、指定領域判断手段５０４は、撮像手段５０１によって撮像された少なくとも２つの撮像画像の差分を計算することにより、指定領域１０６を指定する曲線のみが描かれた領域データ６０４を抽出する。

ステップＳ６２において、位置関係算出手段５０５は、投影手段５０２が投影する画像データ６０３と、指定領域判断手段５０４によって抽出された領域データ６０４との位置関係を算出する。

ステップＳ６３において、画素置換手段５０６は、位置関係算出手段５０５によって算出された位置関係に基づいて、投影する画像データ６０３の指定領域１０６に対応する画素の画素値を所定の値に置換する。また、画素置換手段５０６は、置換後の画像データ６０５を投影手段５０２が投影する画像として、ＲＡＭ３０２の所定エリアに記憶する。

ステップＳ６４において、投影手段５０２は、ＲＡＭ３０２に記憶された、置換後の画像データ６０５を、新たな投影する画像として投影面に投影する。

次に、画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６の具体的な処理内容の例について説明する。

（画像比較手段、及び指定領域判断手段の処理）
図７は、第１の実施形態に係る画像比較手段、及び指定領域判断手段の処理を説明するための図である。

画像比較手段５０３は、第１画像６０１と第２画像６０２の複数の画素、好ましくは全ての画素について、同一位置の画素値の差をそれぞれ計算し、その差が予め定められたしきい値を超える画素を抽出する。

図７のように、第１画像６０１が指定領域１０６を描く前の画像であり、第２画像６０２が指定領域１０６を描いた後の画像である場合、指定領域判断手段５０４は、画像比較手段５０３の抽出結果より、指定領域１０６を示す領域データ６０４を容易に判断することができる。

また、第１画像６０１と第２画像６０２の同一位置の画素値の差が、予め定められたしきい値を超える画素がない場合、指定領域判断手段５０４は、指定領域１０６が指定されていないと判断することができる。

一方、例えば、第２画像６０２が、指定領域１０６を描いている途中で撮像された場合等、画像比較手段５０３によって抽出された画素が閉じた曲線でないとき、指定領域判断手段５０４は、例えば、所定の時間経過後の撮像画像により第２画像６０２を更新する。また、画像比較手段５０３は、第１画像６０１と、更新された第２画像６０２の同一位置の画素値の差を再計算する。例えば、このような処理を繰り返し、指定領域１０６を示す領域データ６０４が閉じた曲線となった時点で、指定領域判断手段５０４は、指定領域１０６が指定されたと判断し、指定領域１０６を示す領域データ６０４を判断（取得）する。

別の一例として、指定領域判断手段５０４は、所定の時間間隔で撮像される３つ以上の撮像画像の同一位置の画素値の差に基づいて、指定領域１０６が指定されたことを判断し、指定された指定領域１０６を示す領域データ６０４を取得するものであっても良い。

また、発光部を有するペンライト等で指定領域１０６を描く場合、動画のように短い時間で継続的に撮像した複数の画像を合成した画像や、カメラ１０８の露光時間を長くすることで光の軌跡を撮影した画像等により、領域データ６０４を判断することができる。

上記処理により、指定領域判断手段５０４によって判断（取得）された領域データ６０４は、指定領域１０６を指定する閉曲線を含む。

（位置関係算出手段の処理）
図８は、第１の実施形態に係る位置関係算出手段の処理を説明するための図である。位置関係算出手段５０５は、指定領域判断手段５０４によって判断された指定領域１０６を示す領域データ６０４が、投影する画像のどの位置に描かれているかを特定する。

図８の（ａ）に示すように、撮像手段５０１によって撮像された画像８０１には、投影手段５０２による投影画像８０２の他に、投影面１０３等の背景部分８０３も含まれる。そのため、位置関係算出手段５０５は、まず、撮像された画像８０１から背景部分８０３を切り取り、投影画像８０２のみを取り出す。

撮像された画像８０１から背景部分８０３を切り取るためには、投影画像８０２と背景部分８０３との境界を判断する。例えば、背景部８０３は、ホワイトボード等の投影面１０３であり同色であるものとし、投影画像８０２は矩形であるものとした場合、投影画像８０２と背景部８０３には、水平、垂直方向にエッジが存在する。

そのため、各画素に対する水平、垂直方向のエッジ量を取得する。エッジ量とは、対象画素にエッジ検出フィルタを用いた後の出力値を示し、画素毎に算出される。エッジ検出フィルタには、様々な種類が考えられるがここではその種類を限定しない。

各画素のエッジ量を取得した後、水平方向のエッジ量の和を全ての行に対して計算し、和の値が大きい行を上位から所定の数だけ記憶する。同様に垂直方向のエッジ量の和を全ての列に対して計算し、和の値が大きい列を上位から所定の数だけ記憶する。

上記の記憶した所定の数の行の中から、最も行間が開く２行を選択し、選択された２行を、投影画像８０２と背景部分８０３との上下の境界とする。同様に、上記の記憶した所定の数の列の中から、最も列間が開く２行を選択し、選択された２行を、投影画像８０２と背景部分８０３との左右の境界とする。

上記境界に沿って画像を取り出すことにより、撮像された画像８０１から、投影画像８０２を取り出すことができる。

次に、撮像手段５０１によって撮像された投影画像８０２と、投影手段５０２が投影する元画像は、大きさが異なるため、相対的な位置関係を知るために比を算出する。

図８の（ｂ）に示すように、撮像された画像８０１から取り出した投影画像８０２の幅をＷ、高さをＨとし、指定領域１０６を示す領域データ６０４の各画素の座標を（ｘ，ｙ）とする。この場合、水平方向の比はｘ／Ｗ、垂直方向の比はｙ／Ｈで算出される。位置関係算出手段５０５は、指定領域１０６を示す領域データ６０４の各画素について比の算出を行う。

また、画像投影装置１０１のＲＡＭ３０２の所定エリアに記憶されている、投影手段５０２が投影する画像データ６０３の水平方向の画像サイズ（幅）をｗ、垂直方向の画像サイズ（高さ）をｈとする。この場合、投影手段５０２が投影する画像データ６０３における、指定領域１０６に対応する領域データ６０４の各画素の座標は、（ｘｗ／Ｗ，ｙｈ／Ｈ）で表される。これにより、位置関係算出手段５０５は、撮像された画像８０１に含まれる指定領域１０６を示す領域データ６０４の各画素の、撮像手段５０１が投影する画像における位置を特定することができる。

（画素置換手段の処理）
図９は、第１の実施形態に係る画素置換手段の処理を説明するための図である。画素置換手段５０６は、投影手段５０２が投影する画像データ６０３（置換前の画像）の指定された指定領域１０６に対応する画素の画素値を所定の値に置換する。

所定の値の一例として、例えば、図９の（ｂ）に示すように、領域９０１の内部の画素を、投影する画像データ６０３の背景色に置換する。この場合、例えば、領域９０１の境界に存在する画素値の頻度を算出し、最も頻度の高い画素値に、領域９０１内部の画素の画素値を置換する。

また、所定の値の別の一例として、例えば、図９の（ｃ）に示すように、領域９０１の内部の画素を任意の色に置換する。この場合、予め設定された指定色の画素値に、領域９０１内部の画素の画素値を置換する。

尚、上記の画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６の処理は一例であって、本発明の範囲を限定するものではない。画像比較手段５０３、指定領域判断手段５０４、位置関係算出手段５０５、画素置換手段５０６は、他の処理によって図６に示す各機能を実現するものであっても良い。

（プレビュー処理）
図１０は、第１の実施形態に係るプレビュー処理の流れを示すフローチャートである。

好ましくは、画像投影装置１０１は、利用者が描いた指定領域１０６に対応する画素の指定の色等への置換を確定する前に、プレビュー画面を表示する機能を有することが望ましい。これにより、利用者の意図と異なる領域に対して画像処理（置換）が行われることを低減させることができる。

図１０のステップＳ１００１において、例えば、図６に示す処理により、投影面１０３に指定された指定領域１０６に基づいて、指定領域１０６内の画素を所定の色に置換する。

ステップＳ１００２において、ステップＳ１００１で画素を置換した画像をプレビューとして表示（投影）する。このとき、画素を置換する前の画像は、メモリ（ＲＡＭ３０２等）上に蓄積しておく。

ステップＳ１００３において、プレビュー通りに画素を置換するか否かを選択する画面を表示させること等によりユーザに選択を促し、ユーザの入力に応じて処理を分岐する。利用者は、プレビュー表示通りに置換を行うときには肯定を示す操作（例えば、「ＯＫ」を選択）を行い、意図した領域と異なるときには否定を示す操作（例えば、「キャンセル」を選択）を行う。

ステップＳ１００３において、否定を示す操作が行われた場合、ステップＳ１００４において、画素の置換をキャンセルし、メモリ上に蓄積した画素を置換する前の画像を投影して、領域の書き直しを行う。領域の書き直し後は、ステップＳ１００１に戻って処理を続ける。

一方、ステップＳ１００３において、肯定を示す操作が行われた場合、ステップＳ１００５において、プレビュー表示した画像を投影する。

上記処理により、利用者が誤って領域を指定してしまった場合や、画像処理システム１００が領域を誤認識した場合等、利用者の意図と異なる画素の置換を容易に元に戻すことができるようになる。

［第２の実施形態］
本実施形態では、利用者が指定領域１０６を指定する曲線が、描画を終えた後に閉じていない場合の補間処理について説明する。

図１１は、第２の実施形態に係る画像変換部の機能構成図である。本実施の形態に係る画像変換部３０６は、図５に示す第１の実施形態に係る画像変換部３０６の構成に加えて、領域補間手段１１０１を有している。尚、領域補間手段１１０１以外の構成については、第１の実施形態と同様なので、ここでは差分を中心に説明する。

図１２は、第２の実施形態に係る領域補間手段の動作を説明するための図である。曲線１２０１は、画像処理システム１００の利用者（例えば発表者）が、指定領域１０６を指定することを意図して描かれたものであるが、描画が正確でなかったため、曲線１２０１は閉じていない状態で描画を終えたものとする。

尚、曲線１２０１が描画中であるか、描画が終了しているかは、例えば、所定の時間経過後に曲線１２０１が変化しているか否かによって判断することができる。領域補間手段１１０１は、例えば、描画された曲線１２０１が所定の時間以上に亘って開いていると判断した場合、曲線１２０１を閉曲線に補間する。

図１２の点線ａは、曲線１２０１の始点と終点との間を直線で補完する場合の例を示している。尚、曲線１２０１の始点と終点との間を補完する線は曲線であっても良い。

図１２の点線ｂは、曲線１２０１の端点から、指定領域１０６の面積が最大となるように直線で補完する場合の例を示している。

例えば、領域補間手段１１０１は、曲線１２０１の２つの端点のそれぞれを始点として、所定の角度（例えば１度単位）で複数の直線を引き、それぞれの直線で補間した場合の領域内の面積を計算する。尚、所定の角度で複数の直線を引くのは好適な一例であって、要は曲線１２０１の２つの端点と、曲線１２０１上の複数の点との間で直線を引き、それぞれの直線で曲線１２０１を閉曲線に補間した場合の領域内の面積を計算するものであれば良い。

例えば、計算した面積の値をメモリに記憶し、次の直線を引いたときにメモリに記憶された値と比較し、計算された値の方が大きい場合に、メモリに記憶された値を更新する。これにより、領域内の面積が最大となる曲線１２０１上の点を特定することができる。

領域補間手段１１０１は、領域の面積が最大となる場合の曲線１２０１上の点と、曲線１２０１の端点との間を直線又は曲線で補完する。

図１２の点線（ｃ）は、曲線１２０１の端点から、曲線１２０１を延長する直線により、曲線１２０１を補間する場合の例を示す。この直線は、例えば、曲線１２０１の端点と、その端点の近傍の点（例えば、端点に隣接する点）を通る方向に作成される。

尚、上記補間方法は一例であり、上記以外の方法により開曲線を閉曲線に補間するものであっても良い。

上記処理により、利用者が指定領域１０６を指定する曲線が、描画を終えた後に閉じていない場合でも、指定領域１０６を指定する曲線を補間して、指定領域１０６を特定することができるようになる。

［第３の実施形態］
（システム構成）
図１３は、第３の実施形態に係る画像処理システムの構成例を示す図である。図１に示した画像処理システム１００では、投影画像１０４に削除したい領域がある場合、ペンや、ペンライト等の指示具１０５で削除したい指定領域１０６（閉曲線）を投影面１０３に描くものとして説明を行った。しかし、指定領域１０６を閉曲線で指定するのは一例であって、他の方法によって、投影面１０３に領域を指定するものであっても良い。

本実施の形態では、ペン、ペンライト等の指示具１０５に代えて、例えば、レーザーポインタ等の光指示具１３０１によって、指定領域を指定する場合の例について説明する。

図１３において、利用者が光指示具１３０１から出力される光を用いて、投影面上に光点を表示させると、画像投影装置１０１は、カメラ１０８によって撮像された撮像画像に基づいて、表示された光点の周囲にカーソル１３０２を表示する。これにより、利用者は、光指示具１３０１を用いて、投影面１０３上の任意の場所にカーソル１３０２を表示させ、移動させることができる。好ましくは、このカーソル１３０２の大きさは、例えば、利用者の操作や、画像投影装置１０１の設定等により変更可能であることが望ましい。

また、画像投影装置１０１は、利用者により所定の操作（例えば置換ボタンの押下）が行われると、カーソル１３０２内の領域を指定領域と判断し、指定領域内の画素を所定の色（画素値）に置換する。また、画像投影装置１０１は、利用者により別の所定の操作（例えば回復ボタンの押下）が行われると、カーソル１３０２内の置換された画素を、置換する前の画素値に戻すことができる。

（光指示具の構成）
図１４は、第３の実施形態に係る光指示具の例を示す図である。光指示具１３０１は、例えば、光源部１４０１、光照射ボタン１４０２、ダイヤル１４０３、置換ボタン１４０４、回復ボタン１４０５等を有する。

光源部１４０１は、光点を表示するための光源であり、例えば、半導体レーザやＬＥＤ（Light Emitting Diode）等の半導体光源等によって実現される。光照射ボタン１４０２は、光源部１４０１の点灯／消灯を制御するボタンである。ダイヤル１４０３は、カーソル１３０２のサイズを変更するために用いられる。置換ボタン１４０４は、カーソル１３０２内の画素の置換を指示するためのボタンである。回復ボタン１４０５は、カーソル１３０２内の置換された画素値の回復を指示するためのボタンである。

尚、光指示具１３０１に対して行われた操作の少なくとも一部は、例えば、赤外線通信、近距離無線通信、無線ＬＡＮ、又は有線ケーブル等を用いて画像投影装置１０１、ＰＣ１０２等に通知されるものとする。

（機能構成）
図１５は、第３の実施形態に係る画像変換部の機能構成図である。本実施の形態に係る画像変換部３０６は、図５に示す第１の実施形態に係る画像変換部３０６の画像比較手段５０３に代えて、光指示検出手段１５０１、カーソル表示手段１５０２を有する。また、図５に示す第１の実施形態に係る画像変換部３０６の画素置換手段５０６に代えて、画素置換／回復手段１５０５を有する。

光指示検出手段１５０１は、撮像手段５０１によって撮像された、投影面１０３、及び投影画像１０４を撮像した撮像画像に基づいて、光指示具１３０１によって投影面１０３に表示された光点を検出する。また、検出された光点の、投影手段５０２が投影する画像に対する位置を、例えば、第１の実施形態の位置関係算出手段５０５による処理と同様にして算出する。

カーソル表示手段１５０２は、画像の光指示検出手段１５０１によって算出された光点の位置の周囲に所定のカーソル１３０２を表示させる。尚、図１３の例では、カーソル１３０２の形状が矩形であるが、カーソル１３０２の形状は矩形以外の形状であっても良い。

指定領域判断手段１５０３は、例えば、光指示具１３０１の置換ボタン１４０４、回復ボタン１４０５等が押下されたことを検知し、そのときのカーソル１３０２の範囲内を指定された指定領域として判断（特定）する。

位置関係算出手段１５０４は、指定領域判断手段１５０３によって判断された指定領域の、投影手段５０２が投影する画像における位置を算出する。位置関係算出手段１５０４は、例えば、第１の実施形態の位置関係算出手段５０５による処理と同様にして算出される。

画素置換／回復手段１５０５は、光指示具１３０１の置換ボタン１４０４が押下された場合、投影手段５０２が投影する画像のカーソル１３０２に対応する領域の画素を所定の画素値に置換する。また、画素置換／回復手段１５０５は、光指示具１３０１の回復ボタン１４０５が押下された場合、投影手段５０２が投影する画像のカーソル１３０２に対応する領域の置換された画素を元の画素値に回復させる。尚、画素置換／回復手段１５０５は、画像処理手段の一例である。

（処理の流れ）
図１６は、第３の実施形態に係る画素の置換処理の流れを示すフローチャートである。

ステップＳ１６０１において、画像投影装置１０１は、光指示具１３０１によって投影面１０３に光が照射されたか否かを判断し、光が照射された場合、ステップＳ１６０２へ移行する。一方、光が照射されていない場合、ステップＳ１６０１の処理を繰り返す。

ステップＳ１６０２において、画像投影装置１０１は、光指示具１３０１による光の周囲にカーソル１３０２を表示させる。尚、カーソル１３０２は、光指示具１３０１による光に追従して動く。

ステップＳ１６０３において、画像投影装置１０１は、ボタン１が押下されているか否かを判断する。尚、ボタン１は、利用者が画素の置換を指示するためのボタンであり、例えば、光指示具１３０１の置換ボタン１４０４に相当する。

ステップＳ１６０３において、ボタン１が押下されている場合、ステップＳ１６０４において、カーソル１３０２内の画素値を置換する。尚、この操作は、ボタン１を押下している間有効であり、ボタン１を押下しながらカーソルを動かすと、その中にある画素が置換されて行く。一方、ステップＳ１６０３において、ボタン１が押下されていない場合、ステップＳ１６０２に戻って処理を繰り返す。

ステップＳ１６０５において、画像投影装置１０１は、ボタン２が押下されているか否かを判断する。尚、ボタン２は、利用者が、置換された画素の回復を指示するためのボタンであり、例えば、光指示具１３０１の回復ボタン１４０５に相当する。

ステップＳ１６０５において、ボタン２が押下されている場合、ステップＳ１６０６において、カーソル１３０２内の置換された画素値を、置換前の画素値に戻す。尚、この操作は、ボタン２を押下している間有効であり、ボタン２を押下しながらカーソルを動かすと、その中にある置換された画素が、置換前の画素値に戻る。

また、好適な一例として、ボタン２を素早く２回押した場合、ボタン１によって置換された全ての画素が、置換前の画素値に戻る。

上記処理により、画像処理システム１００の利用者は、投影面１０３に投影された投影画像１０４の少なくとも一部の情報を、リアルタイムで置換し、又置換前の情報に回復することができるようになる。

［その他のシステム構成］
第１〜第３の実施形態のシステム構成は一例であり、画像処理システム１００は、様々なシステム構成が可能である。

図１７は、一実施形態に係る画像処理システムのその他の構成例を示す図である。例えば、第１〜第３の実施形態では、画像投影装置１０１が画像変換部３０６を有するものとして説明を行ったが、画像変換部３０６は、ＰＣ１０２が有していても良い。この場合、画像変換部３０６の各手段は、例えば、図４のＣＰＵ４０１で動作するプログラムによって実現される。

画像変換部３０６が、ＰＣ１０２に含まれる場合の画像処理システム１００の構成例を図１７の（ａ）に示す。この場合、例えば、図５の撮像手段５０１は、カメラ１０８によって実現され、投影手段５０２は、画像投影装置１０１によって実現される。

また、ＰＣ１０２は、例えば、タブレット端末等のＰＣ１０２以外の情報端末であっても良い。ＰＣ１０２等の情報端末は、画像処理装置の別の一例である。

さらに、カメラ１０８は、ＰＣ１０２等の情報端末に内蔵されたカメラであっても良いし、複数のカメラ等であってもよい。複数のカメラを備えることにより、カメラ１０８と投影面１０３との間に利用者が入った場合等の死角を低減することができる。

また、図１７の（ｂ）に示すように、画像処理システム１００は、必ずしもＰＣ１０２等の情報端末を有していなくても良い。この場合、投影する画像は、例えば、図３のネットワークＩ／Ｆ３０７を用いてネットワークから取得するものであっても良いし、図３の外部ストレージＩ／Ｆ３０８を用いて外部ストレージ３１２から取得するものであっても良い。

１００、１３００ 画像処理システム
１０１ 画像投影装置（画像処理装置の一例）
１０２ ＰＣ（画像処理装置の別の一例）
１０３ 投影面
１０４ 投影画像
１０６ 指定領域
５０１ 撮像手段
５０２ 投影手段
５０３ 画像比較手段
５０４ 指定領域判断手段（判断手段）
５０５ 位置関係算出手段（算出手段）
５０６ 画素置換手段（画像処理手段の一例）
１１０１ 画像補間手段（補間手段）
１５０５ 画像置換／回復手段（画像処理手段の別の一例）

特開２００８−２３３７４２号公報

Claims (14)

1. 投影手段によって投影面に所定の画像を投影する画像処理装置であって、
   前記投影面に投影された投影画像を撮像して得た撮像画像に基づいて、前記投影画像に対して指定された指定領域を判断する判断手段と、
   前記判断された指定領域の前記投影する所定の画像における位置を算出する算出手段と、
   前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行う画像処理手段と、
   を有する画像処理装置。
2. 少なくとも２つの前記撮像画像の差分を抽出する画像比較手段を有し、
   前記判断手段は、
   前記抽出された差分に基づいて前記指定された指定領域を判断する請求項１に記載の画像処理装置。
3. 前記画像比較手段は、
   前記少なくとも２つの前記撮像画像の複数の画素に対して同一位置の画素値の差をそれぞれ計算し、
   前記計算した画素値の差が予め定められたしきい値を超えた画素を、前記指定領域を指定する画素と判断する請求項２に記載の画像処理装置。
4. 前記指定領域は閉曲線で指定され、
   前記指定領域を指定する曲線が開いていると判断した場合、該曲線を閉曲線に補間する補間手段を有する請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記補間手段は、
   前記指定領域を指定する曲線が開いていると判断した場合、該曲線の始点と終点との間を直線又は曲線で補間する請求項４に記載の画像処理装置。
6. 前記補間手段は、
   前記指定領域を指定する曲線が開いていると判断した場合、該曲線の少なくとも一つの端点と、該曲線上の複数の点との間を直線で補間したときの前記指定領域の面積をそれぞれ計算し、
   前記指定領域の面積が最大となる該曲線上の点と、前記少なくとも一つの端点との間を直線又は曲線で補完する請求項４に記載の画像処理装置。
7. 前記算出手段は、
   前記撮像画像に含まれる前記投影画像を抽出し、
   前記抽出された投影画像と前記判断された指定領域との比に基づいて、前記判断された指定領域の前記投影する所定の画像における位置を算出する請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記画像処理手段は、
   前記投影する所定の画像の前記指定された指定領域に対応する画素を、所定の色に置換する請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記画像処理手段は、
   前記投影する所定の画像の背景色を検出し、
   前記投影する所定の画像の前記指定された指定領域に対応する画素を、前記検出した背景色に置換する請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記指定領域は発光部を有する指示具によって指定され、
    前記判断手段は、
    継続的に撮像された複数の前記撮像画像、又は前記発光部の軌跡を撮像した前記撮像画像に基づいて、前記指定された指定領域を判断する請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記撮像画像に基づいて前記投影面に予め定められた光を検出した場合、前記投影画像の前記検出した光に対応する位置の周囲にカーソルを表示するカーソル表示手段を有し、
    前記判断手段は、
    予め定められた操作を受け付けた場合、前記表示されたカーソルの範囲内を前記指定された指定領域と判断する請求項１に記載の画像処理装置。
12. 投影面に所定の画像を投影する投影手段と、
    前記投影面に投影された投影画像を撮像する撮像手段と、
    前記投影画像に対して指定された指定領域を、前記撮像手段によって撮像された撮像画像に基づいて判断する判断手段と、
    前記判断された指定領域の前記投影する所定の画像における位置を算出する算出手段と、
    前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行う画像処理手段と、
    を有する画像処理システム。
13. 投影手段によって投影面に所定の画像を投影する画像処理装置を、
    前記投影面に投影された投影画像を撮像して得た撮像画像に基づいて、前記投影画像に対して指定された指定領域を判断する判断手段と、
    前記判断された指定領域の前記投影する所定の画像における位置を算出する算出手段と、
    前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行う画像処理手段と、
    として機能させるためのプログラム。
14. 投影手段によって投影面に所定の画像を投影する画像処理装置が、
    前記投影面に投影された投影画像を撮像して得た撮像画像に基づいて、前記投影画像に対して指定された指定領域を判断するステップと、
    前記判断された指定領域の前記投影する所定の画像における位置を算出するステップと、
    前記算出された位置に基づいて、前記投影する所定の画像の前記指定された指定領域に対応する領域に所定の画像処理を行うステップと、
    を含む画像処理装置の制御方法。

Images