JP2020008750A5

JP2020008750A5 - 表示装置および画像処理方法

Info

Publication number: JP2020008750A5
Application number: JP2018130464A
Authority: JP
Filing date: 2018-07-10
Publication date: 2021-05-06

Description

本発明は、表示装置および画像処理方法に関する。

撮像部３１は、表示面１０１を撮像するカメラである。撮像部３１は、例えば、表示面１０１に電子ペン２の光で描かれる文字および図形等を撮像する。撮像部３１は、レンズ等を有する撮像光学部３１１と、撮像光学部３１１により集光される光を電気信号に変換する撮像素子３１２と、を有する。撮像素子３１２は、赤外線および可視光の波長域に感度を有する。撮像素子３１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーである。また、撮像部３１は、赤外線の波長域の光を通過させ、可視光の波長域の光を通過させない赤外線フィルターと、赤外線フィルターを制御信号に応じて可動させる可動機構を備える。可動機構は、赤外線フィルターを撮像素子３１２の入射光の光路中に移動させること、および入射光の光路に入らないように赤外線フィルターを移動させることができる。制御部３８は、電子ペン２の軌跡を検出する場合、赤外線フィルターを光路に移動させるように可動機構を制御する。赤外線フィルターを介して撮像することによって、電子ペン２の軌跡を高いＳＮ比で検出することが可能となる。また、制御部３８は、後述するキャリブレーションを実行する場合、赤外線フィルターが光路中に入らないように可動機構を制御する。また、撮像部３１の撮像画像の座標系として、互いに直交するＵ軸およびＶ軸で定められる撮像座標系が設定される。

投射部３２は、スクリーン１に投射光ＬＬを出射して表示面１０１上に投射画像８０を表示させる。投射部３２は、光源３２１と、複数のライトバルブ３２２と、投射光学部３２３と、を有する。光源３２１としては、例えば、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、およびレーザー光源等が挙げられる。ライトバルブ３２２は、例えば一対の透明基板間に液晶層が配置された液晶パネルで構成される。投射光学部３２３は、例えば焦点距離の調整を行うズームレンズ等を有する。

記憶部４３は、制御部４４が読取可能な記録媒体である。記憶部４３は、後述する画像処理に関する画像処理アプリケーション４３１を記憶する。制御部４４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーであり、画像処理アプリケーション４３１を実行することにより、プロジェクター３に対して画像処理に関する指示ができる。

１−２Ａ．切取処理
まず、画像処理方法のうち切取処理を説明する。図４は、第１実施形態における画像処理方法の切取処理を説明するためのフローチャートである。また、以下では、図２のブロック図、図４のフローチャート、および、図５〜図１０を参照しつつ説明する。

図５は、ステップＳ１１における投射画像８０の一例を示す図である。投射制御部３８２の制御の下、光源駆動部３３１およびレンズ駆動部３３４のそれぞれが駆動するとともに、画像処理部３７が生成する画像信号に基づいてライトバルブ駆動部３３２が駆動することで、投射部３２は投射画像８０を表示面１０１に表示させる。また、撮像制御部３８１の制御の下で、撮像部３１が、表示面１０１における電子ペン２の光を撮像し、ペン位置生成部３８３が、撮像座標系でのペン先の位置から投射座標系でのペン先の位置を生成する。
そして、画像データ生成部３８６が、電子ペン２の軌跡を含む投射画像８０の表示画像データを生成し、上述と同様にして投射部３２が、電子ペン２の軌跡を含む投射画像８０を表示面１０１に表示させる。

図６は、ステップＳ１２において表示面に携帯端末が接近または接触する状態を示す図である。図６に示すように表示面１０１に携帯端末４が接近または接触すると、複数の読取器１１１のうち携帯端末４が接近する読取器１１１は、携帯端末４と通信接続する。図７は、ステップＳ１２における表示面１０１における携帯端末４の接触位置Ｐ１を示す図である。検出部１１は、携帯端末４と通信接続される読取器１１１を特定して、表示座標系における携帯端末４の接触位置Ｐ１の位置を求める。具体的には、接触位置Ｐ１の座標（ｗ，ｚ）を求める。そして、検出部１１は、接触位置Ｐ１の情報と、携帯端末４から近距離無線を介して受信される端末情報とをプロジェクター３に送信する。端末情報は、携帯端末４の位置に対応するオブジェクト８０１のオブジェクトデータの送信を要求する送信要求を含む。

図９は、ステップＳ１４におけるオブジェクト特定範囲Ａ８を示す図である。オブジェクト特定部３８５は、ステップＳ１２で受信する携帯端末４のサイズと、ステップＳ１３で生成される投射座標系における端末位置Ｐ８とを基にして、オブジェクト特定範囲Ａ８を決定する。オブジェクト特定範囲Ａ８は、例えば、端末位置Ｐ８を中心として携帯端末４のサイズと同等のサイズで設定される。なお、オブジェクト特定範囲Ａ８のサイズはこれに限定されず、任意である。

ステップＳ２５において、画像データ生成部３８６は、投射画像８０ｂの画像データにオブジェクトデータが追加される貼付処理後画像データを生成する。画像データ生成部３８６は、ステップＳ２３で生成される端末位置Ｐ８とステップＳ２４で受信されるオブジェクトデータと表示画像データとに基づいて、貼付処理後画像データを生成する。

以上がプロジェクターシステム１００の構成およびプロジェクターシステム１００による画像処理の一例である。上述のように、「表示装置」の一例であるスクリーン１とプロジェクター３とはプロジェクターシステム１００の一部である。プロジェクター３は、「表示部」としての投射部３２と、「位置生成部」としての端末位置生成部３８４と、オブジェクト特定部３８５と、「送信部」の機能を有する通信部３５と、を有する。投射部３２は、表示画像データに基づく一または複数のオブジェクト８０１を含む「画像」として投射画像８０を表示面１０１に表示する。端末位置生成部３８４は、表示面１０１に近接または接触する携帯端末４の位置を示す情報を、投射画像８０内における端末位置Ｐ８を示す端末位置情報として生成する。オブジェクト特定部３８５は、表示画像データおよび端末位置情報に基づいて、端末位置Ｐ８に対応するオブジェクト８０１に関するオブジェクトデータを特定する。通信部３５は、オブジェクトデータを携帯端末４に送信する。

また、上述のように表示装置は、スクリーン１を有する。スクリーン１は、表示面１０１における携帯端末４の位置である接触位置Ｐ１を検出する検出部１１を有する。そして、上述の端末位置生成部３８４は、表示面１０１と表示面１０１に表示される投射画像８０との位置関係に基づいて、検出部１１から出力される表示面１０１に接触する携帯端末４の位置を示す情報を、端末位置Ｐ８の端末位置情報に変換する。

プロジェクターシステム１００が検出部１１および端末位置生成部３８４を有することで、表示面１０１における携帯端末４の接触位置Ｐ１を投射画像８０における携帯端末４の端末位置Ｐ８に変換できるので、表示座標系における座標を投射座標系における座標に変換することができる。表示画像データは投射座標系で規定されるので、オブジェクト特定部３８５は表示画像データに基づいてオブジェクトデータを特定できる。

また、上述のように、画像データ生成部３８６は、表示画像データからオブジェクトデータを除く「第２表示画像データ」としての切取処理後画像データを生成する。「表示部」としての投射部３２は、処理後画像データに基づいて、投射画像８０から端末位置Ｐ８に対応するオブジェクト８０１を除く「第２画像」としての切取処理後画像８０ａを表示する。

また、オブジェクト特定部３８５は、携帯端末４のサイズに応じて端末位置Ｐ８に対応するオブジェクト特定範囲Ａ８を決定し、オブジェクト特定範囲Ａ８と一部または全部が重なるオブジェクトを特定する。

また、切取処理のステップＳ１５において、オブジェクト特定部３８５は、第１のオブジェクト８０１ｄに関する第１のオブジェクトデータと第２のオブジェクト８０１ｅに関する第２のオブジェクトデータとをそれぞれ個別に特定することも可能である。そして、ステップＳ１６において、通信部３５は、第１のオブジェクトデータと第２のオブジェクトデータとを携帯端末４に送信する。

さらに、オブジェクト特定部３８５は、第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを１つのオブジェクトデータとして特定することと、それぞれ個別のオブジェクトデータとして特定することを選択できる。また、オブジェクト特定部３８５は、この選択をユーザーの携帯端末４を用いた指示を受けて行う。そのため、ユーザーにとってオブジェクトデータの使い勝手を高めることができる。

本実施形態は、主に、プロジェクター３Ａが撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８を生成すること以外は、第１実施形態と同様である。なお、以下の説明では、第３実施形態に関し、第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１９および図２０において、第１実施形態と同様の構成については、同一符号を付す。

端末位置生成部３８４Ａは、撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８を生成する。具体的には、端末位置生成部３８４Ａはスクリーン１Ａに近接または接触する携帯端末４Ａを画像認識し、撮像座標系と投射座標系との間の座標変換式を用いて、撮像画像における携帯端末４Ａの位置を投射画像８０の座標系での端末位置Ｐ８に変換する。

本実施形態では、撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８が生成されるので、携帯端末４Ａが近距離無線通信部４２を有さず、さらにスクリーン１Ａが検出部１１を備えなくても、携帯端末４Ａの端末位置Ｐ８を生成できる。加えて、端末位置Ｐ８を生成するためにキャリブレーションに用いる撮像部３１を兼用できる。よって、本実施形態によれば、簡易な構成で、投射部３２とスクリーン１Ａを備える表示装置に一または複数のオブジェクトが表示されている場合、所望のオブジェクトを携帯端末４Ａにおいて取得できる。そして、本実施形態によっても、第１実施形態と同様に、紙の付箋を剥がす動作と同様の動作を電子環境で実現でき、ユーザーの利便性を高めることができる。

４−２．変形例２
オブジェクト特定部３８５は、携帯端末４のサイズと端末位置Ｐ８とを基にして、オブジェクト特定範囲Ａ８を決定したが、オブジェクト特定範囲Ａ８は端末位置Ｐ８そのものであってもよい。この場合、オブジェクト特定部３８５は、表示範囲に端末位置Ｐ８を含むオブジェクトデータを特定する。

１…スクリーン、２…電子ペン、３…プロジェクター、４…携帯端末、５…外部装置、１１…検出部、３１…撮像部、３２…投射部、３５…通信部、３８…制御部、４１…ネットワーク通信部、４２…近距離無線通信部、８０…投射画像、８０ａ…切取処理後画像、１００…プロジェクターシステム、１０１…表示面、１１１…読取器、３８４…端末位置生成部、３８５…オブジェクト特定部、３８４…端末位置生成部、８０１…オブジェクト、８０１ｄ…第１のオブジェクト、８０１ｅ…第２のオブジェクト、Ａ８…オブジェクト特定範囲、Ｐ８…端末位置。

Claims

表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示する表示部と、
前記表示面に接触する携帯端末の、前記画像内における位置を示す情報である端末位置情報を生成する位置生成部と、
前記表示画像データおよび前記端末位置情報に基づいて、前記画像内における位置に対応するオブジェクトに関するオブジェクトデータを特定するオブジェクト特定部と、
前記オブジェクトデータを前記携帯端末に送信する送信部と、
を備える表示装置。
前記携帯端末の前記表示面における位置を検出する検出部をさらに有し、
前記位置生成部は、前記表示面と前記表示面に表示される前記画像との位置関係に基づいて、前記表示面における位置を示す情報を、前記端末位置情報に変換する請求項１に記載の表示装置。
前記検出部は、前記携帯端末と近距離無線通信することにより前記表示面における位置を検出する請求項２に記載の表示装置。
前記検出部は、前記表示面と前記携帯端末との接触を検知することにより前記表示面における位置を検出する請求項２に記載の表示装置。
前記携帯端末を撮像する撮像部を有し、
前記位置生成部は、前記撮像部で撮像された撮像画像に基づいて、前記端末位置情報を生成する、
請求項１に記載の表示装置。
前記表示画像データから前記オブジェクトデータを除いた、第２表示画像データを生成する画像データ生成部をさらに有し、
前記表示部は、前記第２表示画像データに基づいて、前記画像から前記画像内における位置に対応するオブジェクトを除いた第２画像を表示する、請求項１ないし５のいずれか１項に記載の表示装置。
前記オブジェクト特定部は、前記携帯端末のサイズに応じて前記画像内における位置に対応するオブジェクト特定範囲を決定し、前記オブジェクト特定範囲と一部または全部が重なる前記オブジェクトを特定する請求項１ないし６のいずれか１項に記載の表示装置。
前記オブジェクト特定部は、前記画像内における位置に対応して第１のオブジェクトと第２のオブジェクトとが有る場合、前記第１のオブジェクトに関する第１のオブジェクトデータと前記第２のオブジェクトに関する第２のオブジェクトデータとを含む第３のオブジェクトデータを生成し、前記第３のオブジェクトデータを前記オブジェクトデータとして特定する、請求項１ないし７に記載の表示装置。
前記オブジェクト特定部は、前記画像内における位置に対応して第１のオブジェクトと第２のオブジェクトとが有る場合、前記第１のオブジェクトを示す第１のオブジェクトデータと、前記第２のオブジェクトを示す第２のオブジェクトデータとを特定し、
前記送信部は、前記第１のオブジェクトデータと前記第２のオブジェクトデータとを送信する請求項１ないし７に記載の表示装置。
表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示し、
前記表示面に接触する携帯端末の、前記画像内における位置を示す端末位置情報を生成し、
前記表示画像データおよび前記端末位置情報に基づいて、前記画像内における位置に対応するオブジェクトに関するオブジェクトデータを、前記携帯端末に送信する、
画像処理方法。