JP2007102729A - 画像入出力装置、物体認識プログラム、情報入力プログラム、命令入力プログラムおよびパネル制御方法 - Google Patents

Abstract

【課題】表示機能と撮像機能とを有する入出力パネルに置かれた物体に関する情報を得ることを可能とする画像入出力装置を提供する。
【解決手段】表示機能と撮像機能とを有する入出力パネル１により、撮像画像７を撮像する。また、属性検知機能部５２内の切り出し部５２Ａが、この撮像画像７から撮像対象物体１５Ａ〜１５Ｃの画像（物体画像）を切り出す。そして属性検知機能部５２内の属性検知部５２Ｂが、この物体画像に基づいて、撮像対象物体１５Ａ〜１５Ｃの属性を検知する。
【選択図】図１

Description

本発明は、入出力パネルを用いて実現される画像入出力装置、物体認識プログラム、情報入力プログラム、命令入力プログラムおよびパネル制御方法に関する。

従来より、画像を表示しつつ情報を入力する装置として、例えば接触物体の位置情報を入力するためのタッチパネルを備えた表示装置など、種々のものが開発されている。また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

ところが、表示部上の物体の位置ではなく、その物体の色や形状等を情報として入力しようとした場合、以下のような問題が生じていた。

まず、従来のタッチパネルを備えた表示装置では、静電容量方式や電磁誘導方式、光学方式等のいずれの方式のものであっても、測量的に物体の位置を検出しているため、表示部上の物体の色や形状等を検知することはできない。

一方、上記特許文献１の表示装置では、表示部上の物体を撮像するということについては記載されているものの、その物体の色や形状等の情報を得る技術については、何ら開示されていなかった。

このように、従来の技術では、表示機能と撮像機能とを有する表示部（入出力パネル）を利用して、この入出力パネル上の物体の色や形状等に基づいて、入出力パネルを制御することもできなかった。

本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、表示機能と撮像機能とを有する入出力パネルに置かれた物体に関する情報を得ることを可能とする画像入出力装置を提供することにある。

また、本発明の第２の目的は、表示機能と撮像機能とを有する入出力パネルに置かれた物体に関する情報を利用して、この入出力パネルを制御することを可能とするプログラムおよびパネル制御方法を提供することにある。

本発明の画像入出力装置は、画像を表示する表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、この入出力パネルにより撮像された物体画像に基づいて、その物体の属性を検知する検知手段とを備えたものである。

ここで、「物体の属性」とは、物体の特徴や性質（例えば、形状、大きさ、色、光沢等）のほか、物体の状態（配置方向等）や種類をも含む広い概念である。なお、「物体の種類」とは、いくつかの個体に共通の性質によって総体を分類したときに生ずるまとまりであり、例えば、指、クリップ、コイン、鍵、ペン等のように互いに区別された物のグループを意味する。

本発明の画像入出力装置では、表示機能と撮像機能とを有する入出力パネルにより撮像された物体画像に基づいて、その物体の属性が検知される。

本発明の画像入出力装置では、上記検知手段により検知された物体の属性に基づいて、入力情報を認識するようにしてもよい。ここで、「入力情報」とは、数値、文字等のテキストデータや画像データのほか、命令を示す情報をも含む意味である。

本発明の画像入出力装置では、上記検知手段により検知された物体の属性に基づいて、実行対象命令を生成する命令生成手段をさらに備えるようにしてもよい。この場合において、上記検知手段が、入出力パネル上における撮像物体の位置をも検知し、上記命令生成手段が、入出力パネル上の撮像物体の位置と関連した位置にその物体に関連した情報を表示させるための表示命令を生成するようにしてもよい。ここで、「撮像物体の位置と関連した位置」とは、撮像物体の位置と同一の位置のほか、この撮像物体の位置と所定の位置関係にある地点をも含む意味である。また、「その物体に関連した情報」とは、その物体の画像そのもののほか、広く、その物体をデフォルメまたは抽象化した画像、その物体の名称、その物体から連想される画像情報または文字情報等を意味する。

本発明の画像入出力装置では、上記検知手段が、物体の属性を示す属性情報と個々の物体を同定する同定情報とを対応付けてなる同定テーブルと、入出力パネルにより撮像された全体画像から物体画像に相当する部分を切り出す切り出し部と、この切り出し部により切り出された物体画像を基に、上記同定テーブルを参照して、その物体画像に対応する物体を同定し判別する判別手段とを有するようにするのが好ましい。この場合においても、上記判別手段による判別結果に基づいて、実行対象命令を生成する命令生成手段をさらに備えるようにしてもよい。

本発明の物体認識プログラムは、画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、撮像された物体画像に基づいて、その物体の属性を検知するステップと、検知された物体の属性に基づいて、その物体を同定するステップとをコンピュータに実行させるようにしたものである。

本発明の物体認識プログラムでは、表示機能と撮像機能とを有する入出力パネルにより物体画像が撮像され、この撮像された物体画像に基づいてその物体の属性が検知され、この検知された物体の属性に基づいて、その物体が同定される。

本発明の情報入力プログラムは、画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、撮像された物体画像に基づいて、その物体の属性を検知するステップと、検知された物体の属性に基づいて、入力情報を認識するステップとをコンピュータに実行させるようにしたものである。

本発明の情報入力プログラムでは、表示機能と撮像機能とを有する入出力パネルにより物体画像が撮像され、この撮像された物体画像に基づいてその物体の属性が検知され、この検知された物体の属性に基づいて、入力情報が認識される。

本発明の命令入力プログラムは、画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、撮像された物体画像に基づいて、その物体の属性を検知するステップと、検知された物体の属性に基づいて、実行対象命令を生成するステップとをコンピュータに実行させるようにしたものである。

本発明の命令入力プログラムでは、表示機能と撮像機能とを有する入出力パネルにより物体画像が撮像され、この撮像された物体画像に基づいてその物体の属性が検知され、この検知された物体の属性に基づいて、実行対象命令が生成される。

本発明のパネル制御方法は、画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像し、この撮像された物体画像に基づいて、その物体の属性を検知し、この検知された物体の属性に基づいて、その物体を同定し、入力情報を認識し、または実行対象命令を認識するようにしたものである。

本発明のパネル制御方法では、表示機能と撮像機能とを有する入出力パネルにより物体画像が撮像され、この撮像された物体画像に基づいて、その物体の属性が検知される。また、この検知された物体の属性に基づいて、その物体が同定され、入力情報が認識され、または実行対象命令が認識される。

本発明の画像入出力装置によれば、表示機能と撮像機能とを有する入出力パネルにより撮像された物体画像に基づいて、その物体の属性を検知するようにしたので、表示機能と撮像機能とを有する入出力パネルに置かれた物体に関する情報を得ることが可能となる。

本発明の物体認識プログラム、情報入力プログラム、命令入力プログラムまたはパネル制御方法によれば、表示機能と撮像機能とを有する入出力パネルにより物体画像を撮像すると共にこの物体画像に基づいてその物体の属性を検知し、検知されたこの物体の属性に基づいて、その物体を同定し、入力情報を認識し、または実行対象命令を認識するようにしたので、表示機能と撮像機能とを有する入出力パネルに置かれた物体に関する情報を利用して、この入出力パネルを制御することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置の構成を表すものである。

この画像入出力装置は、入出力パネル１と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、画像処理部５とを備えており、画像データに基づく画像を入出力パネル１に表示すると共に、表示画像からの光を利用して入出力パネル１に接触または近接する物体（後述する撮像対象物体１５Ａ〜１５Ｆ）を撮像し、撮像して得られた撮像画像に基づいて、その物体の色や形状等、すなわち物体の属性を検知するものである。なお、この物体の属性とは、詳細は後述するが、物体の特徴や性質（例えば、形状、大きさ、色、光沢等）のほか、物体の状態（配置方向等）や種類をも含む広い概念である。

入出力パネル１は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。

ここで、図２〜図４を参照して、入出力パネル１の構成の詳細について説明する。

図２は、入出力パネル１の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。

データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。

図３は、入出力パネル１における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。

この入出力パネル１は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。

図４は、入出力パネル１における表示撮像セルＣＷＲの回路構成を表すものである。

この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。

ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。

したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。

一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。

なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。

表示信号保持制御部２２は、後述する画像処理部５内の表示用フレームメモリ５３などから供給される表示信号を、１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。

表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。

撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２に対して撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。

撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。

ここで、図５および図６を参照して、このような構成の画像入出力装置において、接触あるいは近接した物体を撮像する動作について説明する。

図５は、図１の画像入出力装置において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。

入出力パネル１上に、例えば指などの撮像対象物体１５Ａを接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５Ａで反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５Ａの撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５Ａから位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像入出力装置では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５Ａで反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５Ａ近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５Ａが入出力パネル１上のどの領域に位置するのかが検知され、撮像動作が可能となる。

また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１全体で画像を表示しながら、撮像対象物体１５Ａを撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。

図１の説明に戻り、撮像対象物体の属性を検知する機能を有する画像処理部５は、Ｉ／Ｆ５１と、実際に属性検知処理を担っている属性検知機能部５２と、表示用フレームメモリ５３と、ＵＳＢ−Ｉ／Ｆ５４と、通信Ｉ／Ｆ５５とを有しており、これらはバス５０によって互いに接続されている。

Ｉ／Ｆ５１は、撮像信号レシーバ３２との間のインターフェース部分であり、撮像信号レシーバ３２から撮像データＤinを入力するようになっている。また、ＵＳＢ−Ｉ／Ｆ５４は、この画像入出力装置の外部とのＵＳＢ（Universal Serial Bus）接続によるインターフェース部分であり、例えば属性検知機能部５２により検知された物体の属性データＤout１を外部へ出力するようになっている。また、通信Ｉ／Ｆ５５は、同じくこの画像入出力装置の外部との有線もしくは無線の通信によるインターフェース部分であり、例えば属性検知機能部５２により検知された物体の属性データＤout２を外部へ出力するようになっている。

表示用フレームメモリ５３は、例えばＣＰＵ５２２によって作成された１画面分（１フレーム分）の表示画像データ（表示信号）を保持するメモリであり、この表示画像データを入出力パネル１における表示画像データ（表示信号）Ｄoutとして、前述の表示信号保持制御部２２へ出力するようになっている。

属性検知機能部５２は、上記のように実際に撮像対象物体の属性検知処理を担っている部分であり、メモリ５２１と、ＣＰＵ（Central Processing Unit）５２２と、プログラムメモリ５２３とを含んで構成されている。

ＣＰＵ５２２は、属性検知処理を実行するための演算処理を行う部分であると共に、この画像入出力装置全体を統括する部分である。また、メモリ５２１は、このＣＰＵ５２２が演算処理を実行するためのワーキングメモリであり、プログラムメモリ５２３は、ＣＰＵ５２２が実行する属性検知処理のためのプログラム等を格納するメモリである。

また、図７は、属性検知機能部５２の機能ブロック構成を表したものである。このように、この属性検知機能部５２は、機能ブロックで表現すると、切り出し部５２Ａと、属性検知部５２Ｂとから構成されている。

切り出し部５２Ａは、入出力パネル１の撮像機能により得られた撮像データＤinによる全体画像から、撮像対象物体の画像（物体画像）に相当する部分を切り出して出力するものである。

また、属性検知部５２Ｂは、切り出し部５２Ａから出力される物体画像に基づいて、その撮像対象物体の属性、すなわち物体の特徴や性質（例えば、形状、大きさ、色、光沢等）のほか、物体の状態（配置方向等）や種類を検知するものである。

次に、図８〜図１０を参照して、本実施の形態の属性検知部５２による属性検知に基づく情報認識処理について説明する。ここで、図８は、本実施の形態に係る属性検知による情報認識処理を流れ図で表したものであり、図９は、撮像対象物体１５Ａ〜１５Ｃを撮像する際の状況を表したものであり、図１０は、この情報認識処理により得られた物体の属性情報の一例を表したものである。

ここでは、例えば図９（Ａ）に示したように、入出力パネル１上に、撮像対象物体１５Ａ（指先），１５Ｂ（青色ペンのペン先），１５Ｃ（銀色の鍵）が置かれている場合について説明する。

まず、入出力パネル１の撮像機能により、これら撮像対象物体１５Ａ〜１５Ｃを撮像する（図８のステップＳ１０１）。すると、例えば図９（Ｂ）に示したような撮像画像７が得られ、この撮像画像７を構成する撮像データＤinが、撮像レシーバ３２から画像処理部５へと出力される。そしてこの撮像データＤinは、属性検知機能部５２内の切り出し部５２Ａへ入力する。

次に、切り出し部５２Ａは、この撮像データＤinによる撮像画像７の全体画像から、撮像対象物体１５Ａ〜１５Ｃそれぞれの画像（物体画像）に相当する部分を切り出す（ステップＳ１０２）。そして切り出された物体画像はそれぞれ、属性検知部５２Ｂへ出力される。

次に、属性検知部５２Ｂは、これらの物体画像に基づいて、例えば図１０（Ａ）〜（Ｃ）に示したような、撮像対象物体１５Ａ〜１５Ｃの属性情報を検知する（ステップＳ１０３）。具体的には、図１０（Ａ）に示した場合の例では、物体Ａ（この場合、撮像対象物体１５Ａ）では、Ｌａｂ表色系による色を表す（Ｌ，ａ，ｂ）＝（１２４，３，３０）であり、形状が楕円形であると検知されている。また、物体Ｂ（この場合、撮像対象物体１５Ｂ）では、（Ｌ，ａ，ｂ）＝（５０，１０８，−１４７）であり、形状が長方形であると検知されている。また、物体Ｃ（この場合、撮像対象物体１５Ｃ）では、（Ｌ，ａ，ｂ）＝（１２８，０，０）であり、形状が長細いと検知されている。

また、図１０（Ｂ）に示した場合の例では、物体の属性として、物体の面積（面積の範囲）がさらに検知されている。したがって、例えば同じ物体Ａの場合でも、入出力パネル１との配置関係に応じて、物体Ａ１〜Ａ３の面積がそれぞれ、０〜１００，１００〜３００，３００〜５００であると検知されている。

また、図１０（Ｃ）に示した場合の例では、物体の属性として、物体の特徴点がさらに検知されている。したがって、例えば撮像対象物体が同じ銀色の鍵（図１０（Ａ）における物体Ｃに相当）である場合でも、その特徴点の違いに応じて異なる特徴点が検知されるようになっている。

図８の説明に戻り、最後に、属性機能部５２（具体的には、ＣＰＵ５２２）は、属性検知部５２Ｂにより検知された撮像対象物体１５Ａ〜１５Ｃの属性情報Ｚoutに基づいて、この画像入出力装置への入力情報を認識する（ステップＳ１０４）。具体的には、この入力情報とは、数値、文字等のテキストデータや画像データのほか、画像入出力装置１への命令を示す情報などを含むものであり、この入力情報を利用することにより、例えば入出力パネル１での表示画像を変更させることなどが可能となる。このようにして、属性検知による情報認識処理が終了となる。

以上のように、本実施の形態では、表示機能と撮像機能とを有する入出力パネル１により撮像された撮像画像７に基づいて、属性検知機能部５２内の切り出し部５２Ａがこの撮像画像７から撮像対象物体１５Ａ〜１５Ｃの画像（物体画像）を切り出し、属性検知部５２Ｂがこの物体画像に基づいて撮像対象物体１５Ａ〜１５Ｃの属性を検知するようにしたので、表示機能と撮像機能とを有する入出力パネルに置かれた撮像対象物体の属性を検知することが可能となる。

また、検知された撮像対象物体１５Ａ〜１５Ｃの属性に基づいて、この画像入出力装置への入力情報を認識するようにしたので、この入力情報を利用して、例えば入出力パネル１での表示画像を変更させることなど、様々な制御処理を実行することが可能となる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。

本実施の形態では、第１の実施の形態で説明した物体の属性情報Ｚoutに基づいて、この画像入出力装置１に対する命令（実行対象命令）を作成するようにした場合について説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。

図１１は、本実施の形態に係る属性検知機能部５２の機能ブロック構成を表したものである。この属性検知機能部５２は、図７に示した第１の実施の形態の属性検知機能部５２において、さらに属性検知部５２Ｂの後段に、命令生成部５２Ｃを設けるようにしたものである。

この命令生成部５２Ｃは、属性検知部５２Ｂにおいて検知された物体の属性情報Ｚoutに基づいて、後述する命令判定テーブル８１Ａを参照することにより、画像入出力装置１に対する実行対象命令を生成するものである。

次に、図１２および図１３を参照して、本実施の形態の属性検知部５２による属性検知に基づく命令生成処理について説明する。ここで、図１２は、本実施の形態に係る属性検知による命令生成処理を流れ図で表したものであり、図１３は、上記した命令判定テーブル８１Ａの内容を表したものである。

まず、図８に示した第１の実施の形態の場合のステップＳ１０１〜Ｓ１０３と同様にして、入出力パネル１上の撮像対象物体を撮像し（図１２のステップＳ２０１）、切り出し部５２Ａが撮像して得られた全体の撮像画像７から物体画像を切り出し（ステップＳ２０２）、属性検知部５２Ｂがこの物体画像に基づいて撮像対象物体の属性を検知する（ステップＳ２０３）。

次に、命令生成部５２Ｃが、属性検知部５２Ｂから出力される属性情報Ｚoutに基づいて、実行対象命令を生成する（ステップ２０４）。具体的には、命令生成部５２Ｃは、例えば図１３に示したような、物体の属性情報Ｚoutと実行対象命令とを対応付けてなる命令判定テーブル８１Ａを参照することにより、適用する実行対象命令（具体的には、例えば図１３に示したように、「ペンで描画」や、「太いペンで描画」、「全面消去」、「消しゴム（一部消去）」など）を判定するようになっている。このようにして、属性検知による命令生成処理が終了となる。

図１４は、この命令生成処理により生成された命令の実行態様の一例を表したものであり、撮像対象物体１５Ａである指先が、矢印Ｐ１のようにして入出力パネル１上を移動した場合のものである。このような場合に、この撮像対象物体１５Ａの属性が、色（Ｌ，ａ，ｂ）＝（１２４，３，３０）、形状が楕円形、面積が１００〜３００であると検知されたとすると、例えば図１３に示した命令判定テーブル８１Ａにおいて、実行対象命令は、「太いペンで描画」となる。よって、図１４に示したように、入出力パネル１において、太いペンで描画されているような表示画像が表示されることとなる。

なお、この場合の例では、属性検知機能部５２は、撮像対象物体１５Ａの属性に加え、この撮像対象物体１５Ａの位置をも検知するようになっている。このようにして撮像対象物体１５Ａの位置を検知しているので、撮像対象物体１５Ａの位置と関連する位置（この場合、指先に対応する位置）に、この物体と関連した情報（この場合、太いペンによる描画像）を表示させるような実行対象命令（表示命令）が生成されるようになっている。

以上のように、本実施の形態では、命令生成部５２Ｃが、属性検知部５２Ｂにより検知された撮像対象物体の属性に基づいて画像入出力装置１に対する実行対象命令を生成するようにしたので、例えば検知した物体の属性を利用して、表示命令に従って入出力パネル１の表示内容を変更させるなど、この入出力パネル１を制御することが可能となる。

また、撮像対象物体の属性に加え、その物体の位置をも検知するようにしたので、撮像対象物体の位置に関連する位置に、その物体に関連した情報を表示させるような表示命令を作成することができる。

さらに、物体の属性情報Ｚoutと実行対象命令とを対応付けてなる命令判定テーブル８１Ａを設けるようにしたので、この命令判定テーブル８１Ａを参照することにより、命令生成部５２Ｃが簡単に実行対象命令を生成することができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。

本実施の形態では、第１および第２の実施の形態で説明した物体の属性情報Ｚoutに基づいて、その物体を同定し判別するようにした場合について説明する。

図１５は、本実施の形態に係る属性検知機能部５２の機能ブロック構成を表したものである。この属性検知機能部５２は、図７に示した第１の実施の形態の属性検知機能部５２において、さらに属性検知部５２Ｂの後段に、物体判別部５２Ｄを設けるようにしたものである。

物体判別部５２Ｄは、属性検知部５２Ｂにおいて検知された物体の属性情報Ｚoutに基づいて、例えば図１６に示したような物体の属性情報Ｚoutと個々の物体とを対応付けてなる同定テーブル８２を参照することにより、その物体を同定し判別するものである。なお、このようにして同定された物体に関するデータは、同定データＯｏｕｔとして出力されるようになっている。

具体的には、例えばこの場合、物体の属性情報Ｚoutにおいて、色（Ｌ，a，ｂ）＝（１２４，３，３０）であると共に形状が楕円形であると検知された場合には、図１６に示した同定テーブル８２により、その撮像対象物体は指先であると同定されるようになっている。また、同様にして、色（Ｌ，a，ｂ）＝（５０，１０８，−１４７）であると共に形状が長方形であると検知された場合には、その撮像対象物体はペン先（青）であると同定される一方、色（Ｌ，a，ｂ）＝（１２８，０，０）であると共に形状が長細いと検知された場合には、その撮像対象物体は鍵であると同定されるようになっている。

次に、図１７および図１８を参照して、本実施の形態の属性検知部５２による属性検知に基づく物体同定処理について説明する。ここで、図１７および図１８は、本実施の形態に係る属性検知による情報取得処理を流れ図で表したものである。

まず、図８に示した第１の実施の形態の場合のステップＳ１０１〜Ｓ１０３と同様にして、入出力パネル１上の撮像対象物体を撮像し（図１７のステップＳ３０１）、切り出し部５２Ａが撮像して得られた全体の撮像画像７から物体画像を切り出し（ステップＳ３０２）、属性検知部５２Ｂがこの物体画像に基づいて撮像対象物体の属性を検知する（ステップＳ３０３）。

次に、物体判別部５２Ｄが、属性検知部５２Ｂにおいて検知された物体の属性情報Ｚoutに基づいて、その撮像対象物体を同定する（ステップＳ３０３）。具体的には、物体判別部５２Ｄはまず、例えば図１６に示したような同定テーブル８２を参照する（図１８のステップＳ３１１）。そして物体判別部５２Ｄは、この同定テーブル８２に、検知された属性情報Ｚoutに対応する物体（該当する物体）が存在するか否かを判断する（ステップＳ３１２）。該当する物体が存在すると判断した場合には（ステップＳ３１２：Ｙ）、同定した物体に関するデータ（同定データＯｏｕｔ）を出力し（ステップＳ３１３）、後述するステップＳ３０５へと進む（リターン）。一方、該当する物体が存在しないと判断した場合には（ステップＳ３１２：Ｎ）、次に物体判別部５２Ｄは、例えばユーザによる操作等により、その物体を新たに登録するか否かを判断する（ステップＳ３１４）。新たに登録すると判断した場合には（ステップＳ３１４：Ｙ）、この物体に関する同定データＯｏｕｔを新たに同定テーブル８２に追加し（ステップＳ３１５）、ステップＳ３１１へと戻る。一方、新たに登録しないと判断した場合には（ステップＳ３１４：Ｙ）、物体を同定することができないので、属性検知による情報取得処理が終了することになる。

図１７の説明に戻り、ステップＳ３０４において物体を同定した後は、属性機能部５２（具体的には、ＣＰＵ５２２）が、得られた同定データＯoutに基づいて、この画像入出力装置への入力情報を取得し（ステップＳ３０５）、属性検知による情報取得処理が終了となる。

以上のように、本実施の形態では、物体判別部５２Ｄが、属性検知部５２Ｂにおいて検知された物体の属性情報Ｚoutに基づいて、属性情報Ｚoutと個々の物体とを対応付けてなる同定テーブル８２を参照することによりその物体を同定し判別するようにしたので、入出力パネル１上に存在する撮像対象物体が何であるかを同定することが可能となる。

また、このような物体の判別結果に基づいて、第１の実施の形態の場合と同様に、例えば数値、文字等のテキストデータや画像データなどを含む入力情報を取得することもでき、この入力情報を利用することにより、例えば入出力パネル１での表示画像を変更させることなどが可能となる。

さらに、同定テーブル８２を参照して同定するようにしたので、物体判別部５２Ｄが簡単に物体を同定し判別することができる。

［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。

上記第３の実施の形態においては、検知された物体の属性情報Ｚoutに基づいて、その物体を同定し判別するようにした場合について説明したが、本実施の形態では、この物体の判別結果に基づいて、第２の実施の形態で説明したような画像入出力装置に対する実行対象命令をさらに生成するようにした場合について説明する。

図１９は、本実施の形態に係る属性検知機能部５２の機能ブロック構成を表したものである。この属性検知機能部５２は、図１５に示した第３の実施の形態の属性検知機能部５２において、さらに物体判別部５２Ｄの後段に、命令生成部５２Ｃを設けるようにしたものである。

この命令生成部５２Ｃは、基本的には第２の実施の形態で説明した命令生成部５２Ｃと同様である。異なるのは、本実施の形態の命令生成部５２Ｃは、物体判別部５２Ｄにおける物体の判別結果に基づいて、実行対象命令を生成するようになっている点である。

具体的には、命令生成部５２Ｃは、例えば図２０に示したように、個々の物体（「指先」や、「ペン先（青）」、「鍵」など）と実行対象命令とを対応付けてなる命令判定テーブル８１Ａを参照することにより、適用する実行対象命令（具体的には、例えば図２０に示したように、「消しゴム（一部消去）」や、「描画」、「ボタンをロック」など）を判定するようになっている。

次に、図２１を参照して、本実施の形態の属性検知部５２による物体同定に基づく命令生成処理について説明する。ここで、図２１は、本実施の形態に係る物体同定による命令生成処理を流れ図で表したものである。

まず、図１７に示した第３の実施の形態の場合のステップＳ３０１〜Ｓ３０４と同様にして、入出力パネル１上の撮像対象物体を撮像し（図２１のステップＳ４０１）、切り出し部５２Ａが撮像して得られた全体の撮像画像７から物体画像を切り出し（ステップＳ４０２）、属性検知部５２Ｂがこの物体画像に基づいて撮像対象物体の属性を検知し（ステップＳ４０３）、物体判別部５２Ｄが属性検知部５２Ｂから出力される物体の属性情報Ｚoutに基づいて、その物体を同定する（ステップＳ４０４）。

そして、命令生成部５２Ｃが、物体判別部５２Ｄにおける物体の判別結果に基づいて、個々の物体と実行対象命令とを対応付けてなる命令判定テーブル８１Ａを参照することにより、実行対象命令を生成（実行対象命令を判定）し（ステップＳ４０５）、物体同定による命令生成処理が終了となる。

図２２および図２３はそれぞれ、この命令生成処理により生成された命令の実行態様の一例を表したものであり、図２２は（Ａ）に示したように、入出力パネル１上に撮像対象物体１５Ｄとして虫メガネを置いた場合、図２３は（Ａ）に示したように、入出力パネル１上に撮像対象物体１５Ｅとして、パネル側に針を向けるようにした腕時計を置いた場合を表している。

図２２に示した場合では、入出力パネル１において虫メガネを含む撮像データＤinを取得すると、虫メガネの物体画像に基づいて例えばこの虫メガネという物体を同定すると共にその位置を検知するようにし、例えば図２２（Ｂ）に示したように、この虫メガネを置いた位置の部分Ｐ３を拡大して表示するような実行対象命令を生成し、実行することが可能である。このようにすれば、虫メガネという物体を用いて、表示画像を部分的に拡大させる直感的な制御を、入出力パネル１に対して行うことが可能となる。

また、図２３に示した場合では、入出力パネル１において腕時計を含む撮像データＤinを取得すると、腕時計の物体画像に基づいて例えば時計という物体を同定するようにし、例えば図２３（Ｂ）に示したように、時計という文字やその解説等を表示するような実行対象命令を生成し、実行することが可能である。このようにすれば、腕時計という物体を用いて、その物体に関連する情報を表示させるという直感的な制御を、入出力パネル１に対して行うことが可能となる。

以上のように、本実施の形態では、命令生成部５２Ｃが、物体判別部５２Ｄにおける物体の判別結果に基づいて画像入出力装置１に対する実行対象命令を生成するようにしたので、例えば検知した物体の属性を利用して、表示命令に従って入出力パネル１の表示内容を変更させるなど、この入出力パネル１を制御することが可能となる。

また、第２の実施の形態と同様に、撮像対象物体の属性に加え、その物体の位置をも検知するようにしたので、撮像対象物体の位置に関連する位置に、その物体に関連した情報を表示させるような表示命令を作成することができる。

さらに、個々の物体と実行対象命令とを対応付けてなる命令判定テーブル８１Ｂを設けるようにしたので、この命令判定テーブル８１Ｂを参照することにより、命令生成部５２Ｃが簡単に実行対象命令を生成することができる。

以上、第１〜第４の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、画像入出力装置に対する実行対象命令が、入出力パネル１における表示内容を変更させる表示命令である場合について説明したが、実行対象命令の内用してはこれには限られない。例えば、上記のように図２３（Ｂ）に示した場合において、テキストデータを入出力パネル１に表示させることに加え、例えば画像入出力装置における図示しないスピーカなどからその内容を音声として出力させるような実行対象命令を生成するようにしてもよい。また、例えば図２４（Ａ）に示したように、入出力パネル１上に撮像対象物体１５Ｆとして印鑑を置いた場合に、例えば図２４（Ｂ）に示したように、入出力パネル１上に印鑑が押されたような表示をさせると共に、表示されている文書データにもこの印鑑を反映させるようにしてもよい。

また、上記実施の形態では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。

また、上記実施の形態では、一連の補正処理をソフトウェアにより実行させる場合について説明したが、これらの処理をハードウェアによって実行させることも可能である。

本発明の第１の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。 図１に示した入出力パネルの構成を表す平面図である。 入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。 図１に示した表示撮像セルの構成を表す回路図である。 図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。 入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。 図１に示した属性検知機能部の構成を表す機能ブロック図である。 第１の実施の形態に係る属性検知による情報認識処理を表す流れ図である。 物体の撮像処理を説明するための模式図である。 検知された物体の属性情報の一例を説明するための図である。 第２の実施の形態に係る属性検知機能部の構成を表す機能ブロック図である。 第２の実施の形態に係る属性検知による命令生成処理を表す流れ図である。 第２の実施の形態に係る命令判定テーブルの一例を表す図である。 図１２に示した命令生成処理により生成された命令の実行態様の一例を表す模式図である。 第３の実施の形態に係る属性検知機能部の構成を表す機能ブロック図である。 第３の実施の形態に係る物体の同定テーブルの一例を表す図である。 第３の実施の形態に係る物体同定による情報取得処理を表す流れ図である。 図１７に示した情報取得処理のうちの物体同定処理を表す流れ図である。 第４の実施の形態に係る属性検知機能部の構成を表す機能ブロック図である。 第４の実施の形態に係る命令判定テーブルの一例を表す図である。 第４の実施の形態に係る物体同定による命令生成処理を表す流れ図である。 図２１に示した命令生成処理により生成された命令の実行態様の一例を表す模式図である。 図２１に示した命令生成処理により生成された命令の実行態様の他の例を表す模式図である。 図２１に示した命令生成処理により生成された命令の実行態様の他の例を表す模式図である。

符号の説明

１…入出力パネル、１１…画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５Ａ〜１５Ｆ…撮像対象物体、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…画像処理部、５１…Ｉ／Ｆ、５２…属性検知機能部、５２Ａ…切り出し部、５２Ｂ…属性検知部、５２Ｃ…命令生成部、５２Ｄ…物体判別部、５２１…メモリ、５２２…ＣＰＵ、５２３…プログラムメモリ、５３…表示用フレームメモリ、５４…ＵＳＢ−Ｉ／Ｆ、５５…通信Ｉ／Ｆ、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７…撮像画像、８１Ａ，８１Ｂ…命令判定テーブル、８２…同定テーブル、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１…表示光、ＬＲ１…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置。

Claims (17)

1. 画像を表示する表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、
   前記入出力パネルにより撮像された物体画像に基づいて、その物体の属性を検知する検知手段と
   を備えたことを特徴とする画像入出力装置。
2. 前記検知手段により検知された物体の属性に基づいて、入力情報を認識する
   ことを特徴とする請求項１に記載の画像入出力装置。
3. 前記検知手段により検知された物体の属性に基づいて、実行対象命令を生成する命令生成手段をさらに備えた
   ことを特徴とする請求項１に記載の画像入出力装置。
4. 前記実行対象命令は、前記入出力パネルに対する表示命令である
   ことを特徴とする請求項３に記載の画像入出力装置。
5. 前記検知手段は、前記入出力パネル上における撮像物体の位置をも検知し、
   前記命令生成手段は、前記入出力パネル上の撮像物体の位置と関連した位置にその物体に関連した情報を表示させるための表示命令を生成する
   ことを特徴とする請求項４に記載の画像入出力装置。
6. 前記検知手段は、
   物体の属性を示す属性情報と個々の物体を同定する同定情報とを対応付けてなる同定テーブルと、
   前記入出力パネルにより撮像された全体画像から物体画像に相当する部分を切り出す切り出し部と、
   前記切り出し部により切り出された物体画像を基に、前記同定テーブルを参照して、その物体画像に対応する物体を同定し判別する判別手段と
   を有することを特徴とする請求項１に記載の画像入出力装置。
7. 前記判別手段による判別結果に基づいて、入力情報を取得する
   ことを特徴とする請求項６に記載の画像入出力装置。
8. 前記判別手段による判別結果に基づいて、実行対象命令を生成する命令生成手段をさらに備えた
   ことを特徴とする請求項６に記載の画像入出力装置。
9. 前記実行対象命令は、前記入出力パネルに対する表示命令である
   ことを特徴とする請求項８に記載の画像入出力装置。
10. 前記検知手段は、前記入出力パネル上における撮像物体の位置をも検知し、
    前記命令生成手段は、前記入出力パネル上の撮像物体の位置と関連する位置にその物体に関連した情報を表示するための表示命令を生成する
    ことを特徴とする請求項９に記載の画像入出力装置。
11. 前記命令生成手段は、
    個々の物体と命令とを対応付けてなる命令判定テーブルと、
    前記判別手段の判別結果を基に、前記命令判定テーブルを参照して、実行対象命令を判定する判定手段と
    を有することを特徴とする請求項８に記載の画像入出力装置。
12. 画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、
    撮像された物体画像に基づいて、その物体の属性を検知するステップと、
    検知された物体の属性に基づいて、その物体を同定するステップと
    をコンピュータに実行させることを特徴とする物体認識プログラム。
13. 画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、
    撮像された物体画像に基づいて、その物体の属性を検知するステップと、
    検知された物体の属性に基づいて、入力情報を認識するステップと
    をコンピュータに実行させることを特徴とする情報入力プログラム。
14. 前記入力情報を認識するステップは、
    検知された物体の属性に基づいて、その物体を同定するステップと
    同定結果に基づいて、入力情報を認識するステップと
    を含むことを特徴とする請求項１３に記載の情報入力プログラム。
15. 画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像するステップと、
    撮像された物体画像に基づいて、その物体の属性を検知するステップと、
    検知された物体の属性に基づいて、実行対象命令を生成するステップと
    をコンピュータに実行させることを特徴とする命令入力プログラム。
16. 前記実行対象命令を生成するステップは、
    検知された物体の属性に基づいて、その物体を同定するステップと
    この同定結果に基づいて、実行対象命令を生成するステップと
    を含むことを特徴とする請求項１５に記載の命令入力プログラム。
17. 画像を表示する表示機能とこの表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体画像を撮像し、
    撮像された物体画像に基づいて、その物体の属性を検知し、
    検知された物体の属性に基づいて、その物体を同定し、入力情報を認識し、または実行対象命令を認識する
    ことを特徴とするパネル制御方法。
    
    

Images