JP2009116778A - 表示撮像装置、物体検出プログラムおよび物体の検出方法 - Google Patents

Abstract

【課題】使用状況によらず、物体を安定して検出することが可能な表示撮像装置を提供する。
【解決手段】所定のパラメータの大きさに応じて、２つの指先抽出処理の切替処理を行う。パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの指先抽出処理のうちの一の指先抽出処理から他の指先抽出処理へと切替処理を行う。一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の指先抽出処理から上記一の指先抽出処理への切替処理を行う。これにより、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、高頻度での取得モードの変更が回避される。
【選択図】図２４

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、ならびにそのような情報を取得するための物体検出プログラムおよび物体の検出方法に関する。

従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、上記のように物体で反射された表示光を利用する場合、その表示光の輝度が問題となる。具体的には、受光する光の輝度が表示光の輝度に左右され、表示光の輝度は画像データに応じて変化することから、例えばいわゆる黒表示状態の場合や、半透過型の液晶表示装置においてバックライトが常時オフ状態にあるとき（例えば、屋外で利用する場合）などは、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまう。

そこで、例えば使用状況に応じて撮像モードや検出モードを切り換えるようにすれば、使用状況に応じて適したモードを利用することが可能となり、パネルに接触または近接する物体の位置などを確実に検出することができると考えられる。

ところが、何らかのパラメータの大きさに応じてモードを切り換えるとすると、例えば切替の閾値付近でパラメータが変動するようなときには、撮像モードや検出モードが頻繁に切り替わってしまうため、物体の位置などの検出動作が不安定となってしまう。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な画像表示装置および物体の検出方法を提供することにある。

本発明の表示撮像装置は、画像表示機能と撮像機能とを有する表示撮像パネルと、この表示撮像パネルを用いた近接物体に対する２つの撮像モードにより得られる撮像画像に基づき、所定の処理画像を生成する画像生成手段と、撮像画像および処理画像のうちの少なくとも一方に基づき、近接物体の位置、形状または大きさの少なくとも１つに関する情報を、互いに異なる２つの取得モードにより取得することが可能な画像処理手段と、切替手段とを備えたものである。ここで、この切替手段は、所定のパラメータの大きさに応じて画像処理手段における２つの取得モード間の切替処理を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替処理を行うものである。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。

本発明の物体検出プログラムは、画像表示機能と撮像機能とを有する表示撮像パネルを用いた２つの撮像モードを利用することにより、近接物体の撮像画像を取得する撮像ステップと、この撮像ステップにより得られた撮像画像に基づき、所定の処理画像を生成する画像生成ステップと、撮像ステップにより得られた撮像画像および画像生成ステップにより得られた処理画像のうちの少なくとも一方に基づき、互いに異なる２つの取得モードのうちの一方を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと、切替ステップとをコンピュータに実行させるようにしたものである。ここで、この切替ステップは、所定のパラメータの大きさに応じて検出ステップにおいて利用する２つの取得モード間の切替処理を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替処理を行うものである。

本発明の物体の検出方法は、画像表示機能と撮像機能とを有する表示撮像パネルを用いた２つの撮像モードを利用することにより近接物体の撮像画像を取得し、この撮像画像に基づいて所定の処理画像を生成し、撮像画像および処理画像のうちの少なくとも一方に基づき、互いに異なる２つの取得モードのうちの一方を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出し、所定のパラメータの大きさに応じて２つの取得モード間の切替処理を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替処理を行うようにしたものである。

本発明の表示撮像装置、物体検出プログラムおよび物体の検出方法では、画像表示機能と撮像機能とを有する表示撮像パネルを用いた２つの撮像モードを利用することにより、近接物体の撮像画像が得られ、この撮像画像に基づいて所定の処理画像が生成される。そして撮像画像および処理画像のうちの少なくとも一方に基づき、互いに異なる２つの取得モードのうちの一方を利用することにより、近接物体の位置、形状または大きさの少なくとも１つに関する情報が検出される。また、所定のパラメータの大きさに応じて、２つの取得モード間の切替処理がなされる。ここで、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理がなされる一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替処理がなされる。すなわち、２つの取得モード間での切替処理が、ヒステリシスを用いてなされる。これにより、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、２つの取得モード間での切替処理がその都度なされることがなくなり、高頻度での取得モードの変更が回避される。

本発明の表示撮像装置では、上記画像生成手段が、表示撮像パネルからの表示光を利用してこの表示撮像パネルにより近接物体を撮像する第１の撮像モードにより得られる表示光利用画像と、表示撮像パネルにより近接物体の影を撮像する第２の撮像モードにより得られる影画像との差分処理を行うことにより、処理画像としての差分画像を生成すると共に、上記画像処理手段が、影画像および差分画像をのうちの少なくとも一方に基づき、近接物体の位置、形状または大きさの少なくとも１つに関する情報を、２つの取得モードにより取得することが可能となっているようにしてもよい。なお、「影画像」とは、外光による影を撮像して得られる画像であり、表示光を利用しないで得られる画像を意味する。

本発明の表示撮像装置、物体検出プログラムまたは物体の検出方法によれば、所定のパラメータの大きさに応じて２つの取得モード間の切替処理を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の取得モードから上記一の取得モードへの切替処理を行うようにしたので、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、高頻度での取得モードの変更を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。

受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。なお、各画素での受光データは、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。

画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは表示ドライブ回路１２へ供給されるようになっている。

次に、図２を参照してＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

表示エリア（センサエリア）２１は、バックライト１５からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。

次に、図３を参照して、表示エリア２１における各画素の詳細構成例について説明する。この図３に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。

具体的には、表示素子側には、水平方向に延在するゲート電極３１ｈと垂直方向に延在するドレイン電極３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。そしてゲート電極３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定されるようになっている。

一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、電源電圧ＶＤＤが供給されるようになっている。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、コンデンサ３１ｅにおいて受光量に対応した電荷が蓄積されるようになっている。そして蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極３１ｊに供給され、外部へ出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極３１ｋにより供給される信号により制御される。

次に、図４を参照して、表示エリア２１内の各画素とセンサ読み出し用Ｈドライバ２５との接続関係について説明する。この表示エリア２１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並んで配置されている。

各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２５へ供給される。なお、各信号出力用電極には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２５で感度良く受光量に対応した信号が検出されるようになっている。

次に、本実施の形態の表示撮像装置の動作について詳細に説明する。

まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。

この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。

ここで、図５を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。

まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。

このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１４へ出力される。

そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）が行われることにより、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

次に、図６〜図２２を参照して、本発明の特徴的部分の１つである、画像処理部１４による指先等のＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図６は、この画像処理部１４による指先抽出処理を流れ図で表したものであり、図７は、この指先抽出処理の一部をタイミング図で表したものである。

まず、表示１フレーム期間の前半期間であるバックライト１５がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ａ（影画像）が取得される（図６のステップＳ１１、図７）。

次に、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図７）。そしてこの画像Ｂと画像Ａとの差分画像Ｃに基づく指先抽出処理（差分画像指先抽出処理）が画像処理部１４によってなされる（ステップＳ１２）。

また、この差分画像指先抽出処理と並行して、画像Ａ（影画像）に基づく指先抽出処理（影画像指先抽出処理）が画像処理部１４によってなされる（ステップＳ１３、図７）。

次に、画像処理部１４は、後述する所定のパラメータの大きさに応じて、ステップＳ１２においてなされた差分画像指先抽出処理による抽出結果と、ステップＳ１３においてなされた影画像指先抽出処理による抽出結果とのうち、差分画像指先抽出処理による抽出結果を採用するかどうかを判断する（ステップＳ１４）。所定のパラメータの大きさに基づき、差分画像指先抽出処理による抽出結果を採用すると判断した場合（ステップＳ１４：Ｙ）には、画像処理部１４は、差分画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１５）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。

一方、所定のパラメータの大きさに基づき、差分画像指先抽出処理による抽出結果を採用しないと判断した場合（ステップＳ１４：Ｎ）には、画像処理部１４は、影画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１６）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。

なお、その後は、画像処理部１４による指先抽出処理全体を終了するか否かが判断され（ステップＳ１８）、まだ終了しないと判断した場合には（ステップＳ１８：Ｎ）、ステップＳ１１〜Ｓ１７までの処理が繰り返される一方、終了すると判断した場合には（ステップＳ１８：Ｙ）、指先抽出処理全体が終了となる。

このようにして、後述する所定のパラメータの大きさに応じて、差分画像指先抽出処理による抽出結果および影画像指先抽出処理による抽出結果のうちの一方が採用されることにより、これら２つの指先抽出処理間での切替処理が可能となっている。

次に、差分画像指先抽出処理および影画像指先抽出処理の詳細について説明する。

まず、図８〜図１３を参照して、差分画像指先抽出処理の詳細について説明する。図８は、この差分画像指先抽出処理の詳細を流れ図で表したものである。

まず、前述したように、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図８のステップＳ１２１、図７）。

次に、画像処理部１４は、この画像Ｂと、バックライト１５がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（ステップＳ１２２）。

そして、画像処理部１４は、生成された差分画像の重心を判定する演算処理を行い（ステップＳ１２３）、接触（近接）中心の特定を行う（ステップＳ１２４）。

このようにして、差分画像指先抽出処理では、表示光を利用した画像Ｂと表示光を利用しないで外光（環境光）を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理がなされるため、図９に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされる。

具体的には、例えば図１０（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト１５を点灯させた状態での受光出力電圧Ｖon１は、図１０（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、図１１（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト１５を点灯させた状態での受光出力電圧Ｖon２は、図１１（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このように、図１０および図１１を比較すると判るように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧Ｖｂと、バックライトの消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。

よって、バックライト１５の点灯時の電圧と消灯時の電圧との差を検出して、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、接触した個所又は近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出される。

また、図１２（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、 図１２（Ａ）は、パネルの表示エリア２１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図１２（Ｂ）に示す状態となる。また、図１２（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧である。

図１２（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。

また、この差分画像指先抽出処理では、図１３（Ａ）〜（Ｄ）に示した画像（それぞれ、画像Ａ〜Ｃ、および画像Ｃの２値化画像）からわかるように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。

次に、図１４〜図２１を参照して、影画像指先抽出処理の詳細について説明する。図１４は、この影画像指先抽出処理の詳細を流れ図で表したものであり、図１５は、影画像指先抽出処理の際の状況を斜視図で表したものである。

まず、画像処理部１４は、すでに取得された画像Ａ（影画像）の反転画像（−Ａ）を生成する（ステップＳ１３１）。また、画像処理部１４は、もとの画像Ａの移動平均画像ＭＡを生成する（ステップＳ１３２）。

この移動平均画像ＭＡの生成は、具体的には例えば図１９（Ａ），（Ｂ）に示したように、画像Ａにおいて、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、例えば図２０に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像全体について行う。また、この平均化演算処理の際の画素領域５０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（例えば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。詳細は後述するが、このような大きさとすることで、例えば図１６に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。なお、例えば図２１に示したように、平均化演算処理の際に必要となる実際の撮像領域５０の外側の領域５１の画素データについては、例えば撮像領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。

次に、画像処理部１４は、移動平均画像ＭＡから、後に（ステップＳ１３６において）利用する所定の閾値ＴＨを算出する（ステップＳ１３３）。具体的には、移動平均画像ＭＡにおける最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａにおける最も暗い（最も画素データの小さい）画素の画素データとに基づいて（例えば、これらの画素データの平均を取って）閾値ＴＨを求める。なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、画像処理部１４は、生成した移動平均画像ＭＡの反転画像（−ＭＡ）を生成し（ステップＳ１３４）、もとの画像Ａの反転画像（−Ａ）とこの移動平均画像ＭＡの反転画像（−ＭＡ）との差分画像、すなわち移動平均画像ＭＡともとの画像Ａとの差分画像である差分画像Ｄ＝（−Ａ）−（−ＭＡ）＝ＭＡ−Ａを生成する（ステップＳ１３６）。そして画像処理部１４は、画像Ｄの各画素データからステップＳ１３７において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳ１３７）。

ここで、図１７に示した画像Ｄ，Ｅおよび図１８に示したこれら画像Ｄ，Ｅにおける受光出力電圧波形例Ｇｄ，Ｇｅのように、ターゲットサイズａと同程度の大きさである指先部分だけが検出される一方、指先よりも大きい拳部分については検出されないようになる。なお、図１８に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。

次に、画像処理部１４は、前述の差分画像指先抽出処理の場合と同様にして、この画像Ｅに基づいて重心計算処理（ステップＳ１３７）および接触（近接）中心の特定処理（ステップＳ１３８）を行う。

このようにして、影画像指先抽出処理では、外光を利用して撮像された画像Ａの移動平均画像ＭＡと、もとの画像Ａとの差分画像Ｄに基づいて指先の抽出処理がなされるため、前述のようにターゲットサイズと同程度の大きさの物体のみが検出されると共に、表示光が出射されていないような場合（例えば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト１５が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の検出がなされる。

なお、この影画像指先抽出処理においても、差分画像指先抽出処理の場合と同様に、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体について、それぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。

このようにして、以上説明した差分画像指先抽出処理および影画像指先抽出処理のうちの一方による近接物体の検出結果が最終結果として採用され、画像処理部１４からアプリケーションプログラム実行部１１へ出力される。

なお、図２２は、これら差分画像指先抽出処理および影画像指先抽出処理による指先抽出処理の特徴を比較して表したものである。この図において、「○」はその条件下での指先抽出が得意であることを、「△」はその条件下での指先抽出処理が状況によって得意・不得意が変動することを、「×」はその状況下では原則として指先抽出処理が不得意であることを、それぞれ表している。この図から判るように、周囲が明るい環境のときには差分画像指先抽出処理のほうが指先抽出処理が得意であることから指先抽出処理による抽出結果が採用されると考えられる一方、バックライト１５が消灯していて表示光が出射されていない場合や黒表示状態のときには、差分画像指先抽出処理では抽出ができない場合が生じ、その場合には影画像指先抽出処理による抽出結果が採用されると考えられる。

次に、図２３〜図２５を参照して、本発明の特徴的部分の１つである、差分画像指先抽出処理および影画像指先抽出処理の間の切替処理について、比較例と比較しつつ説明する。

まず、図２４に示した比較例では、所定の切替パラメータ（例えば、後述する環境光の照度や表示輝度）の大きさに応じて、この切替パラメータが所定の切替閾値Ｔｈ１０１よりも大きいか否かによって、差分画像指先抽出処理および影画像指先抽出処理の切替処理がなされている。具体的には、切替パラメータが切替閾値Ｔｈ１０１以下であるときには、差分画像指先抽出処理による抽出結果が採用される一方、切替パラメータが切替閾値Ｔｈ１０１よりも大きいときには、影画像指先抽出処理による抽出結果が採用されるようになっている。ところが、例えば図中の矢印Ｐ１０１で示したように、切替閾値Ｔｈ１０１付近で切替パラメータが変動するようなときには、図中の矢印Ｐ１０２で示したように、差分画像指先抽出処理と影画像指先抽出処理との間で指先抽出処理が頻繁に切り替わってしまう。そしてそのように高頻度で指先抽出処理が切り替わると、近接物体の位置などの検出動作が不安定となってしまうことになる。

これに対して本実施の形態では、所定のパラメータが増加過程にある場合には、このパラメータが第１の切替閾値となったときに、２つの指先抽出処理のうちの一の指先抽出処理から他の指先抽出処理へと切替処理がなされる一方、パラメータが減少過程にある場合には、このパラメータが上記第１の切替閾値よりも小さい第２の切替閾値となったときに、上記他の指先抽出処理から上記一の指先抽出処理への切替処理がなされるようになっている。すなわち、２つの指先抽出処理間での切替処理が、ヒステリシスを用いてなされる。

具体的には、例えば図２４（Ａ）に示したように、所定のパラメータとして環境光（外光）の照度を利用する場合には、この環境光の照度の大きさに応じて影画像指先抽出処理と差分画像指先抽出処理との間の切替処理がなされると共に、環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値Ｔｈ１１となったときに、差分画像指先抽出処理から影画像指先抽出処理へと切替処理がなされる一方、環境光の照度が減少過程にある場合には、この環境光の照度が第１の照度閾値Ｔｈ１１よりも小さい第２の照度閾値Ｔｈ１２となったときに、影画像指先抽出処理から差分画像指先抽出処理への切替処理がなされる。

なお、このような環境光の照度の測定には、前述した影画像の移動平均画像（ＭＡ）を利用すればよい。具体的には、例えば図２５に示したように、移動平均画像（ＭＡ）の中で最大の明るさとなっている部分（例えば、図中の符号Ｐ３の部分）を、周囲環境の明るさを表す値（環境光の照度値）として利用するようにする。このように移動平均画像（ＭＡ）を利用することにより、Ｉ／Ｏディスプレイパネル２０の受光センサ出力のばらつきの影響が無視できるようになる。

また、例えば図２４（Ｂ）に示したように、所定のパラメータとしてＩ／Ｏディスプレイパネル２０の表示輝度を利用する場合には、この表示輝度の大きさに応じて影画像指先抽出処理と差分画像指先抽出処理との間の切替処理がなされると共に、表示輝度が増加過程にある場合には、この表示輝度が第１の輝度閾値Ｔｈ２１となったときに、影画像指先抽出処理から差分画像指先抽出処理へと切替処理がなされる一方、表示輝度が減少過程にある場合には、この表示輝度が第１の輝度閾値ＴＨ２１よりも小さい第２の輝度閾値Ｔｈ２２となったときに、差分画像指先抽出処理から影画像指先抽出処理への切替処理がなされる。

これらにより、例えば図２４（Ａ），（Ｂ）中の矢印Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２に示したように、環境光の照度や表示輝度が閾値ＴＨ１１，Ｔｈ１２，Ｔｈ２１，Ｔｈ２２の付近で変動するような場合であっても、２つの指先抽出処理間での切替処理がその都度なされることがなくなるため、上記比較例のような高頻度での指先抽出処理の変更が回避される。

以上のように本実施の形態では、所定のパラメータの大きさに応じて２つの指先抽出処理の切替処理を行うと共に、パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、２つの指先抽出処理のうちの一の指先抽出処理から他の指先抽出処理へと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の閾値よりも小さい第２の閾値となったときに、上記他の指先抽出処理から上記一の指先抽出処理への切替処理を行うようにしたので、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、高頻度での指先抽出処理の変更を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。

また、画像Ａに基づいて移動平均画像ＭＡを生成し、この移動平均画像ＭＡともとの画像Ａとの差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅを利用して検出すると共に、平均化演算処理の際の画素領域５０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、例えばターゲットサイズと同程度の大きさである指先部分だけを検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。

また、一の動作周期（１表示フレーム期間）内において、画像Ａ（影画像）の取得を画像Ｂ（表示光利用画像）の取得よりも先に行うようにしたので、例えば図７に示したように、差分画像指先抽出処理を行うまでに演算処理に時間を要する移動平均画像ＭＡの演算を行う時間を確保することができ、逆に画像Ｂの取得を画像Ａの取得よりも先に行うように構成した場合と比べ、全体として短時間で処理を行うことが可能となる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態の表示撮像装置は、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、画像Ａ（影画像）と差分画像Ｃとに基づく合成画像を利用して、指先抽出処理を行うようにしたものである。また、この「影画像と差分画像とに基づく合成画像」の合成時の重み付け係数（後述するα，β）の組み合わせを、複数登録できるようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図２６は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳ２１）、重心計算および接触（近接）中心の特定処理を除いて、差分画像指先抽出処理および影画像指先抽出処理がそれぞれ実行される（ステップＳ２２，Ｓ２３）。

次に、画像処理部１４は、後述する所定のパラメータ（例えば、環境光の照度）の大きさに応じて、ステップＳ１２においてなされた差分画像指先抽出処理の際に得られる差分画像Ｃと、ステップＳ１３においてなされた影画像指先抽出処理の際に得られる影画像Ａ（具体的には、その影画像Ａに基づく画像Ｅ）とに基づく合成画像Ｆとして、後述する組み合わせ（重み付け係数α，βの組み合わせ）Ａによる合成画像を採用するかどうかを判断する（ステップＳ２４）。所定のパラメータの大きさに基づき、組み合わせＡによる合成画像を採用すると判断した場合（ステップＳ２４：Ｙ）には、画像処理部１４は、この組み合わせＡによる合成画像を採用すると決定する（ステップＳ２５）。一方、所定のパラメータの大きさに基づき、組み合わせＡによる合成画像を採用しないと判断した場合（ステップＳ２４：Ｎ）には、画像処理部１４は、後述する組み合わせＢによる合成画像を採用すると決定する（ステップＳ２６）。

次に、例えば図２７に示したように、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋β×Ｅが生成される。（ステップＳ２７）なお、α，βはそれぞれ、差分画像Ｃまたは画像Ｅに対する重み付け係数を表しており、これら重み付け係数α，βの組み合わせは、複数用意されるようになっている（例えば、α，β＝１／２，１，２，４，８など）。

なお、その後は、第１の実施の形態と同様に、重心計算処理（ステップＳ２８）、接触（近接）中心の特定処理（ステップＳ２９）および最終結果の出力処理（ステップＳ３０）がなされると共に、画像処理部１４による指先抽出処理全体を終了するか否かが判断される（ステップＳ３１）。そしてまだ終了しないと判断した場合には（ステップＳ３１：Ｎ）、ステップＳ２１〜Ｓ３０までの処理が繰り返される一方、終了すると判断した場合には（ステップＳ３１：Ｙ）、指先抽出処理全体が終了となる。

このようにして、後述する所定のパラメータの大きさに応じて、画像合成の際の重み付け係数α，βの組み合わせが異なる２つの組み合わせＡ，Ｂによる合成画像Ｆのうちの一方が採用されることにより、これら２つの組み合わせＡ，Ｂによる合成画像Ｆを用いた指先抽出処理間での切替処理が可能となっている。

次に、図２８〜図３１を参照して、本発明の特徴的部分の１つである、２つの組み合わせＡ，Ｂによる合成画像Ｆを用いた指先抽出処理間での切替処理について、比較例と比較しつつ説明する。

まず、図２８に示した比較例では、所定の切替パラメータ（例えば、後述する環境光の照度）の大きさに応じて、この切替パラメータが所定の切替閾値Ｔｈ２０１よりも大きいか否かによって、組み合わせＡによる合成画像Ｆを用いた指先抽出処理と、組み合わせＢによる合成画像Ｆを用いた指先抽出処理との切替処理がなされている。具体的には、切替パラメータが切替閾値Ｔｈ２０１以下であるときには、組み合わせＢによる合成画像Ｆを用いた指先抽出処理が採用される一方、切替パラメータが切替閾値Ｔｈ２０１よりも大きいときには、組み合わせＡによる合成画像Ｆを用いた指先抽出処理が採用されるようになっている。ところが、例えば図中の矢印Ｐ２０１で示したように、切替閾値Ｔｈ２０１付近で切替パラメータが変動するようなときには、図中の矢印Ｐ２０２で示したように、組み合わせＡによる合成画像Ｆを用いた指先抽出処理と、組み合わせＢによる合成画像Ｆを用いた指先抽出処理との間で指先抽出処理が頻繁に切り替わってしまう。そしてそのように高頻度で指先抽出処理が切り替わると、近接物体の位置などの検出動作が不安定となってしまうことになる。

これに対して本実施の形態では、所定のパラメータが増加過程にある場合には、このパラメータが第１の切替閾値となったときに、２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理のうちの一の組み合わせによる合成画像を用いた指先抽出処理から他の組み合わせによる合成画像を用いた指先抽出処理へと切替処理がなされる一方、パラメータが減少過程にある場合には、このパラメータが上記第１の切替閾値よりも小さい第２の切替閾値となったときに、上記他の組み合わせによる合成画像を用いた指先抽出処理から上記一の組み合わせによる合成画像を用いた指先抽出処理への切替処理がなされるようになっている。すなわち、２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理間での切替処理が、ヒステリシスを用いてなされる。

具体的には、例えば図２９に示したように、所定のパラメータとして環境光（外光）の照度を利用する場合には、この環境光の照度の大きさに応じて２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理間の切替処理がなされると共に、環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値Ｔｈ３１となったときに、組み合わせＢによる合成画像を用いた指先抽出処理から組み合わせＡによる合成画像を用いた指先抽出処理へと切替処理がなされる一方、環境光の照度が減少過程にある場合には、この環境光の照度が第１の照度閾値Ｔｈ３１よりも小さい第２の照度閾値Ｔｈ３２となったときに、組み合わせＡによる合成画像を用いた指先抽出処理から組み合わせＢによる合成画像を用いた指先抽出処理への切替処理がなされる。

これより、例えば図２９中の矢印Ｐ３１，Ｐ３２に示したように、環境光の照度が閾値ＴＨ３１，Ｔｈ３２の付近で変動するような場合であっても、２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理間での切替処理がその都度なされることがなくなるため、第１の実施の形態と同様に、上記比較例のような高頻度での指先抽出処理の変更が回避される。

ここで、このような組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理としては、以下、図３０および図３１において説明するように、差分画像Ｃおよび影画像Ａに基づく画像Ｃのうちのどちらの重み付け係数を大きく設定するか（重み付け係数α，βのどちらを大きく設定するか）により、２つの例が考えられる。

まず、１つ目の例としては、例えば図３０（Ａ），（Ｂ）に示したように、組み合わせＡ１による合成画像Ｆ１ａでは、差分画像Ｃの重み付け係数αが、影検出による画像Ｅの重み付け係数βよりも小さくなっている（例えば、α＝１／２，β＝２）一方、組み合わせＢ１による合成画像Ｆ１ｂでは、差分画像Ｃの重み付け係数αが、影検出による画像Ｅの重み付け係数βよりも大きくなっている（例えば、α＝４，β＝１／２）。このように構成した場合、暗い環境では、主に差分画像Ｃの値が採用されることにより暗電流ノイズが抑制される一方、明るい環境では、主に影画像Ａに基づく画像Ｅの値が採用されることにより、図３０（Ｂ）中の矢印Ｐ４で示したような差分エッジが抑制される。したがって、この構成例は、主にＩ／Ｏディスプレイパネル２０において光に対する感度が低いときなどに、周囲環境により適した画像処理が可能となるために望ましいといえる。すなわち、より感度の高い出力を採用し、ノイズの多い出力を抑える方向に構成しているといえる。なお、上記した差分エッジ（偽信号）とは、強い外光下の差分画像指先抽出処理において、対象物が高速で移動している場合などに、画像Ａ，Ｂを撮像する際の時間差と外光の影響とによって発生するものである。

また、２つ目の例としては、例えば図３１（Ａ），（Ｂ）に示したように、組み合わせＡ２による合成画像Ｆ２ａでは、差分画像Ｃの重み付け係数αが、影検出による画像Ｅの重み付け係数βよりも大きくなっている（例えば、α＝４，β＝１）一方、組み合わせＢ２による合成画像Ｆ２ｂでは、差分画像Ｃの重み付け係数αが、影検出による画像Ｅの重み付け係数βよりも小さくなっている（例えば、α＝１，β＝４）。すなわち、図３０（Ａ），（Ｂ）に示した重み付け係数α，βの組み合わせとは、逆の組み合わせとなっている。Ｉ／Ｏディスプレイパネル２０の出力のＳ／Ｎ（信号対雑音比）が高い場合や、アプリケーションの種類によっては、明るさに対する合成比率の振る舞いを逆にすることも有効であるからである。このように構成した場合、より感度の低い指先抽出処理に高い倍率を掛ける（重み付け係数を大きくする）ことにより、影画像指先抽出処理および差分画像指先抽出処理の両方の処理結果を常に採用できるようになるため、より安定した出力を得ることが可能となる。また、後処理では一定の閾値で指を判別することが容易となる。ただし、周囲環境が暗い場合においてもＩ／Ｏディスプレイパネル２０の出力のノイズが少ないことが必要であり、また、上記した差分エッジの発生も別途解決しておく必要がある。

以上のように本実施の形態では、所定のパラメータの大きさに応じて２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理の切替処理を行うと共に、所定のパラメータが増加過程にある場合には、このパラメータが第１の切替閾値となったときに、２つの組み合わせＡ，Ｂによる合成画像を用いた指先抽出処理のうちの一の組み合わせによる合成画像を用いた指先抽出処理から他の組み合わせによる合成画像を用いた指先抽出処理へと切替処理を行う一方、パラメータが減少過程にある場合には、このパラメータが上記第１の切替閾値よりも小さい第２の切替閾値となったときに、上記他の組み合わせによる合成画像を用いた指先抽出処理から上記一の組み合わせによる合成画像を用いた指先抽出処理への切替処理を行うようにしたので、上記第１の実施の形態と同様に、例えばパラメータが第１の閾値や第２の閾値の付近で変動するような場合であっても、高頻度での指先抽出処理の変更を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。

（アプリケーションプログラムの実行例）
次に、図３２〜図３５を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。

まず、図３２（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図３２（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図３３に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図３４に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図２５に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図３５に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、閾値Ｔｈ１１，Ｔｈ１２，Ｔｈ２１，Ｔｈ２２，Ｔｈ３１，Ｔｈ３２がそれぞれ固定値である場合について説明したが、例えばこれらの閾値を、ユーザが任意に調整可能となっているようにしてもよい。

また、本発明の移動平均画像の生成処理では、平均化画像処理を行い際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。例えば図３６（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対してのみ平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対してのみ平均化演算処理を行うようにしてもよい。また、例えば図３７（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。

また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域５０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域５０よりも大きい、すなわち画素領域５０よりも空間周波数の高いもの（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域５０よりも空間周波数の低いもの（この場合、影画像）を除去し、空間周波数の高いもの（この場合、指先画像）だけを抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。

また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば図３８および図３９に示した表示撮像装置のように、例えば、有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル８０）を構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 各画素の構成例を表す回路図である。 各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 第１の実施の形態に係る指先抽出処理を表す流れ図である。 図６における各抽出処理について説明するためのタイミング図である。 図７に示した差分画像指先抽出処理の詳細を表す流れ図である。 差分画像指先抽出処理について説明するための写真構成図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真構成図である。 図７に示した影画像指先検出処理の詳細を表す流れ図である。 影画像指先検出処理の概念について説明するための斜視図である。 影画像指先検出処理による撮像画像の一例を表す摸式図である。 影画像指先抽出処理について説明するための写真構成図である。 影画像指先抽出処理による受光信号について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 差分画像指先抽出処理と影画像指先抽出処理とについて比較説明するための図である。 比較例に係る抽出処理間の切替処理について説明するための図である。 第１の実施の形態に係る抽出処理間の切替処理について説明するための図である。 図２４（Ａ）に示した環境光の照度の検知方法の一例を説明するための写真構成図である。 本発明の第２の実施の形態に係る指先抽出処理を表す流れ図である。 図２８に示した画像合成処理について説明するための写真構成図である。 比較例に係る係数組み合わせの切替処理について説明するための図である。 第２の実施の形態に係る係数組み合わせの切替処理について説明するための図である。 係数組み合わせの一例を表す写真構成図である。 係数組み合わせの他の例を表す写真構成図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る表示撮像装置の構成を表すブロック図である。 図３８に示した表示撮像装置における各画素の構成例を表す回路図である。

符号の説明

１１，８１…アプリケーションプログラム実行部、１２，８２…表示ドライブ回路、１３，８３…受光ドライブ回路、１３Ａ，８３Ａ…フレームメモリ、１４，８４…画像処理部、１５…バックライト、２０，８０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用Ｈドライバ、２３…表示用Ｖドライバ、２４…センサ用Ｖドライバ、２５…センサ読み出し用Ｈドライバ、３０…演算画素領域、３１〜３３…画素、４１ａ〜４１ｃ…定電流源、５０…表示用領域、５１…演算用領域。

Claims (18)

1. 画像表示機能と撮像機能とを有する表示撮像パネルと、
   前記表示撮像パネルを用いた近接物体に対する２つの撮像モードにより得られる撮像画像に基づき、所定の処理画像を生成する画像生成手段と、
   前記撮像画像および前記処理画像のうちの少なくとも一方に基づき、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を、互いに異なる２つの取得モードにより取得することが可能な画像処理手段と、
   所定のパラメータの大きさに応じて前記画像処理手段における２つの取得モード間の切替処理を行うと共に、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替処理を行う切換手段と
   を備えたことを特徴とする表示撮像装置。
2. 前記画像生成手段は、前記表示撮像パネルからの表示光を利用してこの表示撮像パネルにより前記近接物体を撮像する第１の撮像モードにより得られる表示光利用画像と、前記表示撮像パネルにより前記近接物体の影を撮像する第２の撮像モードにより得られる影画像との差分処理を行うことにより、前記処理画像としての差分画像を生成し、
   前記画像処理手段は、前記影画像および前記差分画像をのうちの少なくとも一方に基づき、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を、前記２つの取得モードにより取得することが可能となっている
   ことを特徴とする請求項１に記載の表示撮像装置。
3. 前記画像処理手段は、前記影画像に基づく取得モードである影取得モードと、前記差分画像に基づく取得モードである差分取得モードとにより、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得することが可能となっており、
   前記切替手段は、前記パラメータの大きさに応じて、前記影取得モードと前記差分取得モードとの間の切替処理を行う
   ことを特徴とする請求項２に記載の表示撮像装置。
4. 前記切替手段は、環境光の照度の大きさに応じて前記影取得モードと前記差分取得モードとの間の切替処理を行うと共に、前記環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値となったときに、前記差分取得モードから前記影取得モードへと切替処理を行う一方、前記環境光の照度が減少過程にある場合には、この環境光の照度が前記第１の照度閾値よりも小さい第２の照度閾値となったときに、前記影取得モードから前記差分取得モードへの切替処理を行う
   ことを特徴とする請求項３に記載の表示撮像装置。
5. 前記切替手段は、前記影画像の移動平均画像を利用して、前記環境光の照度を検知する
   ことを特徴とする請求項４に記載の表示撮像装置。
6. 前記切替手段は、前記表示撮像パネルの表示輝度の大きさに応じて前記影取得モードと前記差分取得モードとの間の切替処理を行うと共に、前記表示輝度が増加過程にある場合には、この表示輝度が第１の輝度閾値となったときに、前記影取得モードから前記差分得モードへと切替処理を行う一方、前記表示輝度が減少過程にある場合には、この表示輝度が前記第１の輝度閾値よりも小さい第２の輝度閾値となったときに、前記差分取得モードから前記影取得モードへの切替処理を行う
   ことを特徴とする請求項３に記載の表示撮像装置。
7. 前記画像生成手段は、前記差分画像と前記影画像とに基づく合成画像を、複数の重み付け係数の組み合わせを用いて生成可能となっており、
   前記画像処理手段は、前記差分画像の重み付け係数が前記影画像の重み付け係数よりも大きい重み付け係数の組み合わせを用いた合成画像に基づく取得モードである第１の合成取得モードと、前記差分画像の重み付け係数が前記影画像の重み付け係数よりも小さい重み付け係数の組み合わせを用いた合成画像に基づく取得モードである第２の合成取得モードとにより、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得することが可能となっており、
   前記切替手段は、前記パラメータの大きさに応じて、前記第１および第２の合成取得モードの間の切替処理を行う
   ことを特徴とする請求項２に記載の表示撮像装置。
8. 前記切替手段は、環境光の照度の大きさに応じて前記第１および第２の合成取得モードの間の切替処理を行うと共に、前記環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値となったときに、前記第１の合成取得モードから前記第２の合成取得モードへと切替処理を行う一方、前記環境光の照度が減少過程にある場合には、この環境光の照度が前記第１の照度閾値よりも小さい第２の照度閾値となったときに、前記第２の合成取得モードから前記第１の合成取得モードへの切替処理を行う
   ことを特徴とする請求項７に記載の表示撮像装置。
9. 前記切替手段は、環境光の照度の大きさに応じて前記第１および第２の合成取得モードの間の切替処理を行うと共に、前記環境光の照度が増加過程にある場合には、この環境光の照度が第１の照度閾値となったときに、前記第２の合成取得モードから前記第１の合成取得モードへと切替処理を行う一方、前記環境光の照度が減少過程にある場合には、この環境光の照度が前記第１の照度閾値よりも小さい第２の照度閾値となったときに、前記第１の合成取得モードから前記第２の合成取得モードへの切替処理を行う
   ことを特徴とする請求項７に記載の表示撮像装置。
10. 前記切替手段は、環境光の照度の大きさに応じて前記第１および第２の合成取得モードの間の切替処理を行うと共に、前記影画像の移動平均画像を利用して、前記環境光の照度を検知する
    ことを特徴とする請求項７に記載の表示撮像装置。
11. 前記第１および第２の閾値が、ユーザによって任意に調整可能となっている
    ことを特徴とする請求項１に記載の表示撮像装置。
12. 前記画像処理手段は、前記表示撮像パネル上に同時に位置する複数の近接物体の位置、形状または大きさの少なくとも１つに関する情報をそれぞれ取得する
    ことを特徴とする請求項１に記載の表示撮像装置。
13. 前記表示撮像パネルにより、取得した前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を表示する
    ことを特徴とする請求項１に記載の表示撮像装置。
14. 前記表示撮像パネルが、複数の液晶素子および複数の撮像素子を含んで構成されている
    ことを特徴とする請求項１に記載の表示撮像装置。
15. 前記表示撮像パネルが、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成されている
    ことを特徴とする請求項１に記載の表示撮像装置。
16. 前記表示撮像素子が、有機ＥＬ素子である
    ことを特徴とする請求項１５に記載の表示撮像装置。
17. 画像表示機能と撮像機能とを有する表示撮像パネルを用いた２つの撮像モードを利用することにより、近接物体の撮像画像を取得する撮像ステップと、
    前記撮像ステップにより得られた撮像画像に基づき、所定の処理画像を生成する画像生成ステップと、
    前記撮像ステップにより得られた撮像画像および前記画像生成ステップにより得られた処理画像のうちの少なくとも一方に基づき、互いに異なる２つの取得モードのうちの一方を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと、
    所定のパラメータの大きさに応じて前記検出ステップにおいて利用する２つの取得モード間の切替処理を行うと共に、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替処理を行う切換ステップと
    をコンピュータに実行させることを特徴とする物体検出プログラム。
18. 画像表示機能と撮像機能とを有する表示撮像パネルを用いた２つの撮像モードを利用することにより、近接物体の撮像画像を取得し、
    前記撮像画像に基づいて所定の処理画像を生成し、
    前記撮像画像および前記処理画像のうちの少なくとも一方に基づき、互いに異なる２つの取得モードのうちの一方を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出し、
    所定のパラメータの大きさに応じて前記２つの取得モード間の切替処理を行うと共に、前記パラメータが増加過程にある場合には、このパラメータが第１の閾値となったときに、前記２つの取得モードのうちの一の取得モードから他の取得モードへと切替処理を行う一方、前記パラメータが減少過程にある場合には、このパラメータが前記第１の閾値よりも小さい第２の閾値となったときに、前記他の取得モードから前記一の取得モードへの切替処理を行う
    ことを特徴とする物体の検出方法。

Images