JP2012027528A - 表示装置、表示方法及び表示装置を制御するプログラム - Google Patents

表示装置、表示方法及び表示装置を制御するプログラム Download PDF

Info

Publication number
JP2012027528A
JP2012027528A JP2010162631A JP2010162631A JP2012027528A JP 2012027528 A JP2012027528 A JP 2012027528A JP 2010162631 A JP2010162631 A JP 2010162631A JP 2010162631 A JP2010162631 A JP 2010162631A JP 2012027528 A JP2012027528 A JP 2012027528A
Authority
JP
Japan
Prior art keywords
display
shape
display device
display panel
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010162631A
Other languages
English (en)
Other versions
JP5339464B2 (ja
Inventor
Takuya Imai
拓也 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Infrontia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Infrontia Corp filed Critical NEC Infrontia Corp
Priority to JP2010162631A priority Critical patent/JP5339464B2/ja
Publication of JP2012027528A publication Critical patent/JP2012027528A/ja
Application granted granted Critical
Publication of JP5339464B2 publication Critical patent/JP5339464B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】顧客の個人情報を他人に閲覧され難いように表示する表示装置、表示方法及び表示装置を制御する制御プログラムを提供すること。
【解決手段】本発明にかかる表示装置は、マルチタッチ認識機能を有する表示装置であって、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とするものである。さらに、接触を検出した形状が略くの字形である場合、表示領域は略くの字を円弧として、当該円弧の内側にある中心角を90度とする扇形であることを特徴とする。
【選択図】図1

Description

本発明は表示装置、表示方法及び表示装置を制御するプログラムに関する。
従来、店舗に来店した顧客と従業員が接客端末でやりとりをする場合、第3者への個人情報流出の観点から、従業員は端末上に顧客の個人情報、例えば氏名、生年月日、住所、携帯電話の番号、職業、写真等を表示することができなかった。
そのため、顧客の個人情報を確認する場合、まず従業員のみが業務用端末で顧客情報データベースにアクセスして内容を確認した後、顧客に口頭もしくはプリントアウトした書類などで確認をとるという方法をとっていた。このような接客方法では、客と従業員が同時に個人情報を確認することができない。従って、従業員が確認した後、顧客に確認を取らなければならず、手続きが煩雑である。しかし、従来は個人の情報を他人に見られずに確認する適切な方法がなかった。
ところで、特許文献1および2には、タッチパネルに関する技術が記載されている。特許文献1には、マルチタッチ認識機能を有する表示装置及びその駆動方法に関する技術が記載されている。特許文献1に記載の技術では、液晶表示モジュールに複数のカメラを一体化している。当該複数のカメラが撮影した画像に基づき、タッチ部分の座標を算出する。そして、算出された位置に基づき、タッチ認識を信号処理して液晶表示モジュールを制御するものである。
特許文献2には、水平の卓上ディスプレイについての技術が記載されている。特許文献2に記載の技術は、ディスプレイ上にオブジェクトを表示させ、当該オブジェクトを操作するためのポップアップアイテムを、当該オブジェクトとは離れた場所に表示する。それにより、オブジェクトの編集、操作等をより容易にし、更に、複数のユーザが同時に操作することを可能とする。
また、特許文献3に記載の技術は、コンピュータディスプレイ上の文書データのうちの隠したい部分を隠して表示するものである。特許文献3に記載の技術は、文書データ中にマスクデータを挿入し、ディスプレイに表示された文書データの目的の位置にマスク掛けを行う。そして、当該マスクデータの変更を禁止して、マスクにパスワードを設定する。パスワードを入力すればマスクが解除されるものである。
特開2008−152752号公報 特開2006−228215号公報 特開2007−115228号公報
しかしながら、特許文献1に記載の技術では、複数カメラを使用し、カメラによって撮影された画像に基づいてパネル上にタッチされたタッチイメージのそれぞれの座標を計算する。そのため、表示装置には複数のカメラが必要であるという問題がある。
また、個人情報等をタッチパネルに表示する場合、特許文献2に記載の技術では、個人情報がオブジェクトとは離れた位置に表示されるため、他人に個人情報が閲覧される恐れがあるという問題がある。
また、特許文献3に記載の技術では、マスクされ表示された情報のマスクを解除する際に、パスワードを用いて解除しなければならず、処理が面倒であるという問題がある。
本発明においては、顧客の個人情報を、他人に閲覧され難いように表示する表示装置、表示方法及び表示装置を制御する制御プログラムを提供することを目的とする。
本発明にかかる表示装置は、マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除するものである。
本発明にかかる表示方法は、マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とするものである。
本発明にかかる表示装置の制御プログラムは、マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除する処理をコンピュータに実行させることを特徴とするものである。
本発明によれば、顧客の個人情報を、他人に閲覧され難いように表示する表示装置、表示方法及び表示装置を制御する制御プログラムを提供することができる。
実施の形態1にかかる表示装置1の概要を示す図である。 実施の形態1にかかる表示装置1を詳細に示す図である。 実施の形態1にかかる表示装置1を示す図である。 実施の形態1にかかる本実施の形態にかかる表示装置1の動作を示すフローチャートである。 実施の形態1にかかるマスクされた状態の表示パネル10を示す図である。 実施の形態1にかかる手と判定されたときの画像を示す図である。 白領域が円弧であるかを判定するために必要な3点を説明するための図である。 白領域が円弧であるかを判定する方法を説明するための図である。 実施の形態1にかかる左手を表示パネル10にかざした場合に、マスクが外された後の表示を示す図である。 実施の形態1にかかる右手を表示パネル10にかざした場合に、マスクが外された後の表示を示す図である。 白領域が略直線であるかを判定する方法を説明するための図である。 白領域が略直線であると判定された場合にマスク処理を解除する範囲を示す図である。
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、以下の図面に示す各装置の構成は、例えば記憶装置に読み込まれたプログラムをコンピュータ(PC(personal computer)や携帯端末装置等)上で実行することにより実現される。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
図1は、本実施の形態にかかる表示装置1の概要を示す図である。本実施の形態にかかる表示装置1は、表示パネル2と、カメラ3と、領域算出部4と、表示部5とを有する。
本実施の形態にかかる表示装置は、マルチタッチ認識機能を有する表示装置において、ユーザが表示パネル2に接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除するものである。表示装置1は、透光性の表示パネル2の、ユーザがタッチする側とは反対側である背面側から、表示パネル2のユーザの接触部分に形成される影をカメラ3により撮影する。カメラ3が撮影した撮影画像を解析して、ユーザが表示パネルに接触したことを示すマルチタッチを検出し、ユーザが表示パネル2に接触した接触部分の形状を検出する。この検出した接触部分の形状の検出結果に基づき、表示パネル2のマスク処理を解除して情報表示する表示領域を算出する。そして、算出結果に基づき、表示パネル2の表示領域のマスク処理を解除し、情報を表示する。ここで、マスク処理を解除する表示領域は、ユーザが手を略くの字型にして表示パネルに接触させた当該接触部分(手の甲の側面とそれに連なる小指の側面が接触する部分)を円弧として、当該円弧の内側にある中心角を90度とした略扇形である。
本実施の形態においては、タッチパネル上で、情報をユーザである顧客の略くの字型の手の中に表示することができる。これにより、顧客の個人情報を端末上に表示し、尚且つ周囲にはその情報を隠すことができる表示装置を提供することができる。
本実施の形態にかかる表示装置1について、さらに詳細に説明する。図2は、図1の表示装置1を詳細に示す図である。表示端末1は、表示パネル10と、USBカメラ11と、領域算出部としてのCPU12、メモリ13、及びグラフィックカード14と、表示部としてのプロジェクタ15とを有する。ここで、図1の表示パネル1は、図2の表示パネル10で、図1のカメラ3は図2のUSBカメラ11で構成される。また、図2の表示領域算出部4は図2のUSB12、メモリ13及びグラフィックカード14で構成され、図1の表示部5は、図2のプロジェクタ15で構成されている。表示装置1は、例えばネットワークを通じて、顧客のデータを有するサーバと接続され、表示パネルから入力された指示に従い、サーバから取得した顧客の個人情報等を表示するものである。表示パネル10は、透光性のスクリーンで覆われており、プロジェクタ10Eからの映像を表示する。ユーザである顧客及び従業員は、表示パネル10に表示されているアプリケーション上でタッチ操作を行う。ここで、表示パネル10は半透明であると更に望ましい。本実施の形態では、表示パネル10は半透明である。また、表示パネル10は、床面に水平に設置されているものとして説明する。
USBカメラ11は、表示パネル10のユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影する。本実施の形態においては、水平に設置された表示パネル10の下にレンズ部分を上向きにして設置され、ユーザである従業員および顧客の手の影を撮影する。USBカメラ11は、撮影した映像をCPU12に送信する。
CPU12は、メモリ13及びグラフィックカード14を制御する。メモリ13は、情報隠蔽方法を実装したアプリケーションを格納している。
CPU12は、USBカメラ11からの画像をグラフィックカード14に渡す。グラフィックカード14は、不図示であるGPU(Graphic Processing Unit)とVRAM(Video Random Access Memory)を持つ。GPUは、USBカメラ11から送られてくる画像処理し、VRAMはGPUが処理したデータを蓄える。グラフィックカード14は、処理結果をプロジェクタ15に出力する。
グラフィックカード14は、撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する。そして、当該接触部分の座標の示す形状が略円弧である場合、接触部分として検出する。この際、表示パネル10の表示は、一部を除いてマスク処理されている。
また、本実施の形態において、ユーザが表示パネル10に接触した場合、グラフィックカード14は、接触部分を検出する。そして、検出された接触部分に応じた表示領域を算出する。さらに、表示領域毎に異なる情報を表示する。
プロジェクタ15は、CPU12から送られてきた情報に従い、情報を表示パネル10に映し出す。
表示装置1について更に説明する。図3は、表示装置1を示す図である。手20は、ユーザである顧客または従業員の手である。顧客または従業員は、アプリケーションによって接客端末の表示パネルに映し出される画面をタッチ操作する。
マスク処理適用領域21は、接客端末10の表示パネル上において、マスク処理が適用される範囲を示している。表示装置1は、手20によって覆われた(影になった)周辺のマスク処理を解除する。これにより、他人に閲覧されずに、情報を表示することができる。
次に、図4乃至図8を用いて、本実施の形態にかかる表示装置1の動作について説明する。図4は、本実施の形態にかかる表示装置1の動作を示すフローチャートである。
まず、表示装置1の表示パネル10上に、顧客の個人情報は項目のみが表示される(ステップS1)。この際、個人情報はマスクされている。図5は、マスクされた状態の表示パネル10を示す図である。
次に、従業員が表示パネル10上に手をかざす。USBカメラ11は、表示パネル10の映像を画像として取りこむ(ステップS2)。ここで、取り込んだ画像は、表示パネル上で操作している者から見ると、左右が反転したものになっている。そのため、マスク加工処理を行う際のことを考慮し、USBカメラ11は、取り込んだ画像の左右を反転させる。表示パネルに手20が近ければ近いほど影は濃くなるため、取り込んだ画像では、接触部分付近はより黒く表示される。
次に、USBカメラ11は、取り込んだ画像をCPU12に出力し、CPU12は、出力された画像をグラフィックカード14に出力する。グラフィックカード14は、取り込んだ画像を256階調(0〜255)のグレースケール画像へ変換する(ステップS3)。これによって、何も接触していない領域は黒領域となり、何か接触している領域は白領域となる。
次に、グラフィックカード14は、ステップS3でグレースケール変換を行った画像において、閾値を60とし、グラフィックカード10Dは、輝度が60以下である部分の画素を白色、輝度が61以上である部分の画素を黒色に変換し、2値化する(ステップS4)。画素とは、画面を構成する最小単位である。
次に、グラフィックカード14は、黒色と白色の2値画像に変換されたものに伸縮処理・膨張処理を加え、面積が5画素以下の白領域をノイズとしてみなし、除去する(ステップS5)。そして、ステップS4で抽出した画像より、残っている白領域のうち所定の長さ以下のもの(例えば10cm)以下のものは、手の影ではないと判定し、消去する(ステップS6)。白領域の長さは、一方の端から他方の端まで領域の中心に沿って何点かプロットし、それらの長さを合算して求める。
次に、グラフィックカード14は、残った白領域の座標を計算し、円弧になっている部分があれば、その白領域は手が表示パネルに触れている部分であると判定する(ステップS7)。図6は手と判定されたときの画像を示す図である。25は、表示パネルに触れていると判定された手の形状(手の甲の側面とそれに連なる小指の側面が接触した部分)を表している。なお、図6では、白領域の外縁部のみ、何点かのポイントを選んで表示しているが、実際は、白領域の全域にわたって画素の分だけポイントが存在している。
本実施の形態では、白領域が所定の長さ以下のものは手の影ではないと判定し、次に白領域が円弧の形状をしているか否かの判定をしているが、形状の判定の後に長さの判定を行うようにしてもよい。
ここで、白領域が円弧になっているか否かの判定方法を説明する。まず、グラフィックカード10Dは、白領域の座標を取得する。図7は、白領域が円弧であるかを判定するために必要な3点を説明するための図である。
(1)取得した白領域の座標の中から、白領域の一方の端の座標、白領域の他方の端の座標を取得し、それぞれを点A、点Cとする。点Aと点C間をつないで直線とし、この直線から最も遠い点をBとする。ここで、ベクトルaは点Bから点Aへのベクトルであり、ベクトルbは点Bから点Cへのベクトルである。またθは∠Bの角度を示す。
(2)A、B、Cの3点からなる三角形において、内積を使用し、∠Bの角度θを求める。図8は、白領域が円弧であるかを判定する方法を説明するための図である。
ここで、図10において、ここで、ベクトルa及びベクトルbを以下のように定める。
Figure 2012027528
Figure 2012027528
内積の公式より、以下のようにcosθは求められ、θを求めることができる。
Figure 2012027528
Figure 2012027528
なお、ベクトルa、ベクトルbは、A、B、Cの3点の座標から求める。
(3)点Bにおける角度θが90度より大きく、180度より小さければ、白領域の部分は円弧であると判定する。
上記は、右手をかざした場合であるが、左手をかざした場合も同様にして判定することができる。
CPU12は、ステップS7で円弧であると判定された場合、マスク処理を除去し、個人情報を表示する(ステップS8)。図9は、左手を表示パネル10にかざした場合に、マスクが外された後の表示を示す図である。手26は、表示パネル10と左の手の接触部分を示す。左手で表示パネル10に接触した場合、表示パネル10は、タッチを検出した箇所である手26の、ユーザから見て最も右の座標をもつA点から垂直に下におろした線、及び最もユーザ側に近い点であるB点から水平方向右側に引いた線で囲まれる略扇形の範囲を、マスク処理を解除する表示領域とする。そして、この表示領域にあるマスクを外す。
図10は、右手を表示パネル10にかざした場合に、マスクが外された後の表示を示す図である。手27は、表示パネル10と左の手の接触部分を示す。右手で表示パネル10に接触した場合、表示パネル10は、タッチを検出した箇所である手26の、ユーザから見て最も左の座標をもつA点から垂直に下におろした線、及び最もユーザ側に近い点であるB点から水平方向左側に引いた線で囲まれる範囲を、マスク処理を解除する表示領域とする。そして、この表示領域にあるマスクを外す。
左右どちらの手の場合であっても、手が画面から離れ、接触部を検出しなくなると、マスク処理の解除を止めて、表示のマスクを再開する。(ステップS9、S10)
従来の接客端末では、顧客の個人情報を接客端末上に表示することができず、顧客情報の確認までに手間が発生していた。本実施の形態にかかる表示装置1は、顧客と従業員が接客端末上で同時に顧客情報の確認ができる。そのため、接客時間の短時間化が期待でき、従来よりもスムーズな接客を行うことが可能となる。
実施の形態2
本実施の形態は、実施の形態1がマルチタッチ認識によって検出する形状が略円弧(略くの字型)であるのに対して、マルチタッチ認識よって検出する形状が縦の略直線である点が異なる。表示装置は、実施の形態1にかかる表示装置と構成は同じであるので、構成についての説明は省略する。本実施の形態では、ユーザつまり顧客が表示パネル10に触れた略直線に基づく範囲のマスク処理を解除して情報を表示する。本実施の形態では、表示領域算出部4は、接触部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を表示領域として算出する。
図12の手28及び29は、顧客が指をまっすぐにのばした状態で画面に触れた際に、接触を検出した点を示す。図12(a)は、表示画面の左端に近いところに左手を触れ、接触を検出した箇所を示し、図12(b)は、表示画面の右端に近いところに右手を触れ、接触を検出した箇所を示す。
本実施の形態にかかる表示領域の検出方法について、更に詳しく説明する。
手が指を伸ばして真っ直ぐに表示パネル上に置かれているかどうかの判定方法を、図11を用いて説明する。
(1)取得した白領域の座標の中から、一方の端で最もx軸の座標値が小さい座標と、他方の端で最もx軸の座標値が小さい座標を取得し、それぞれ点D、点Eとし、DE間に直線を引く。
(2) (1)で引いた直線から最も距離のある座標を取得し、点Fとする。
(3)点Fと直線との距離が所定の長さ(例えば2cm)以内、即ち略直線であれば、手が表示パネル上に真っすぐな状態で置かれていると判定する。なお、直線DEは、y軸に対して平行である必要はなく、傾きを持っていてもよく、例えば、y軸に対して+45度、−45度の傾きの範囲にあればよい。
図12(a)は、左手が、表示パネル上に、手が指を伸ばして真っ直ぐに置かれた場合を示す図である。
(4)点Gと点Hの距離となる直線Zの長さが所定の長さ(例えば10cm)以上であれば、手が置かれていると判定する。長さは、一方の端から他方の端まで領域の中心に沿って何点かプロットし、それらの長さを合算して求める。そして、直線Zに対して水平方向の領域(領域28、点Gから水平に伸ばした線、および点Hから水平に伸ばした線で囲まれた領域)のマスクを解除する。図12(a)では、領域28から右に直線を伸ばしているが、これは、左手を、表示パネルの左端に近いところにおいた場合を想定している。手が、表示パネルの中心より左側におかれていれば、領域28の右側の領域のマスクを除去し、表示パネルの中心より右側におかれていれば、領域28の左側の領域のマスクを除去する。なお、(3)の略直線か否かの判定と、(4)の所定の長さ以上であるか否かの判定は、(4)の長さの判定をしてから(3)の略直線の判定をするようにしてもよい。
図12(b)は、右手が、表示パネル上に、手が指を伸ばして真っ直ぐに置かれた場合を示す図である。このとき、点Iと点Jの距離となる直線Z'の長さが所定の長さ(例えば10cm)以上であれば、手が置かれていると判定し、直線Z'に対して水平方向の領域(領域29、点Iから水平に伸ばした線、および点Jから水平に伸ばした線で囲まれた領域)のマスクを解除する。図12(b)では、領域29から左に直線を伸ばしているが、これは、右手を、表示パネルの右端に近いところにおいた場合を想定している。手が、表示パネルの中心より左側におかれていれば、領域29の右側の領域のマスクを除去し、表示パネルの中心より右側におかれていれば、領域29の左側の領域のマスクを除去する。
マスク処理解除後、表示パネル上から手が離されたら、マスク解除処理を行った部分に再びマスク処理を実施し、個人情報を隠す。
なお、マルチタッチを認識する装置は、上記の実施の形態1,2に記載のものには限定されず、赤外線イメージセンサー方式、抵抗膜方式、静電容量方式等の方式によってマルチタッチを認識できるものであればよい。
本実施の形態1及び2においては、今までにない新しいインタフェースを端末に実装することで、顧客に、端末を見てみたい又は触れてみたいといった感想を持ってもらえる可能性があり、端末からも顧客に対して店舗アピールができる。
従来では、マルチタッチを利用したインタフェースと言えば、2本の指を同時に使用した画像の拡大・縮小・回転や、程度であり、また、従来、マルチタッチに対応していないタッチパネルも存在し、効果的なインタフェースを提供しているとは言いがたかった。本実施の形態にかかる表示装置1では、複数の接触の同時認識をすることが可能であり、そのため、顧客により訴求力のあるインタフェースを持つアプリケーションを搭載した接客端末を提供することができる。
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、USBカメラ11から取り込んだ画像を常に処理し続けるため、表示装置は高い画像処理能力を必要とする。そのため、接客端末はGPUとVRAMを持つグラフィックカードを持つようにしている。ここで、グラフィックカードではなく、マザーボードのチップセットに搭載されているグラフィック機能を使用すれば、画像処理・表示に遅延が発生するなど画像処理能力は下がってしまうが、より安価な値段で端末を提供することができる。
(付記1)
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置。
(付記2)
前記接触を検出した前記形状が略くの字形である場合、前記表示領域は前記略くの字を円弧として、当該円弧の内側にある中心角を90度とする扇形であることを特徴とする表示装置。
(付記3)
前記接触を検出した前記形状は略直線である場合、前記表示領域は略直線を含む四角形であることを特徴とする表示装置。
(付記4)
透光性の表示パネルと、
前記表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影するカメラと、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出して、前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出する領域算出部と、
前記パネルに情報が表示されないようにマスク処理し、前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる表示部とを有する表示装置。
(付記5)
前記領域算出部は、前記接触部分の形状が略くの字である場合、当該接触部分を円弧として、当該円弧の内側にある中心角を90度とした略扇形を前記表示領域として算出する付記4記載の表示装置。
(付記6)
前記領域算出部は、前記接触領部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を前記表示領域として算出する付記4記載の表示装置。
(付記7)
前記表示部は、前記表示領域にユーザの個人情報を表示する付記4乃至6のうちいずれか1項記載の表示装置。
(付記8)
前記表示パネルは半透明である付記4乃至7のいずれか1項記載の表示装置。
(付記9)
前記検出部は、前記撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する付記4乃至8のいずれか1項記載の表示装置。
(付記10)
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置の表示方法。
(付記11)
前記接触を検出した前記形状が略くの字形である場合、前記表示領域は前記略くの字を円弧として、当該円弧の内側にある中心角を90度とする扇形であることを特徴とする表示装置の表示方法。
(付記12)
前記接触を検出した前記形状は略直線である場合、前記表示領域は略直線を含む四角形であることを特徴とする表示装置の表示方法。
(付記13)
カメラにより、表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影し、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出し、
前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出し、
前記パネルに情報が表示されないようにマスク処理した前記表示パネルに前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる表示装置の制御方法。
(付記14)
前記表示領域を算出する際、前記接触部分の形状が略くの字である場合、当該接触部分を円弧として、当該円弧の内側にある中心角を90度とした略扇形を前記表示領域として算出する付記13記載の表示装置の制御方法。
(付記15)
前記表示領域を算出する際、前記接触領部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を前記表示領域として算出する付記13記載の表示装置の制御方法。
(付記16)
前記表示パネルに情報を表示する際、前記表示領域にユーザの個人情報を表示する付記13乃至15のうちいずれか1項記載の表示装置の制御方法。
(付記17)
前記接触部分を検出する際、前記撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する付記13乃至16のいずれか1項記載の表示装置の制御方法。
(付記18)
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除する処理をコンピュータに実行させることを特徴とする表示装置の制御プログラム。
(付記19)
カメラにより、表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影し、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出し、
前記検出したそれぞれの前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出し、
前記パネルに情報が表示されないようにマスク処理した前記表示パネルに前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる処理をコンピュータに実行させる表示装置の制御プログラム。
1 表示装置
2 表示パネル
3 カメラ
4 領域算出部
5 表示部
10 表示パネル
11 USBカメラ
12 CPU
13 メモリ
14 グラフィックカード
15 プロジェクタ
20 手
21 マスク処理適用領域
25 手
26 手
27 手
28 手
29 手

Claims (10)

  1. マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置。
  2. 前記接触を検出した前記形状が略くの字形である場合、前記表示領域は前記略くの字を円弧として、当該円弧の内側にある中心角を90度とする扇形であることを特徴とする請求項1記載の表示装置。
  3. 前記接触を検出した前記形状は略直線である場合、前記表示領域は略直線を含む四角形であることを特徴とする請求項1記載の表示装置。
  4. 透光性の表示パネルと、
    前記表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影するカメラと、
    前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出して、前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出する領域算出部と、
    前記パネルに情報が表示されないようにマスク処理し、前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる表示部とを有する表示装置。
  5. 前記領域算出部は、前記接触部分の形状が略くの字である場合、当該接触部分を円弧として、当該円弧の内側にある中心角を90度とした略扇形を前記表示領域として算出する請求項4記載の表示装置。
  6. 前記領域算出部は、前記接触領部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を前記表示領域として算出する請求項4記載の表示装置。
  7. 前記表示部は、前記表示領域にユーザの個人情報を表示する請求項4乃至6のうちいずれか1項記載の表示装置。
  8. 前記表示パネルは半透明である請求項4乃至7のいずれか1項記載の表示装置。
  9. マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置の表示方法。
  10. マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除する処理をコンピュータに実行されることを特徴とする表示装置の制御プログラム。
JP2010162631A 2010-07-20 2010-07-20 表示装置 Expired - Fee Related JP5339464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010162631A JP5339464B2 (ja) 2010-07-20 2010-07-20 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010162631A JP5339464B2 (ja) 2010-07-20 2010-07-20 表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013115706A Division JP5455277B2 (ja) 2013-05-31 2013-05-31 表示装置

Publications (2)

Publication Number Publication Date
JP2012027528A true JP2012027528A (ja) 2012-02-09
JP5339464B2 JP5339464B2 (ja) 2013-11-13

Family

ID=45780415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010162631A Expired - Fee Related JP5339464B2 (ja) 2010-07-20 2010-07-20 表示装置

Country Status (1)

Country Link
JP (1) JP5339464B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182596A (ja) * 2012-03-05 2013-09-12 Kyocera Corp 装置、方法、及びプログラム
JP2013228973A (ja) * 2012-04-27 2013-11-07 Kyocera Document Solutions Inc 情報処理装置及び画像形成装置
JP2014006801A (ja) * 2012-06-26 2014-01-16 Kyocera Document Solutions Inc 表示入力装置および画像形成装置
JP2015106229A (ja) * 2013-11-29 2015-06-08 京セラドキュメントソリューションズ株式会社 認証装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816347A (ja) * 1994-06-28 1996-01-19 Mitsubishi Electric Corp 情報処理装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2004272835A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法,画面表示装置,画面表示プログラム,および画面表示プログラムを記録した記録媒体
US20080168403A1 (en) * 2007-01-06 2008-07-10 Appl Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP2009122279A (ja) * 2007-11-13 2009-06-04 Ntt Docomo Inc 携帯型情報処理装置及び携帯型情報処理装置の表示制御方法
US20100083111A1 (en) * 2008-10-01 2010-04-01 Microsoft Corporation Manipulation of objects on multi-touch user interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816347A (ja) * 1994-06-28 1996-01-19 Mitsubishi Electric Corp 情報処理装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2004272835A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法,画面表示装置,画面表示プログラム,および画面表示プログラムを記録した記録媒体
US20080168403A1 (en) * 2007-01-06 2008-07-10 Appl Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP2009122279A (ja) * 2007-11-13 2009-06-04 Ntt Docomo Inc 携帯型情報処理装置及び携帯型情報処理装置の表示制御方法
US20100083111A1 (en) * 2008-10-01 2010-04-01 Microsoft Corporation Manipulation of objects on multi-touch user interface

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182596A (ja) * 2012-03-05 2013-09-12 Kyocera Corp 装置、方法、及びプログラム
JP2013228973A (ja) * 2012-04-27 2013-11-07 Kyocera Document Solutions Inc 情報処理装置及び画像形成装置
JP2014006801A (ja) * 2012-06-26 2014-01-16 Kyocera Document Solutions Inc 表示入力装置および画像形成装置
US9152261B2 (en) 2012-06-26 2015-10-06 Kyocera Document Solutions Inc. Display input device, and image forming apparatus including touch panel portion
JP2015106229A (ja) * 2013-11-29 2015-06-08 京セラドキュメントソリューションズ株式会社 認証装置

Also Published As

Publication number Publication date
JP5339464B2 (ja) 2013-11-13

Similar Documents

Publication Publication Date Title
JP5201096B2 (ja) 対話操作装置
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
JP5453246B2 (ja) コンパクト・デバイスのためのカメラ・ベースのユーザ入力
JP6482196B2 (ja) 画像処理装置、その制御方法、プログラム、及び記憶媒体
US20160292525A1 (en) Image analyzing apparatus and image analyzing method
US20140237422A1 (en) Interpretation of pressure based gesture
KR20150090840A (ko) 디스플레이 화면의 영역을 보호하는 디바이스 및 방법
JP2017539032A (ja) タッチセンサのデータを使用する指紋登録
JP2015510112A (ja) 仮想定規
KR20210015972A (ko) 병소 검출 방법, 장치, 기기 및 기억 매체
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US9911230B2 (en) Method and apparatus for controlling virtual monitor
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP5339464B2 (ja) 表示装置
JP7378354B2 (ja) ライブ動画ストリームからの指の押下の検出
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
US20170228092A1 (en) Touch region projection onto touch-sensitive surface
US11886643B2 (en) Information processing apparatus and information processing method
JP6229554B2 (ja) 検出装置および検出方法
US20160018917A1 (en) Touch system, touch apparatus, and mobile device
JP5455277B2 (ja) 表示装置
EP2975503A2 (en) Touch device and corresponding touch method
US10802700B2 (en) Information processing apparatus and information processing method
US20210142098A1 (en) Polygon detection device, polygon detection method, and polygon detecting program
Akagawa et al. Sustainable society with a touchless solution using UbiMouse under the pandemic of COVID-19

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130801

R150 Certificate of patent or registration of utility model

Ref document number: 5339464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees