JP2016170709A - Touch detection device - Google Patents

Touch detection device Download PDF

Info

Publication number
JP2016170709A
JP2016170709A JP2015051073A JP2015051073A JP2016170709A JP 2016170709 A JP2016170709 A JP 2016170709A JP 2015051073 A JP2015051073 A JP 2015051073A JP 2015051073 A JP2015051073 A JP 2015051073A JP 2016170709 A JP2016170709 A JP 2016170709A
Authority
JP
Japan
Prior art keywords
touch
indicator
touch detection
camera
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015051073A
Other languages
Japanese (ja)
Other versions
JP6709022B2 (en
Inventor
小林 哲郎
Tetsuo Kobayashi
哲郎 小林
和征 横川
Kazumasa Yokogawa
和征 横川
伸一 百南
Shinichi Hyakunan
伸一 百南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015051073A priority Critical patent/JP6709022B2/en
Publication of JP2016170709A publication Critical patent/JP2016170709A/en
Application granted granted Critical
Publication of JP6709022B2 publication Critical patent/JP6709022B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a touch detection device that enables a display not having a touch detection function to additionally detect a touch operation.SOLUTION: A touch detection device 100 comprises: an image acquisition part 110 that simultaneously acquires a frame image (20A) photographed by a first camera 20 and a frame image (30A) photographed by a second camera 30; and a touch detection part 140 that, when the coordinates of an indication body in the frame image 20A and the coordinates of an indication body in the frame image 30A substantially match with each other, detects the coordinates as touch coordinates.SELECTED DRAWING: Figure 1

Description

本発明は表示装置に対する指示体のタッチを検出するタッチ検出装置に関する。   The present invention relates to a touch detection device that detects a touch of an indicator on a display device.

タッチ検出機能を搭載した表示装置は従来からよく知られている。また、タッチ検出機能を実現するための技術も、種々開示されている。例えば、タッチパネルと表示パネルとを一体に成形することによりタッチ検出機能を搭載した表示装置を実現する技術や、特許文献1に記載のように「ビジョン・ベース」のタッチ検出機能(表示装置の表示面を撮影し、撮影画像を処理することによりタッチの有無を検出する)を搭載することにより、タッチ検出を実現する技術などが知られている。   A display device equipped with a touch detection function is well known. Various techniques for realizing the touch detection function are also disclosed. For example, a technology for realizing a display device equipped with a touch detection function by integrally forming a touch panel and a display panel, or a “vision-based” touch detection function (display device display as described in Patent Document 1) A technique for realizing touch detection by mounting a screen) and detecting presence / absence of touch by processing a captured image is known.

特許第5122948号(2012年11月2日登録)Patent No. 5122948 (registered on November 2, 2012)

ところで、公共の場所に設置されるインフォメーションディスプレイなどの表示装置の場合、タッチ操作に応じて表示内容を変更するなど、ユーザに対しインタラクティブな表示を行うことが望まれている。しかしながら、上記表示装置の中にはタッチ検出機能を有さないものも存在する。そのため、タッチ検出機能を有していない表示装置にタッチ検出機能を追加実装したいという需要が増大してきている。ところが、タッチ検出機能を有していない表示装置に後付けでタッチ検出機能を搭載しようとすると、ディスプレイを反射板で囲うなど、複雑かつ大がかりな構成を追加する必要があった。   By the way, in the case of a display device such as an information display installed in a public place, it is desired to perform interactive display for the user, such as changing the display content in response to a touch operation. However, some of the display devices do not have a touch detection function. Therefore, there is an increasing demand for additionally mounting a touch detection function on a display device that does not have a touch detection function. However, when a touch detection function is retrofitted to a display device that does not have a touch detection function, it is necessary to add a complicated and large configuration such as surrounding the display with a reflector.

本発明は上記問題点に鑑みたものであり、その目的は、タッチ検出機能を有していない表示装置に対するタッチを検出するタッチ検出装置を実現することにある。   The present invention has been made in view of the above problems, and an object thereof is to realize a touch detection device that detects a touch on a display device that does not have a touch detection function.

上記の課題を解決するために、本発明の一態様に係るタッチ検出装置は、表示装置の表示面に対する指示体のタッチを検出するタッチ検出装置であって、第1カメラが撮影した上記表示面の第1映像と、第2カメラが上記第1カメラと略同時に異なる角度から撮影した上記表示面の第2映像と、を取得する映像取得部と、上記映像取得部が取得した上記第1映像に写った上記指示体の上記表示面に対するタッチ位置である第1位置と、と上記第2映像に写った上記指示体の上記表示面に対するタッチ位置である第2位置とが略一致する場合に、当該略一致した位置を上記指示体のタッチ位置として検出するタッチ検出部と、を備えることを特徴とする。   In order to solve the above-described problem, a touch detection device according to one aspect of the present invention is a touch detection device that detects a touch of an indicator on a display surface of a display device, and the display surface is captured by a first camera. A video acquisition unit that acquires the first video of the display surface and a second video of the display surface taken from a different angle from the second camera substantially simultaneously with the first camera, and the first video acquired by the video acquisition unit A first position that is a touch position of the indicator on the display surface and a second position that is a touch position of the indicator on the display surface in the second image are substantially the same. A touch detection unit that detects the substantially matched position as a touch position of the indicator.

本発明の一態様によれば、タッチ検出機能を有していない表示装置に対するタッチを検出することが可能になるという効果を奏する。   According to one embodiment of the present invention, it is possible to detect a touch on a display device that does not have a touch detection function.

本発明の実施形態1に係るSTB(set top box)の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of STB (set top box) which concerns on Embodiment 1 of this invention. 上記STBに接続された表示装置に対するカメラの配置を示す図である。It is a figure which shows arrangement | positioning of the camera with respect to the display apparatus connected to the said STB. 上記STBに接続された第1カメラによるフレーム画像の撮影、および上記STBに搭載されたタッチ検出装置における当該フレーム画像の歪み補正を示す図である。It is a figure which shows imaging | photography of the frame image by the 1st camera connected to said STB, and distortion correction of the said frame image in the touch detection apparatus mounted in said STB. 表示面に指示体が近接しかつ非接触である場合のフレーム画像の撮影および補正済画像を示す図である。It is a figure which shows the imaging | photography and corrected image of a frame image in case a indicator is adjoining and non-contacting on a display surface. 表示面に指示体が接触している場合のフレーム画像の撮影および補正済画像を示す図である。It is a figure which shows the imaging | photography of the frame image when the indicator is contacting the display surface, and the corrected image. 上記タッチ検出装置におけるタッチ検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the touch detection process in the said touch detection apparatus. 本発明の実施形態2に係るSTBの要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of STB which concerns on Embodiment 2 of this invention. 上記STBに搭載されたタッチ検出装置にて特定される操作の種類と、上記タッチ検出装置におけるタッチ検出の継続時間およびタッチ座標の変化との関係を示す表である。It is a table | surface which shows the relationship between the kind of operation identified with the touch detection apparatus mounted in the said STB, the duration of the touch detection in the said touch detection apparatus, and the change of a touch coordinate. 上記タッチ検出装置における操作特定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the operation specific process in the said touch detection apparatus. 本発明の実施形態3に係るSTBに接続された表示装置に対するカメラの配置を示す図である。It is a figure which shows arrangement | positioning of the camera with respect to the display apparatus connected to STB which concerns on Embodiment 3 of this invention. 表示面に対しマルチタッチが行われた場合のフレーム画像の撮影を示す図である。It is a figure which shows imaging | photography of the frame image when multitouch is performed with respect to the display surface.

〔実施形態1〕
以下、本発明の第1の実施形態について説明する。本実施形態では、本発明に係るタッチ検出装置を表示装置のSTB(set top box)に搭載した例について、図1〜6を参照して説明する。まず始めに、本実施形態に係るSTB40と、STB40に接続された各種装置の機能について、図2を参照して簡潔に説明する。なお、以降の説明では、STBにタッチ検出装置と表示制御部とを一つの装置に搭載した例について説明する。しかしながら、タッチ検出装置と表示制御部とは、別個の装置であってもよい。
Embodiment 1
Hereinafter, a first embodiment of the present invention will be described. In the present embodiment, an example in which the touch detection device according to the present invention is mounted on an STB (set top box) of a display device will be described with reference to FIGS. First, the functions of the STB 40 according to the present embodiment and various devices connected to the STB 40 will be briefly described with reference to FIG. In the following description, an example will be described in which the touch detection device and the display control unit are mounted on one device in the STB. However, the touch detection device and the display control unit may be separate devices.

図2は、本実施形態に係るSTB40に接続された表示装置10と、当該表示装置10に対する第1カメラ20および第2カメラ30の配置を示す図である。STB40は図示の通り、表示装置10、第1カメラ20、および第2カメラ30と接続している。   FIG. 2 is a diagram illustrating the display device 10 connected to the STB 40 according to the present embodiment and the arrangement of the first camera 20 and the second camera 30 with respect to the display device 10. The STB 40 is connected to the display device 10, the first camera 20, and the second camera 30 as illustrated.

表示装置10は、STB40から受信した表示データを略平面状の表示面10Aに表示する。表示面10Aは例えば、液晶ディスプレイまたは有機ELディスプレイなどで実現される。   The display device 10 displays the display data received from the STB 40 on a substantially flat display surface 10A. The display surface 10A is realized by, for example, a liquid crystal display or an organic EL display.

第1カメラ20および第2カメラ30は、表示装置10の表示面10Aを撮影するカメラである。第1カメラ20および第2カメラ30はそれぞれ、表示装置10の表示面10Aの全体を他方のカメラと略同時に異なる角度で撮影可能なように固定して設置される。例えば、表示装置10が四角形の表示面10Aを備えた装置である場合、第1カメラ20および第2カメラ30は図示のように表示面10Aの四隅のいずれかに設けられ、その撮影方向が表示面10A全体を撮影可能な角度に向けられていればよい。なお、第1カメラ20および第2カメラ30は動画を撮影するカメラであっても、所定時間毎または所定のタイミングで静止画像(写真)を撮影するカメラであっても良い。以降では、第1カメラ20および第2カメラ30が表示面10Aを動画で撮影するカメラであるとして説明を行う。   The first camera 20 and the second camera 30 are cameras that photograph the display surface 10 </ b> A of the display device 10. Each of the first camera 20 and the second camera 30 is fixedly installed so that the entire display surface 10A of the display device 10 can be photographed at a different angle from the other camera substantially at the same time. For example, when the display device 10 is a device having a quadrangular display surface 10A, the first camera 20 and the second camera 30 are provided at any one of the four corners of the display surface 10A as shown in the drawing, and the shooting direction is displayed. It suffices if the entire surface 10A is directed to an angle at which it can be photographed. The first camera 20 and the second camera 30 may be cameras that shoot moving images, or cameras that shoot still images (photos) at predetermined time intervals or at predetermined timings. In the following description, it is assumed that the first camera 20 and the second camera 30 are cameras that shoot the display surface 10A with moving images.

STB40は、表示装置10の画面表示を制御する表示制御装置200と、表示装置10に対するタッチを検出するタッチ検出装置100を含む機器である。STB40は、表示装置10が表示するデータ(表示データ)を表示装置10に送信する。また、STB40は、第1カメラ20および第2カメラ30が撮影した映像を受信し当該映像を利用してタッチ検出を行う。なお、表示データを得る方法およびタッチ検出の方法については後で詳述する。   The STB 40 is a device including a display control device 200 that controls screen display of the display device 10 and a touch detection device 100 that detects a touch on the display device 10. The STB 40 transmits data (display data) displayed by the display device 10 to the display device 10. In addition, the STB 40 receives video captured by the first camera 20 and the second camera 30, and performs touch detection using the video. A method for obtaining display data and a method for touch detection will be described in detail later.

≪要部構成≫
次に、STB40の要部構成について図1を参照して説明する。図1は、STB40の要部構成を示すブロック図である。なお、図1では、STB40と接続された表示装置10、第1カメラ20、および第2カメラ30についても併せて記載している。STB40は表示制御装置200とタッチ検出装置100とを含む。
≪Main part composition≫
Next, the main configuration of the STB 40 will be described with reference to FIG. FIG. 1 is a block diagram showing a main configuration of the STB 40. In FIG. 1, the display device 10, the first camera 20, and the second camera 30 connected to the STB 40 are also shown. The STB 40 includes a display control device 200 and a touch detection device 100.

表示制御装置200は、表示装置10が表示する静止画や動画などのデータ(表示データ)を取得し表示装置10に送信するものである。表示制御装置200は、後述するタッチ検出装置100からタッチ検出の結果(タッチ検出の有無、またはタッチ座標)を受信し、当該結果に応じて表示データの内容を変更してもよい。換言すると、表示制御装置200は、タッチの有無に応じて、表示装置10に表示させる内容を変更してもよい。   The display control device 200 acquires data (display data) such as still images and moving images displayed by the display device 10 and transmits the data to the display device 10. The display control apparatus 200 may receive the result of touch detection (whether or not touch detection or touch coordinates) is received from the touch detection apparatus 100 described later, and may change the content of the display data according to the result. In other words, the display control device 200 may change the content displayed on the display device 10 according to the presence or absence of a touch.

なお、表示制御装置200の表示データの取得元は特に限定されない。例えばSTB40が放送信号を受信する機能を有している場合、表示制御装置200は受信した放送信号から表示データを作成すればよい。また例えばSTB40がインターネットに接続する機能を有している場合、表示制御装置200はインターネットを介し表示データを取得すればよい。また、STB40が記録媒体に記録された表示データを読み出す機能を有している場合、表示制御装置200は当該記録媒体から表示データを読み出せばよい。   Note that the display data acquisition source of the display control device 200 is not particularly limited. For example, when the STB 40 has a function of receiving a broadcast signal, the display control apparatus 200 may create display data from the received broadcast signal. For example, when the STB 40 has a function of connecting to the Internet, the display control device 200 may acquire display data via the Internet. When the STB 40 has a function of reading display data recorded on a recording medium, the display control device 200 may read display data from the recording medium.

タッチ検出装置100は、表示装置10の表示面に対する指示体のタッチを検出するものである。タッチ検出装置100は、さらに詳しくは、画像取得部(映像取得部)110と、補正部120と、指示体特定部130と、タッチ検出部140とを含む。画像取得部110は、第1カメラ20および第2カメラ30が撮影するフレーム画像を、毎フレームまたは所定のフレーム数毎に取得する。以降、第1カメラ20が撮影するフレーム画像をフレーム画像20A(第1映像)と称し、第2カメラ30が撮影するフレーム画像をフレーム画像30A(第2映像)と称する。画像取得部110は取得したフレーム画像20Aおよび30Aを補正部120へと送る。補正部120は、フレーム画像20Aおよび30Aを補正するものである。なお、以降の説明においては、「補正」とはフレーム画像20Aおよび30Aに写った表示面10Aの形状を表示面10Aの実際の形状と同形状にするため、フレーム画像20Aおよび30A上で基準となる点(基準点、例えば表示面10Aの四隅の点など)の位置を規定の位置となるように修正する「歪み補正」を意味している。補正部120は、補正したフレーム画像20Aおよび30Aを指示体特定部130に送る。以降、補正したフレーム画像20Aおよび30Aをそれぞれ補正済画像20Bおよび30Bと称する。   The touch detection device 100 detects a touch of an indicator on the display surface of the display device 10. More specifically, the touch detection device 100 includes an image acquisition unit (video acquisition unit) 110, a correction unit 120, a pointer specifying unit 130, and a touch detection unit 140. The image acquisition unit 110 acquires a frame image captured by the first camera 20 and the second camera 30 every frame or every predetermined number of frames. Hereinafter, the frame image captured by the first camera 20 is referred to as a frame image 20A (first video), and the frame image captured by the second camera 30 is referred to as a frame image 30A (second video). The image acquisition unit 110 sends the acquired frame images 20A and 30A to the correction unit 120. The correction unit 120 corrects the frame images 20A and 30A. In the following description, “correction” refers to the reference on the frame images 20A and 30A in order to make the shape of the display surface 10A shown in the frame images 20A and 30A the same as the actual shape of the display surface 10A. This means “distortion correction” in which the position of a reference point (a reference point, for example, the four corner points of the display surface 10A) is corrected to a specified position. The correcting unit 120 sends the corrected frame images 20A and 30A to the indicator specifying unit 130. Hereinafter, the corrected frame images 20A and 30A are referred to as corrected images 20B and 30B, respectively.

ここで、フレーム画像20Aおよび30Aの撮影と補正とについて、図3を用いて詳述する。図3は、フレーム画像20Aのフレーム画像の撮影および歪み補正を示す図である。なお、図3の説明では説明を簡潔にするために、フレーム画像20Aの撮影および歪み補正についてのみ説明するが、フレーム画像30Aの撮影および歪み補正についても同じ処理を行えばよい。   Here, photographing and correction of the frame images 20A and 30A will be described in detail with reference to FIG. FIG. 3 is a diagram illustrating photographing of a frame image of the frame image 20A and distortion correction. In the description of FIG. 3, only the shooting of the frame image 20A and distortion correction will be described for the sake of brevity, but the same processing may be performed for the shooting of the frame image 30A and distortion correction.

図3の(a)は、第1カメラ20が表示面10Aを撮影する様子を示す図である。なお、図中の破線矢印はカメラの撮影方向を示しており、図中の×印はカメラがフレーム画像を撮影した場合に当該フレーム画像で指示体が写り込む見かけ上の位置を示している。これは、以降の図面でも同様である。   FIG. 3A is a diagram illustrating a state where the first camera 20 captures the display surface 10A. The broken line arrows in the figure indicate the shooting direction of the camera, and the x mark in the figure indicates the apparent position at which the indicator appears in the frame image when the camera takes a frame image. The same applies to the subsequent drawings.

上述のように、第1カメラ20は表示面10Aのフレーム画像20Aを撮影している。ここで、図示のようにユーザが指示体(ユーザの手指)Bを表示面10Aに接近させたとする。この場合、指示体Bが表示面10Aにある程度近接すると、第1カメラ20の撮影範囲に指示体Bが入る。すなわち、第1カメラ20が撮影するフレーム画像20Aに指示体Bが含まれることとなる。   As described above, the first camera 20 captures the frame image 20A of the display surface 10A. Here, it is assumed that the user brings the indicator (user's finger) B closer to the display surface 10A as illustrated. In this case, when the indicator B comes close to the display surface 10A to some extent, the indicator B enters the shooting range of the first camera 20. That is, the indicator B is included in the frame image 20A captured by the first camera 20.

図3の(b)は、第1カメラ20が同図の(a)の状態を撮影したときのフレーム画像20Aを示す図である。第1カメラ20の角度から表示面10A全体を撮影すると、表示面10Aは図示の通り形状が歪んだ状態で撮影される。また、指示体Bは図3の(a)において×印で示した位置に写り込む。   FIG. 3B is a diagram showing a frame image 20A when the first camera 20 captures the state of FIG. When the entire display surface 10A is photographed from the angle of the first camera 20, the display surface 10A is photographed with the shape distorted as shown in the figure. In addition, the indicator B is reflected at the position indicated by the x mark in FIG.

図3の(c)は同図の(b)に示すフレーム画像20Aに補正部120が補正を行った後の補正済画像を示す図である。補正部120はフレーム画像20Aを取得すると、まず、予め記憶しておいた基準点に基づいて、フレーム画像20Aのうち表示面10Aが写っている領域だけを抽出する。次に補正部120は、当該抜き出した領域を、予め記憶しておいた、表示面10Aの補正パラメータおよび補正処理の手順に従い、表示面10Aの見かけの形状が表示面10Aの実際の形状と同形状となるように補正する。なお、上記基準点、ならびに上記補正パラメータおよび補正処理の手順の規定方法については特に限定しない。例えば、固定されている第1カメラ20および第2カメラ30で一度表示面10Aの画像を撮影しておき、それぞれのカメラの撮影画像(補正していない(歪んだ)表示面10Aが写っている画像)を表示装置10または他の装置などでユーザに提示する。そして、ユーザに第1カメラ20および第2カメラ30の撮影画像それぞれにおける、表示面10Aの四隅の点または外周線上の点などの基準点を入力(タッチ検出装置100に登録)させる。これにより、タッチ検出装置100は基準点を設定し、以降、第1カメラ20および第2カメラ30で撮影した表示面10Aがどのように歪んで写っているかを特定することができる。そして、タッチ検出装置100は、ユーザが登録した基準点の歪みから、当該歪みを修正するための補正パラメータおよび補正処理の手順を定めることができる。よって、以降、補正部120での補正の際には、上記基準点、ならびに上記補正パラメータおよび補正処理を用いて歪み補正を行えばよい。   FIG. 3C shows a corrected image after the correction unit 120 corrects the frame image 20A shown in FIG. When the correction unit 120 acquires the frame image 20A, first, based on the reference points stored in advance, the correction unit 120 extracts only the region in which the display surface 10A is shown in the frame image 20A. Next, the correcting unit 120 stores the extracted area in advance according to the correction parameters and the correction processing procedure of the display surface 10A, and the apparent shape of the display surface 10A is the same as the actual shape of the display surface 10A. Correct the shape. The method for defining the reference point, the correction parameter, and the correction processing procedure is not particularly limited. For example, the images of the display surface 10A are once taken with the fixed first camera 20 and the second camera 30, and the photographed images (uncorrected (distorted) display surface 10A of each camera are shown. Image) is presented to the user on the display device 10 or another device. Then, the user inputs (registers in the touch detection device 100) reference points such as the four corner points of the display surface 10A or the points on the outer circumference in each of the captured images of the first camera 20 and the second camera 30. Thereby, the touch detection apparatus 100 can set a reference point, and thereafter can specify how the display surface 10A captured by the first camera 20 and the second camera 30 is distorted. Then, the touch detection apparatus 100 can determine a correction parameter and a correction processing procedure for correcting the distortion from the distortion of the reference point registered by the user. Therefore, in the following, when correction is performed by the correction unit 120, distortion correction may be performed using the reference point, the correction parameter, and the correction process.

指示体特定部130は、補正部120から取得した補正済画像20Bおよび30Bそれぞれに写った指示体が指定する、表示面上の位置(表示面上の座標)を特定するものである。指示体特定部130はまず、補正済画像20Bおよびお30Bに写っている指示体を特定する。より具体的には、指示体特定部130は補正済画像20Bおよび30Bにおいて、明度、彩度、および色相が指示体色情報と一致する領域が有るか否かを判断する。ここで、「指示体色情報」とは、指示体が補正済画像20Bおよび30B上で示す明度、彩度、および色相を示す情報である。指示体特定部130は指示体色情報と一致する明度、彩度、および色相を示す領域が有る場合、当該領域に、上記指示体色情報を示す指示体が写っていると特定する。例えば指示体がユーザの手指である場合、指示体特定部130は補正済画像20Bおよび30Bにおいて肌色検出を行い、肌色の領域が検出されれば当該領域に手指が写っていると特定する。指示体特定部130はさらに、補正済画像20Bおよび30Bに写っている指示体の形状から、当該指示体が示す表示面上の位置座標を特定する。当該特定の方法は特に限定しないが、例えば指示体特定部130は、指示体の形状で凸な形状を示す部分を特定し、当該凸な形状の先端の1点の座標を指示体が示す表示面上の位置座標とすればよい。   The indicator specifying unit 130 specifies a position on the display surface (coordinates on the display surface) designated by the indicator shown in each of the corrected images 20B and 30B acquired from the correcting unit 120. First, the indicator specifying unit 130 specifies the indicator shown in the corrected images 20B and 30B. More specifically, the indicator specifying unit 130 determines whether or not there is a region in the corrected images 20B and 30B where the brightness, saturation, and hue match the indicator color information. Here, the “indicator color information” is information indicating the brightness, saturation, and hue that the indicator shows on the corrected images 20B and 30B. When there is an area indicating brightness, saturation, and hue that matches the indicator color information, the indicator specifying unit 130 specifies that the indicator indicating the indicator color information is included in the area. For example, when the indicator is a user's finger, the indicator specifying unit 130 performs skin color detection in the corrected images 20B and 30B, and if a skin color region is detected, the pointer specifying unit 130 specifies that the finger is reflected in the region. The indicator specifying unit 130 further specifies the position coordinates on the display surface indicated by the indicator from the shape of the indicator shown in the corrected images 20B and 30B. Although the specific method is not particularly limited, for example, the indicator specifying unit 130 specifies a portion showing a convex shape in the shape of the indicator, and the indicator shows the coordinates of one point of the tip of the convex shape. The position coordinates on the surface may be used.

一方、補正済画像において上記指示体色情報を示す領域が無い場合、指示体特定部130は、補正済画像に指示体が写っていないと判断する。指示体特定部130は指示体を特定しかつ指示体が示す表示面上の座標を特定した場合、当該座標をタッチ検出部140へと送る。   On the other hand, when there is no area indicating the indicator color information in the corrected image, the indicator specifying unit 130 determines that the indicator is not shown in the corrected image. When the indicator specifying unit 130 specifies the indicator and specifies the coordinates on the display surface indicated by the indicator, the indicator specifying unit 130 sends the coordinates to the touch detection unit 140.

なお、例えば指示体がユーザの手指である場合、手指の色の個人差を考慮するため指示体色情報が示す明度、彩度、および色相はそれぞれ範囲を持って定められていてもよい。また、指示体色情報および指示体の形状は、予めユーザが登録または修正可能な情報であってよい。例えば、タッチ検出装置100は第1カメラ20または第2カメラ30で予め撮影されたユーザの手指の画像を取得し、当該手指の画像が示す明度、彩度、および色相の値を指示体色情報として記憶しておいてもよい。   For example, when the indicator is a user's finger, the brightness, saturation, and hue indicated by the indicator color information may be determined with a range in order to consider individual differences in finger color. The indicator color information and the shape of the indicator may be information that can be registered or modified by the user in advance. For example, the touch detection device 100 acquires an image of a user's finger previously captured by the first camera 20 or the second camera 30, and uses the brightness, saturation, and hue values indicated by the image of the finger as indicator color information. You may remember as.

なお、補正済画像から指示体を特定できるならば、指示体特定部130の指示体の特定方法は上記方法に限定されない。例えば、指示体特定部130は補正済画像に対しエッジ検出を行い、既定の輪郭(例えば手の輪郭、タッチペンの輪郭など)を示す領域を検出した場合、当該領域に指示体が写っていると判断してもよい。   As long as the indicator can be specified from the corrected image, the indicator specifying method of the indicator specifying unit 130 is not limited to the above method. For example, when the pointer specifying unit 130 detects an edge of the corrected image and detects a region indicating a predetermined contour (for example, the contour of a hand, the contour of a touch pen), the pointer is reflected in the region. You may judge.

タッチ検出部140は、補正済画像20Bにおいて指示体が示す表示面上の座標(第1座標、第1位置)と、補正済画像30Bにおいて指示体が示す表示面上の座標(第2座標、第2位置)とから、表示装置10がタッチされたか否かを判定するものである。また、タッチ検出部140は、表示装置10がタッチされたと判定した場合、当該タッチの位置を検出するものである。タッチ検出部140は、指示体特定部130から第1座標および第2座標を取得すると、第1座標と第2座標とが一致するか否かを判定する。第1座標と第2座標とが一致する場合、タッチ検出部140は表示装置10の表示面がタッチされたと判定し、当該一致した座標(第1座標および第2座標)をタッチ座標として検出する。一方、第1座標と第2座標とが一致しなかった場合、タッチ検出部140は表示装置10の表示面はタッチされていないと判定し、タッチ座標の検出は行わなくてよい。タッチ検出部140はタッチ検出の結果(タッチの有無、およびタッチが有る場合はタッチ座標)を表示制御装置200に送信する。   The touch detection unit 140 includes coordinates on the display surface indicated by the indicator in the corrected image 20B (first coordinate, first position) and coordinates on the display surface indicated by the indicator in the corrected image 30B (second coordinate, From the second position, it is determined whether or not the display device 10 has been touched. Further, when it is determined that the display device 10 has been touched, the touch detection unit 140 detects the position of the touch. When the touch detection unit 140 acquires the first coordinate and the second coordinate from the indicator specifying unit 130, the touch detection unit 140 determines whether or not the first coordinate and the second coordinate match. When the first coordinate and the second coordinate match, the touch detection unit 140 determines that the display surface of the display device 10 has been touched, and detects the matched coordinates (first coordinate and second coordinate) as touch coordinates. . On the other hand, when the first coordinate and the second coordinate do not match, the touch detection unit 140 determines that the display surface of the display device 10 is not touched, and the touch coordinate may not be detected. The touch detection unit 140 transmits the result of touch detection (the presence / absence of a touch and the touch coordinates when there is a touch) to the display control device 200.

≪指示体の接触判定≫
タッチ検出部140が指示体特定部130から第1座標および第2座標を得る、すなわち、補正済画像20Bおよび30Bに指示体が写っている場合は、二通りに分けられる。一つ目は、指示体が、第1カメラ20および第2カメラ30の撮影範囲に入る程度に表示面10Aに近接しているが表示面10Aに非接触である場合であり、二つ目は指示体が表示面に接触(タッチ)している場合である。以下、指示体が表示面10Aに近接(非接触)である場合と接触している場合とにおける、第1座標および第2座標の違いについて図4および5を用いて説明する。
≪Indicator contact judgment≫
When the touch detection unit 140 obtains the first coordinate and the second coordinate from the indicator specifying unit 130, that is, when the indicator is reflected in the corrected images 20B and 30B, the touch detection unit 140 is divided into two types. The first is a case where the indicator is close to the display surface 10A to the extent that it enters the imaging range of the first camera 20 and the second camera 30, but is not in contact with the display surface 10A. This is a case where the indicator is touching (touching) the display surface. Hereinafter, the difference between the first coordinate and the second coordinate when the indicator is in proximity (non-contact) to the display surface 10A and when it is in contact will be described with reference to FIGS.

図4の(a)は、表示面10Aに指示体Bが近接(かつ非接触)しているときの、第1カメラ20および第2カメラ30の撮影方向と、フレーム画像20Aおよび30Aに指示体Bが写り込む位置とを示している。また、図4の(b)および(c)は図4の(a)にて撮影されたフレーム画像20Aおよび30Aの補正済画像20Bおよび30Bをそれぞれ示している。さらに、図4の(d)は同図の(b)の画像と(c)の画像とを重ねあわせたものである。一方、図5の(a)は、表示面10Aに指示体Bが接触しているときの20および第2カメラ30の撮影方向と、指示体Bの写り込む位置とを示している。また、図5の(b)および(c)は図5の(a)にて撮影されたフレーム画像20Aおよび30Aの補正済画像20Bおよび30Bをそれぞれ示している。さらに、図5の(d)は同図の(b)の画像と(c)の画像とを重ねあわせたものである。   FIG. 4A shows the shooting direction of the first camera 20 and the second camera 30 when the indicator B is close (and non-contact) with the display surface 10A, and the indicator on the frame images 20A and 30A. B shows the position where the image appears. FIGS. 4B and 4C show the corrected images 20B and 30B of the frame images 20A and 30A taken in FIG. 4A, respectively. Further, FIG. 4D is a superposition of the image of FIG. 4B and the image of FIG. On the other hand, (a) of FIG. 5 shows the shooting direction of the 20 and the second camera 30 when the indicator B is in contact with the display surface 10A, and the position where the indicator B is reflected. 5B and 5C show corrected images 20B and 30B of the frame images 20A and 30A taken in FIG. 5A, respectively. Further, FIG. 5D is an image obtained by superimposing the image of FIG. 5B and the image of FIG.

(指示体が表示面に非接触の場合)
指示体Bが表示面10Aに非接触である場合、図4の(a)に示す通り、指示体Bは第1カメラ20および第2カメラ30の撮影角度から見たときに指示体Bが表示面に投影される位置に写る。換言すると、指示体Bは表示面10A上で最も近接している位置(指示体Bの指先が示す表示面10A上の一点)とは異なる位置に写る。結果、補正済画像20B(図4の(b))にて指示体Bが指し示す位置と、補正済画像30B(図4の(c))にて指示体Bが指し示す位置とは一致しない。
(When the indicator is not in contact with the display surface)
When the indicator B is not in contact with the display surface 10A, as shown in FIG. 4A, the indicator B is displayed by the indicator B when viewed from the shooting angles of the first camera 20 and the second camera 30. It appears in the position projected on the surface. In other words, the indicator B appears at a position different from the closest position on the display surface 10A (one point on the display surface 10A indicated by the fingertip of the indicator B). As a result, the position indicated by the indicator B in the corrected image 20B (FIG. 4B) does not match the position indicated by the indicator B in the corrected image 30B (FIG. 4C).

(指示体が表示面に接触している場合)
これに対し、指示体Bが表示面10Aに接触している場合は、図5の(a)に示す通り、指示体Bが表示面10Aに接触している位置(タッチ位置)は、第1カメラ20から撮影しても、第2カメラ30から撮影しても変わらずに写る。結果、補正済画像20B(図5の(b))にて指示体Bが指し示す位置と、補正済画像30B(図5の(c))にて指示体Bが指し示す位置とは一致する。
(When the indicator is in contact with the display surface)
On the other hand, when the indicator B is in contact with the display surface 10A, as shown in FIG. 5A, the position (touch position) where the indicator B is in contact with the display surface 10A is the first. Even if the image is taken from the camera 20 or the second camera 30, the image is taken unchanged. As a result, the position indicated by the indicator B in the corrected image 20B (FIG. 5B) matches the position indicated by the indicator B in the corrected image 30B (FIG. 5C).

以上のことから、異なる角度から略同時に撮影された第1映像および第2映像において指示体の見かけ上のタッチ位置(第1座標および第2座標)が一致する場合、当該指示体は表示面10Aにタッチしているとみなすことができる。したがって、タッチ検出部140は第1座標と第2座標とが一致した場合にタッチが行われたと判断することにより、指示体のタッチと非接触の近接とを区別して検出することができる。   From the above, when the apparent touch position (first coordinate and second coordinate) of the indicator coincides in the first video and the second video that are photographed substantially simultaneously from different angles, the indicator is displayed on the display surface 10A. Can be regarded as touching. Therefore, the touch detection unit 140 can distinguish and detect the touch of the indicator and the non-contact proximity by determining that the touch is performed when the first coordinate and the second coordinate match.

なお、タッチ検出部140は、上記第1座標と第2座標が略一致である場合も表示面10Aがタッチされたと判定してもよい。補正部120による補正や指示体特定部130による指示体領域の検出精度によっては、指示体が表示面10Aに接触していた場合でも第1座標と第2座標とが一致しない可能性があるためである。なお、第1座標と第2座標とが略一致の場合にタッチがあったと判断する場合は、タッチ検出部140は例えば第1座標と第2座標との中間点の座標などをタッチ座標として検出すればよい。   Note that the touch detection unit 140 may determine that the display surface 10 </ b> A has been touched even when the first coordinate and the second coordinate are substantially the same. Depending on the correction by the correction unit 120 and the detection accuracy of the indicator region by the indicator specifying unit 130, the first coordinate and the second coordinate may not match even when the indicator is in contact with the display surface 10A. It is. When it is determined that a touch has occurred when the first coordinate and the second coordinate are substantially the same, the touch detection unit 140 detects, for example, the coordinates of an intermediate point between the first coordinate and the second coordinate as the touch coordinates. do it.

また、指示体特定部130は、指示体を特定し、かつ当該指示体の形状が予め定められた凸形状(突出部分)を有している場合のみ、当該突出部分が示す座標を指示体が示す表示面上の位置座標(後述する第1座標または第2座標)としてもよい。ここで、上記「予め定められた凸形状」とは、例えば各指先の全体または先端の形状や、ペンやポインタなどの全体または先端部分の形状などである。   In addition, the indicator specifying unit 130 specifies the indicator, and only when the indicator has a predetermined convex shape (protruding portion), the indicator indicates the coordinates indicated by the protruding portion. It is good also as a position coordinate (1st coordinate or 2nd coordinate mentioned later) on the display surface to show. Here, the “predetermined convex shape” is, for example, the shape of the entire or tip of each fingertip, the shape of the entire or tip portion of a pen, a pointer, or the like.

例えば、指示体特定部130はユーザが指で表示面10Aをタッチした場合、指は突出部分を有するため当該指のタッチに係る第1座標および第2座標を検出することとし、ユーザの拳が表示面10Aに触れた場合、当該拳は突出部分を有さないため当該拳の接触に係る第1座標および第2座標は検出しないこととしてもよい。   For example, when the user touches the display surface 10A with a finger, the indicator specifying unit 130 detects the first coordinate and the second coordinate related to the touch of the finger because the finger has a protruding portion, and the user's fist When the display surface 10A is touched, the fist does not have a protruding portion, and therefore the first coordinate and the second coordinate related to the contact of the fist may not be detected.

このような構成とすることで、突出部分を有さない指示体の接触があっても、指示体特定部130は第1座標および第2座標を検出せず、タッチ検出部140に対し第1座標および第2座標を送出しないようにできる。換言すると、タッチ検出部140は、突出部分を有さない指示体がタッチしても、当該タッチを検出しないこととできる。したがって、表示面に対する意図しない接触(例えば拳の接触)や表示面10A自体に貼り付けられている物体(紙のメモなど)による接触から第1座標および第2座標を検出してしまい、当該第1座標および第2座標からタッチを誤検出してしまうことを防ぐことができる。   With such a configuration, even if there is a contact of an indicator that does not have a protruding portion, the indicator specifying unit 130 does not detect the first coordinate and the second coordinate, and the first detection unit 140 does not detect the first coordinate and the second coordinate. It is possible not to send the coordinates and the second coordinates. In other words, the touch detection unit 140 can detect no touch even when an indicator that does not have a protruding portion touches. Therefore, the first coordinate and the second coordinate are detected from an unintended contact with the display surface (for example, a fist contact) or a contact with an object (such as a paper memo) attached to the display surface 10A itself. It is possible to prevent a touch from being erroneously detected from the first coordinate and the second coordinate.

≪タッチ検出処理の流れ≫
最後に、タッチ検出装置100が行うタッチ検出処理(タッチ検出方法)の流れについて、図6を参照して説明する。図6はタッチ検出装置100が行うタッチ検出処理の流れを示すフローチャートである。
≪Touch detection process flow≫
Finally, the flow of touch detection processing (touch detection method) performed by the touch detection device 100 will be described with reference to FIG. FIG. 6 is a flowchart showing a flow of touch detection processing performed by the touch detection device 100.

タッチ検出装置100の画像取得部110は、第1カメラ20および第2カメラ30が撮影したフレーム画像20Aおよび30Aを取得する(S100、映像取得ステップ)。画像取得部110はフレーム画像20Aおよび30Aをそれぞれ補正部120へと送る。補正部120はフレーム画像20Aおよび30Aを取得すると、これらの画像における表示面10Aの形状が、実際の表示面10Aの形状と同様になるように補正を行うとともに(S102)、フレーム画像20Aおよび30Aから、表示面10Aが写っている部分を切り出し補正済画像20Bおよび30Bとする。補正部120は補正済画像20Bおよび30Bを指示体特定部130へと送る。指示体特定部130は、補正済画像20Bおよび30Bに含まれる指示体を特定し(S104)、当該指示体が示す表示面上の座標(第1座標および第2座標)をそれぞれ特定する。第1座標および第2座標はそれぞれタッチ検出部140へと送信される。タッチ検出部140は、第1座標および第2座標を取得すると、第1座標と第2座標とが一致するか否かを判定する(S106)。第1座標と第2座標とが一致する場合(S106でYES)、タッチ検出部140はタッチが行われたと判定し、一致した座標(第1座標かつ第2座標)をタッチ座標として検出する(S108、タッチ検出ステップ)。一方、第1座標と第2座標とが一致しなかった場合(S106でNO)、タッチ検出部140はタッチが行われなかったと判定する。   The image acquisition unit 110 of the touch detection device 100 acquires the frame images 20A and 30A captured by the first camera 20 and the second camera 30 (S100, video acquisition step). The image acquisition unit 110 sends the frame images 20A and 30A to the correction unit 120, respectively. When the correction unit 120 acquires the frame images 20A and 30A, the correction unit 120 performs correction so that the shape of the display surface 10A in these images is the same as the shape of the actual display surface 10A (S102), and the frame images 20A and 30A. Therefore, the portions where the display surface 10A is shown are cut out and corrected images 20B and 30B. The correction unit 120 sends the corrected images 20B and 30B to the indicator specifying unit 130. The indicator specifying unit 130 specifies the indicator included in the corrected images 20B and 30B (S104), and specifies the coordinates (first coordinate and second coordinate) on the display surface indicated by the indicator. The first coordinate and the second coordinate are transmitted to the touch detection unit 140, respectively. When the touch detection unit 140 acquires the first coordinate and the second coordinate, the touch detection unit 140 determines whether the first coordinate and the second coordinate match (S106). When the first coordinate and the second coordinate match (YES in S106), the touch detection unit 140 determines that the touch has been performed, and detects the matched coordinate (the first coordinate and the second coordinate) as the touch coordinate ( S108, touch detection step). On the other hand, when the first coordinate and the second coordinate do not match (NO in S106), the touch detection unit 140 determines that the touch has not been performed.

上述したように、フレーム画像20Aおよび30Aに指示体が写り込むのは、指示体が表示面10Aに近接(かつ非接触)の場合か、指示体が接触している場合である。そして、指示体が表示面10Aに非接触の場合、フレーム画像20Aおよび30Aにおいて、当該指示体は指示体と最も近接している表示面上の位置とは異なる位置に写り込む。一方、指示体が表示面10Aに接触している場合は、フレーム画像20Aおよび30Aにおいて、指示体は最も近接している表示面上の位置に写り込む。   As described above, the indicator appears in the frame images 20A and 30A when the indicator is close to (and is not in contact with) the display surface 10A or when the indicator is in contact. When the indicator is not in contact with the display surface 10A, the indicator appears in a position different from the position on the display surface closest to the indicator in the frame images 20A and 30A. On the other hand, when the indicator is in contact with the display surface 10A, the indicator appears in the closest position on the display surface in the frame images 20A and 30A.

したがって図6のタッチ検出処理によると、タッチ検出部140は、指示体のタッチを非接触の近接と区別して検出することができる。つまり、タッチ検出装置は、タッチ検出機能を有していない表示装置に対するタッチ(接触)を検出することができるという効果を奏する。   Therefore, according to the touch detection process of FIG. 6, the touch detection unit 140 can detect the touch of the indicator separately from the non-contact proximity. That is, the touch detection device has an effect of being able to detect a touch (contact) on a display device that does not have a touch detection function.

なお、タッチ検出処理において補正部120による補正処理(S102)は必須ではない。例えば第1カメラ20および第2カメラ30の表示面10Aに対する撮影角度が垂直に近い場合、フレーム画像20Aおよび30Aにおける表示面10Aの歪みは少ない。このような場合、タッチ検出装置100は補正部120による補正を行わなくてもよい。具体的には、画像取得部110は取得したフレーム画像20Aおよび30Aを指示体特定部130に送り、指示体特定部130はフレーム画像20Aおよび30A自体を用いて指示体の特定、ならびに第1座標および第2座標の特定を行えばよい。   In the touch detection process, the correction process (S102) by the correction unit 120 is not essential. For example, when the shooting angle with respect to the display surface 10A of the first camera 20 and the second camera 30 is nearly vertical, the distortion of the display surface 10A in the frame images 20A and 30A is small. In such a case, the touch detection apparatus 100 may not perform correction by the correction unit 120. Specifically, the image acquisition unit 110 sends the acquired frame images 20A and 30A to the indicator specifying unit 130, and the indicator specifying unit 130 specifies the indicator using the frame images 20A and 30A itself, and the first coordinates. The second coordinate may be specified.

また、上述のように第1カメラ20および第2カメラ30は固定されている、すなわちフレーム画像20Aおよび30Aに写る表示面10Aの歪みは変化しない。したがって、例えばフレーム画像20Aおよび30Aそれぞれに写った(歪んだ)表示面10A上での(見かけの)位置と、実際の表示面10A上での位置座標とが対応付けられている場合は、補正部120による補正処理(S102)を行わなくとも、フレーム画像20Aおよび30Aから第1座標および第2座標を特定することができる。   Further, as described above, the first camera 20 and the second camera 30 are fixed, that is, the distortion of the display surface 10A shown in the frame images 20A and 30A does not change. Therefore, for example, when the (apparent) position on the display surface 10A captured (distorted) in each of the frame images 20A and 30A is associated with the position coordinates on the actual display surface 10A, correction is performed. Even if the correction process (S102) by the unit 120 is not performed, the first coordinates and the second coordinates can be specified from the frame images 20A and 30A.

〔実施形態2〕
本発明の第2の実施形態について、図7〜図9を参照して説明する。始めに、本実施形態に係るSTB50の要部構成について図7を用いて説明する。図7は、STB50の要部構成を示すブロック図である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態に係るSTB50はタッチ検出装置300に操作特定部150を備える点で、実施形態1に係るSTB40と異なる。
[Embodiment 2]
A second embodiment of the present invention will be described with reference to FIGS. First, the main configuration of the STB 50 according to the present embodiment will be described with reference to FIG. FIG. 7 is a block diagram showing a main configuration of the STB 50. As shown in FIG. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted. The STB 50 according to the present embodiment differs from the STB 40 according to the first embodiment in that the touch detection device 300 includes an operation specifying unit 150.

操作特定部150は、タッチ検出部140がタッチを継続して検出しているフレーム数(すなわち、タッチ持続時間)と、当該タッチ持続時間内におけるタッチ座標の変化との少なくともいずれかに応じて、当該タッチが示す操作の種類を特定するものである。操作特定部150は、さらに詳しくは、持続時間特定部(タッチ継続特定部)151と、座標変化特定部152とを含む。   The operation specifying unit 150 is responsive to at least one of the number of frames (that is, the touch duration) that the touch detection unit 140 continuously detects the touch and a change in touch coordinates within the touch duration. The type of operation indicated by the touch is specified. More specifically, the operation specifying unit 150 includes a duration specifying unit (touch continuation specifying unit) 151 and a coordinate change specifying unit 152.

持続時間特定部151は、タッチ検出部140からフレーム毎に取得するタッチの有無の判定結果から、タッチ持続時間を特定するものである。具体的には、持続時間特定部151はタッチ検出部140からタッチ無しの判定結果を取得すると、タッチ有りとの判定を継続して取得していたフレーム数の示す時間を算出し、一回のタッチ操作にかかったタッチ持続時間として特定する。する。なお、持続時間特定部151は上記フレーム数自体を、タッチ持続時間を示す値とみなしてもよい。その後、タッチ検出部140から再度タッチ有りの判定結果を受信した場合、持続時間特定部151は新たなタッチ操作が始まったとしてタッチ有りとの判定を継続して取得していたフレーム数を、0から計測し直す。   The duration specifying unit 151 specifies the touch duration from the determination result of the presence or absence of a touch acquired for each frame from the touch detection unit 140. Specifically, when acquiring the determination result that there is no touch from the touch detection unit 140, the duration specifying unit 151 calculates the time indicated by the number of frames that have been continuously acquired and determined that there is a touch. Identified as the duration of the touch operation. To do. Note that the duration specifying unit 151 may regard the number of frames itself as a value indicating the touch duration. After that, when the determination result indicating that there is a touch is received again from the touch detection unit 140, the duration specifying unit 151 sets the number of frames that have been continuously acquired as the presence of a touch as a new touch operation has started to 0. Measure again.

座標変化特定部152は、持続時間特定部151がタッチ持続時間を特定した場合、当該タッチ持続時間中に、タッチ検出部140からフレーム毎に取得していたタッチ座標から、一回のタッチ操作におけるタッチ座標の変化を特定する。操作特定部150は、持続時間特定部151が特定したタッチ持続時間と、座標変化特定部152が特定したタッチ座標の変化とに応じて、当該タッチに対応する操作の種類を特定する。なお、操作特定部150の特定する操作の種類は特に限定されないが、一例としてはタップ、長押し、スワイプ、フリックなどが挙げられる。操作特定部150は特定した操作の種類、およびタッチ座標などタッチ検出部140から取得したデータを表示制御装置200へと送信する。さらに、表示制御装置200は受信した操作の種類、タッチ座標などに基づき表示データを作成してもよい。   In the case where the duration specifying unit 151 specifies the touch duration, the coordinate change specifying unit 152 uses the touch coordinates acquired for each frame from the touch detection unit 140 during the touch duration, in one touch operation. Identify changes in touch coordinates. The operation specifying unit 150 specifies the type of operation corresponding to the touch according to the touch duration specified by the duration specifying unit 151 and the change in touch coordinates specified by the coordinate change specifying unit 152. In addition, although the kind of operation which the operation specific part 150 specifies is not specifically limited, A tap, long press, a swipe, a flick etc. are mentioned as an example. The operation specifying unit 150 transmits data acquired from the touch detection unit 140 such as the specified operation type and touch coordinates to the display control device 200. Furthermore, the display control apparatus 200 may create display data based on the received operation type, touch coordinates, and the like.

図8は、操作特定部150が特定する操作の種類と、タッチ持続時間およびタッチ座標の変化の大きさとの関係を示す表である。ここで、タップ操作とは一般的に、ユーザがタッチパネル等の表示面を軽く叩くように瞬間的にタッチする操作を意味する。したがって、操作特定部150は、タッチ持続時間が短い(例えば0.5秒未満など)場合にタッチ検出部140の検出したタッチがタップ操作であると特定すればよい。なお、操作特定部150はタッチ継続時間が短ければ、タッチ座標の変化量に関わらずタッチに係る操作をタップ操作と特定してもよい。一方、長押し操作とは一般的に、ユーザが指示体をタップよりも長時間表示面に接触させる操作を意味する。したがって、操作特定部150は、タッチ持続時間がタップ操作より長く(例えば0.5秒以上など)、かつ、タッチ座標の変化が無い(変化量が所定の閾値より少ない)場合に、タッチ検出部140の検出したタッチに係る操作を長押し操作と特定すればよい。   FIG. 8 is a table showing the relationship between the type of operation specified by the operation specifying unit 150, the touch duration, and the magnitude of change in touch coordinates. Here, the tap operation generally means an operation in which the user instantaneously touches the display surface such as a touch panel lightly. Therefore, the operation specifying unit 150 may specify that the touch detected by the touch detection unit 140 is a tap operation when the touch duration is short (for example, less than 0.5 seconds). Note that, if the touch duration time is short, the operation specifying unit 150 may specify the touch operation as a tap operation regardless of the change amount of the touch coordinates. On the other hand, the long press operation generally means an operation in which the user brings the indicator into contact with the display surface for a longer time than the tap. Therefore, the operation specifying unit 150 is configured to detect the touch detection unit when the touch duration is longer than the tap operation (for example, 0.5 seconds or more) and there is no change in touch coordinates (the amount of change is less than a predetermined threshold). The operation related to the touch detected by 140 may be specified as a long press operation.

また、スワイプ操作とは、ユーザが指示体を表示面に接触させたまま、当該指示体を左右または上下にスライドさせるように動かす操作を意味する。したがって、操作特定部150は、タッチ持続時間がタップ操作の場合よりも長く(例えば1秒以上または数十フレーム以上など)、かつ、タッチ座標の変化がある(変化量が所定の閾値より大きい)場合に、タッチ検出部140の検出したタッチに係る操作をスワイプ操作と特定すればよい。また、フリック操作とは、ユーザが指示体を表示面に短い時間接触させ、画面を軽く払うように動かす操作を意味する。したがって、操作特定部150はタッチ持続時間が中程度に長く(例えば0.5秒以上1秒未満など)、かつタッチ座標の変化がある場合にタッチ検出部140の検出したタッチに係る操作をフリック操作と特定すればよい。   The swipe operation means an operation in which the user moves the indicator so as to slide left and right or up and down while keeping the indicator in contact with the display surface. Therefore, the operation specifying unit 150 has a touch duration longer than that in the case of the tap operation (for example, 1 second or more or several tens of frames or more), and there is a change in touch coordinates (the amount of change is larger than a predetermined threshold). In this case, the operation related to the touch detected by the touch detection unit 140 may be specified as the swipe operation. Further, the flick operation means an operation in which the user touches the display body for a short time and moves the screen so as to lightly touch the screen. Therefore, the operation specifying unit 150 flicks an operation related to the touch detected by the touch detection unit 140 when the touch duration is moderately long (for example, 0.5 seconds or more and less than 1 second) and there is a change in touch coordinates. What is necessary is just to specify as operation.

なお、図8の例では、操作特定部150はタッチ座標について、その変化の有無のみを考慮することとしたが、例えばタッチ座標の変化の大きさ(動きの大きさ)またはタッチ座標の変化のスピードに応じて操作の種類を特定してもよい。例えば上述の例におけるスワイプ操作とフリック操作は、タッチ持続時間の長さでなく、タッチ座標の変化の大きさ(スワイプ操作の方がタッチ座標の変化が大きい)または変化のスピード(フリック操作の方がスピードが速い)によって区別して特定されてもよい。   In the example of FIG. 8, the operation specifying unit 150 considers only the presence or absence of the change in the touch coordinates, but for example, the magnitude of the change in the touch coordinates (the magnitude of the movement) or the change in the touch coordinates. The type of operation may be specified according to the speed. For example, the swipe operation and the flick operation in the above example are not the length of the touch duration, but the magnitude of the change in the touch coordinates (the swipe operation has a larger change in the touch coordinates) or the speed of the change (the direction of the flick operation) May be specified by distinguishing them according to high speed).

≪操作特定処理の流れ≫
続いて、タッチ検出装置100が行う操作特定処理について図9を参照して説明する。図9は、タッチ検出装置100が行う操作特定処理の流れを示すフローチャートである。なお、S200で示した「タッチ検出処理」は、図6にて示したタッチ検出部140によるタッチ検出処理(S100〜S108)を示す。
<< Operation identification process flow >>
Next, an operation specifying process performed by the touch detection device 100 will be described with reference to FIG. FIG. 9 is a flowchart showing the flow of the operation specifying process performed by the touch detection device 100. The “touch detection process” shown in S200 indicates the touch detection process (S100 to S108) by the touch detection unit 140 shown in FIG.

タッチ検出処理が終了すると(S200)、タッチ検出装置100のタッチ検出部140は、操作特定部150に対しタッチの有無(タッチが行われたか否か)の判定結果と、タッチが行われた場合は特定したタッチ座標とを送る。このS200の処理は、画像取得部110が取得するフレーム画像20Aおよび30A毎に行われる。そして、操作特定部150は、タッチ検出部140がタッチを検出している間(S202でNO)、タッチ有りの旨の判定結果と、タッチ座標とを取得する。   When the touch detection process is completed (S200), the touch detection unit 140 of the touch detection device 100 determines whether or not the operation specifying unit 150 is touched (whether or not the touch is performed) and the touch is performed. Sends the specified touch coordinates. The process of S200 is performed for each of the frame images 20A and 30A acquired by the image acquisition unit 110. Then, while the touch detection unit 140 detects a touch (NO in S202), the operation specifying unit 150 acquires a determination result indicating that there is a touch and touch coordinates.

ここで、ユーザのタッチ操作が終了し、タッチ検出部140がタッチを検出しなくなった場合(S202でNO)、タッチ検出部140はタッチ無しの判定結果を操作特定部150に送る。操作特定部150の持続時間特定部151は上記判定結果を受けると、タッチ有りとの判定を継続して取得していたフレーム数から、一回のタッチ操作におけるタッチ持続時間を特定する(S204)。続いて、座標変化特定部152は、タッチ持続時間中のタッチ座標の変化の大きさを特定する(S208)。そして、操作特定部150は、タッチ持続時間と、タッチ座標の変化の大きさとから、当該タッチに係る操作の種類を特定する(S208)。   Here, when the user's touch operation is finished and the touch detection unit 140 no longer detects a touch (NO in S202), the touch detection unit 140 sends a determination result of no touch to the operation specifying unit 150. Upon receiving the determination result, the duration specifying unit 151 of the operation specifying unit 150 specifies the touch duration in a single touch operation from the number of frames that have been continuously acquired as being touched (S204). . Subsequently, the coordinate change specifying unit 152 specifies the magnitude of the change of the touch coordinates during the touch duration (S208). Then, the operation specifying unit 150 specifies the type of operation related to the touch from the touch duration and the magnitude of the change in touch coordinates (S208).

以上の処理によると、操作特定部150はタッチが持続した時間と、当該時間中のタッチ座標の変化量とから操作を特定する。これにより、タッチ検出装置100はタッチの有無およびタッチ座標の検出だけでなく、当該タッチの操作の種類まで区別して検出することが可能になる。   According to the above processing, the operation specifying unit 150 specifies an operation from the time when the touch lasts and the amount of change in touch coordinates during the time. Thereby, the touch detection apparatus 100 can detect not only the presence / absence of touch and the detection of touch coordinates, but also the type of touch operation.

〔実施形態3〕
最後に、本発明の第3の実施形態について、図10および11を参照して説明する。本発明に係るタッチ検出装置100および300は、第1カメラ20および第2カメラ30のいずれとも異なる角度から、第1カメラ20および第2カメラ30と略同時に表示面10A全体を撮影する第3カメラ60からフレーム画像60A(第3映像)を取得し、当該フレーム画像60Aをタッチ検出処理に用いることにより、マルチタッチを検出可能としてもよい。
[Embodiment 3]
Finally, a third embodiment of the present invention will be described with reference to FIGS. The touch detection devices 100 and 300 according to the present invention capture the entire display surface 10A almost simultaneously with the first camera 20 and the second camera 30 from an angle different from both the first camera 20 and the second camera 30. Multi-touch may be detected by acquiring a frame image 60A (third video) from 60 and using the frame image 60A for touch detection processing.

図10は、本実施形態に係るSTB40に接続された表示装置10に対する第1カメラ20、第2カメラ30、および第3カメラ60の配置を示す図である。本実施形態に係るSTB40は第3カメラ60に接続されている点で、実施形態1に係るSTB40、および実施形態2に係るSTB50と異なる。   FIG. 10 is a diagram illustrating an arrangement of the first camera 20, the second camera 30, and the third camera 60 with respect to the display device 10 connected to the STB 40 according to the present embodiment. The STB 40 according to the present embodiment is different from the STB 40 according to the first embodiment and the STB 50 according to the second embodiment in that it is connected to the third camera 60.

第3カメラ60は、第1カメラ20および第2カメラ30と略同時に、表示装置10の表示面全体を撮影するカメラである。第3カメラ60は、第1カメラ20および第2カメラ30のいずれとも異なる角度から表示面10A全体を撮影できるように固定して設置されている。第3カメラ60は例えば図示のように、表示装置10の四隅の、第1カメラ20および第2カメラ30と異なる箇所に、その撮影方向を表示面10Aに向けて設置される。   The third camera 60 is a camera that photographs the entire display surface of the display device 10 substantially simultaneously with the first camera 20 and the second camera 30. The third camera 60 is fixedly installed so that the entire display surface 10A can be photographed from an angle different from both the first camera 20 and the second camera 30. For example, as shown in the figure, the third camera 60 is installed at the four corners of the display device 10 at different positions from the first camera 20 and the second camera 30 with the shooting direction facing the display surface 10A.

図10にて示したように、3台以上のカメラで略同時にフレーム画像を撮影する場合、タッチ検出装置100または300は、複数点の同時タッチ(マルチタッチ)を検出することが可能である。以下でその仕組みについて図11を用いて詳述する。なお、以降の説明では第3カメラ60の撮影したフレーム画像60Aの補正済画像を補正済画像60Bとし、補正済画像60Bに写っている指示体が示す表示面上の(見かけの)位置座標を第3座標と称する。   As shown in FIG. 10, when the frame images are taken almost simultaneously by three or more cameras, the touch detection device 100 or 300 can detect a plurality of simultaneous touches (multi-touch). The mechanism will be described in detail below with reference to FIG. In the following description, the corrected image of the frame image 60A captured by the third camera 60 is referred to as a corrected image 60B, and the (apparent) position coordinates on the display surface indicated by the indicator in the corrected image 60B are shown. This is called the third coordinate.

図11は、表示面10Aに対しマルチタッチが行われた場合のフレーム画像の撮影を示す図である。図11の(a)は第1カメラ20および第2カメラ30のみで撮影を行った場合を示し、図11の(b)は図11の(a)の構成に、第3カメラ60を加えた場合を示す。なお、図11の(b)における実線矢印は、第3カメラ60の撮影方向を示す。   FIG. 11 is a diagram illustrating frame image capturing when multi-touch is performed on the display surface 10A. FIG. 11A shows a case where the first camera 20 and the second camera 30 are used for shooting, and FIG. 11B shows a configuration in which the third camera 60 is added to the configuration of FIG. Show the case. In addition, the solid line arrow in FIG.11 (b) shows the imaging | photography direction of the 3rd camera 60. FIG.

図11の(a)に示すように、2台のカメラでマルチタッチを撮影した場合、指示体Cおよび指示体Dが第1カメラ20または第2カメラ30(同図の(a)では第2カメラ30)の撮影方向に一直線に並ぶ、もしくは、第1カメラ20または第2カメラ30に近い方の指示体Cが大きく、他方の指示体Dが指示体Cの影に入ってしまう可能性がある。この場合、第1カメラ20または第2カメラ30のいずれか一方のフレーム画像には、指示体が1つしか写らないこととなり、ゆえにマルチタッチを上手く検出できない、または検出精度が落ちる可能性がある。   As shown in FIG. 11 (a), when multi-touch is photographed with two cameras, the indicator C and the indicator D are the first camera 20 or the second camera 30 (the second in FIG. 11 (a)). There is a possibility that the indicator C closer to the first camera 20 or the second camera 30 is large and the other indicator D falls into the shadow of the indicator C in a straight line in the shooting direction of the camera 30). is there. In this case, only one indicator is shown in the frame image of either the first camera 20 or the second camera 30, and therefore multi-touch cannot be detected well, or the detection accuracy may be reduced. .

これに対し、図11の(b)に示すように3台のカメラでマルチタッチを撮影した場合、指示体CおよびDは上述のように一直線に並ぶ場合や、片方の指示体の影に他方の指示体が入ってしまった場合でも、図示の通り、第1カメラ20、第2カメラ30、および第3カメラ60の少なくとも2台のカメラによって撮影される。すなわち、フレーム画像20A、30A、および60Aの少なくともいずれか2枚の画像には指示体が2つ写る。したがって、タッチ検出装置100または300は、複数の指示体が写ったフレーム画像からマルチタッチを検出することができる。   On the other hand, as shown in FIG. 11B, when the multi-touch is photographed with three cameras, the indicators C and D are arranged in a straight line as described above, or in the shadow of one indicator Even if the indicator has entered, the image is taken by at least two cameras, the first camera 20, the second camera 30, and the third camera 60, as shown. That is, two indicators appear in at least any two of the frame images 20A, 30A, and 60A. Therefore, the touch detection device 100 or 300 can detect multi-touch from a frame image in which a plurality of indicators are captured.

より詳しくは、画像取得部110が、フレーム画像20A、30A、および60Aを取得すると、これを補正部120へと送る。補正部120は実施形態1にて説明した方法で、フレーム画像20A、30A、および60Aを補正し、補正済画像20B、30B、および補正済画像60Bを指示体特定部130へと送る。   More specifically, when the image acquisition unit 110 acquires the frame images 20A, 30A, and 60A, it sends them to the correction unit 120. The correction unit 120 corrects the frame images 20A, 30A, and 60A by the method described in the first embodiment, and sends the corrected images 20B, 30B, and the corrected image 60B to the indicator specifying unit 130.

指示体特定部130は、実施形態1にて説明した方法で、補正済画像20B、30B、および60Bに写った指示体を特定する。ここで、指示体特定部130は各補正済画像において複数の指示体を特定してよい。そして、それぞれの指示体が示す、表示面10A上の位置(第1座標群〜第3座標群)を特定し、タッチ検出部140へと送る。   The indicator specifying unit 130 specifies the indicator shown in the corrected images 20B, 30B, and 60B by the method described in the first embodiment. Here, the indicator specifying unit 130 may specify a plurality of indicators in each corrected image. Then, the position (first coordinate group to third coordinate group) indicated by each indicator on the display surface 10 </ b> A is specified and sent to the touch detection unit 140.

タッチ検出部140は第1座標群〜第3座標群を取得すると、第1座標群のいずれかの座標と、第2座標群および第3座標群いずれかの群のいずれか一座標とが一致するか否かを判定する。一致する座標があった場合、タッチ検出部140はタッチが行われたと判定し、当該一致した座標をタッチ座標として検出する。タッチ検出部140は第2座標群の各座標についても同様に、他の群に一致する座標が有るか否かを判定し、一致する場合はタッチが行われたと判定し、当該一致した座標をタッチ座標として検出する。このように、タッチ検出部140は補正済画像20B、30B、および60Bのうち少なくとも2つの画像において見かけ上のタッチ位置が一致した場合に、当該位置を指示体のタッチ座標として検出することにより、マルチタッチを検出することができる。   When the touch detection unit 140 acquires the first coordinate group to the third coordinate group, any coordinate in the first coordinate group matches any one coordinate in either the second coordinate group or the third coordinate group. It is determined whether or not to do. If there is a matching coordinate, the touch detection unit 140 determines that the touch has been performed, and detects the matching coordinate as the touch coordinate. Similarly, for each coordinate in the second coordinate group, the touch detection unit 140 determines whether or not there is a coordinate that matches the other group. Detect as touch coordinates. As described above, when the apparent touch position matches in at least two of the corrected images 20B, 30B, and 60B, the touch detection unit 140 detects the position as the touch coordinates of the indicator, Multi-touch can be detected.

さらには、実施形態2にて説明した操作特定部150は、上記タッチ検出部140の判定結果に応じて、各タッチ座標それぞれの操作の種類を特定してもよい。また、操作特定部150はマルチタッチの場合、各タッチに係る操作の組み合わせから、表示面10A全体に行われた操作を特定してもよい。具体的には、操作特定部150は、タッチ座標がそれぞれ近づいていくようなスワイプ操作を2つ特定した場合、これら2つのスワイプ操作を、ピンチイン操作であると特定してもよい。また操作特定部150は、タッチ座標が其々遠ざかるようなスワイプ操作を2つ特定した場合、これら2つのスワイプ操作をピンチアウト操作であると特定してもよい。   Furthermore, the operation specifying unit 150 described in the second embodiment may specify the type of operation for each touch coordinate in accordance with the determination result of the touch detection unit 140. In the case of multi-touch, the operation specifying unit 150 may specify an operation performed on the entire display surface 10A from a combination of operations related to each touch. Specifically, when the operation specifying unit 150 specifies two swipe operations such that the touch coordinates approach each other, the operation specifying unit 150 may specify these two swipe operations as a pinch-in operation. Further, when specifying two swipe operations that cause the touch coordinates to move away from each other, the operation specifying unit 150 may specify these two swipe operations as a pinch-out operation.

〔実施形態4〕
なお、第1カメラ20、第2カメラ30、および第3カメラ60のうち、いずれか一台のカメラのみが表示面10Aを常時撮影し、他のカメラは常時撮影を行っているカメラが指示体を捉えた場合のみ駆動することとしてもよい。
[Embodiment 4]
Note that only one of the first camera 20, the second camera 30, and the third camera 60 always shoots the display surface 10 </ b> A, and the other cameras are the pointers that are always shooting. It is good also as driving only when catching.

例えば、本実施形態に係るタッチ検出装置100または300は、画像取得部110において第1カメラ20から常時取得するのはフレーム画像20Aのみとし、当該フレーム画像20Aについて、補正部120の補正および指示体特定部130における指示体の特定を行う。そして、指示体特定部130がフレーム画像20Aに指示体が写っていると判定した場合、本実施形態に係るタッチ検出装置100または300は、第2カメラ30(および第3カメラ60)に対し、第1カメラ20との略同時の撮影を開始しフレーム画像30A(および60A)を送るように指示してもよい。これにより、タッチが行われない時は1台のカメラのみで表示面10Aを監視することとなるため、本実施形態に係るタッチ検出装置100または300は、タッチ検出に係る消費電力を削減することができる。   For example, in the touch detection device 100 or 300 according to the present embodiment, the image acquisition unit 110 always acquires only the frame image 20A from the first camera 20, and the correction and indicator of the correction unit 120 is obtained for the frame image 20A. The specifying unit 130 specifies the indicator. When the indicator specifying unit 130 determines that the indicator is reflected in the frame image 20A, the touch detection device 100 or 300 according to the present embodiment performs the second camera 30 (and the third camera 60). You may instruct | indicate to start the substantially simultaneous imaging | photography with the 1st camera 20, and to send the frame image 30A (and 60A). Thereby, when the touch is not performed, the display surface 10A is monitored by only one camera, and thus the touch detection device 100 or 300 according to the present embodiment reduces the power consumption related to the touch detection. Can do.

〔実施形態5〕
また、表示装置10が大型のディスプレイである場合など、第1カメラ20および第2カメラ30(および第3カメラ60)が表示面10A全体を撮影することが難しい場合、タッチ検出装置100または300は、第1カメラ20および第2カメラ30(および第3カメラ60)のフレーム画像20Aおよび30A(および60A)から、表示面10A上でタッチ検出が可能な(両方のカメラで撮影可能な)領域を特定し、当該領域を表示制御装置200に通知してもよい。そして、表示制御装置200は、ボタンなど、ユーザにタッチ操作を促すオブジェクトを、通知された領域内にまとめて表示するような表示データを作成し、これを表示装置10に表示させてもよい。
[Embodiment 5]
Further, when it is difficult for the first camera 20 and the second camera 30 (and the third camera 60) to capture the entire display surface 10A, such as when the display device 10 is a large display, the touch detection device 100 or 300 is From the frame images 20A and 30A (and 60A) of the first camera 20 and the second camera 30 (and the third camera 60), an area capable of touch detection on the display surface 10A (capable of photographing with both cameras) The area may be specified and the display control apparatus 200 notified of the area. Then, the display control apparatus 200 may create display data that collectively displays objects such as buttons that prompt the user to perform a touch operation in the notified area, and may display the display data on the display apparatus 10.

上記の構成によると、本実施形態に係るタッチ検出装置100または300は、本実施形態に係る表示制御装置200と共働することにより、ユーザのタッチを第1カメラ20および第2カメラ30(および第3カメラ60)が撮影可能な範囲内に誘導することができる。したがって、本実施形態に係るタッチ検出装置100または300は、表示面10A全域を第1カメラ20および第2カメラ30の撮影範囲内に収めることができない場合でも、表示面10Aの一部分の領域に対するタッチを検出することができる。また、本実施形態に係る表示制御装置200は上記タッチに応じた表示を行うことが可能となる。   According to said structure, the touch detection apparatus 100 or 300 which concerns on this embodiment cooperates with the display control apparatus 200 which concerns on this embodiment, and a user's touch is detected by the 1st camera 20 and the 2nd camera 30 (and The third camera 60) can be guided within an imageable range. Therefore, the touch detection device 100 or 300 according to the present embodiment can touch the partial area of the display surface 10A even when the entire display surface 10A cannot be within the imaging range of the first camera 20 and the second camera 30. Can be detected. In addition, the display control apparatus 200 according to the present embodiment can perform display according to the touch.

〔実施形態6〕
タッチ検出装置100および300の制御ブロック(特に画像取得部110、補正部120、指示体特定部130、タッチ検出部140、および操作特定部150)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
[Embodiment 6]
The control blocks (particularly the image acquisition unit 110, the correction unit 120, the indicator identification unit 130, the touch detection unit 140, and the operation identification unit 150) of the touch detection devices 100 and 300 are formed on an integrated circuit (IC chip) or the like. It may be realized by a logic circuit (hardware), or may be realized by software using a CPU (Central Processing Unit).

後者の場合、タッチ検出装置100および300は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the touch detection devices 100 and 300 include a CPU that executes instructions of a program that is software that implements each function, and a ROM (Read Only) in which the program and various data are recorded so as to be readable by the computer (or CPU). Memory) or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

〔まとめ〕
本発明の態様1に係るタッチ検出装置(タッチ検出装置100または300)は、表示装置(表示装置10)の表示面(表示面10A)に対する指示体のタッチを検出するタッチ検出装置であって、第1カメラ(第1カメラ20)が撮影した上記表示面の第1映像(フレーム画像20A)と、第2カメラ(第2カメラ30)が上記第1カメラと略同時に異なる角度から撮影した上記表示面の第2映像(フレーム画像30A)と、を取得する映像取得部(画像取得部110)と、上記映像取得部が取得した上記第1映像に写った上記指示体の上記表示面に対するタッチ位置である第1位置(第1座標)と、上記第2映像に写った上記指示体の上記表示面に対するタッチ位置である第2位置(第2座標)とが略一致する場合に、当該略一致した位置を上記指示体のタッチ位置として検出するタッチ検出部(タッチ検出部140)と、を備えることを特徴としている。
[Summary]
A touch detection device (touch detection device 100 or 300) according to aspect 1 of the present invention is a touch detection device that detects a touch of an indicator on a display surface (display surface 10A) of a display device (display device 10), The first image (frame image 20A) of the display surface captured by the first camera (first camera 20) and the display captured by the second camera (second camera 30) from a different angle substantially simultaneously with the first camera. A video acquisition unit (image acquisition unit 110) for acquiring a second video (frame image 30A) of the screen, and a touch position of the indicator reflected in the first video acquired by the video acquisition unit with respect to the display surface When the first position (first coordinate) is substantially the same as the second position (second coordinate) that is the touch position of the indicator on the display surface of the indicator in the second video, the substantially same Place The is characterized in that it comprises a touch detection unit which detects a touch position of the pointer (the touch detection unit 140), the.

上記第1映像および第2映像に指示体が含まれる場合は、二通り考えられる。一つ目は指示体が接触していない場合で、二つ目は指示体が表示面に接触している場合である。   When the first video and the second video include an indicator, two ways can be considered. The first is when the indicator is not in contact, and the second is when the indicator is in contact with the display surface.

表示面に接触していない指示体を撮影すると、当該指示体は見かけ上、撮影角度から見て表示面に投影された位置、すなわち指示体と最も近接している表示面上の位置とは異なる位置に写る。一方、表示面に接触している指示体については、表示面に投影された位置と、指示体と最も近接している表示面上の位置とは異ならずに写る。   When an indicator that is not in contact with the display surface is photographed, the indicator apparently differs from the position projected on the display surface as viewed from the photographing angle, that is, the position on the display surface that is closest to the indicator. It appears in the position. On the other hand, for the indicator that is in contact with the display surface, the position projected on the display surface and the position on the display surface that is closest to the indicator appear in the image.

上記原理を利用して、タッチ検出部は略同時に異なる角度から撮影された第1映像および第2映像において第1位置と第2位置が略一致する場合にタッチを検出する。これにより、タッチ検出部は、指示体のタッチを非接触の近接と区別して検出することができる。したがって、タッチ検出装置は、タッチ検出機能を有していない表示装置に対するタッチでも検出することができるという効果を奏する。   Using the above principle, the touch detection unit detects a touch when the first position and the second position substantially coincide with each other in the first video and the second video taken at different angles substantially simultaneously. Thereby, the touch detection part can distinguish and detect the touch of a pointer from non-contact proximity. Therefore, the touch detection device has an effect of being able to detect even a touch on a display device that does not have a touch detection function.

本発明の態様2に係るタッチ検出装置は、上記態様1において、上記タッチ検出部は、上記第1映像および上記第2映像に写った上記指示体がそれぞれ突出部分を有する形状であるとき、上記第1映像に写った上記指示体の上記突出部分によるタッチ位置を上記第1位置とし、上記第2映像に写った上記指示体の上記突出部分によるタッチ位置を上記第2位置としてもよい。   The touch detection device according to aspect 2 of the present invention is the touch detection device according to aspect 1, in which the touch detection unit is configured so that each of the indicators reflected in the first image and the second image has a protruding portion. The touch position by the protruding portion of the indicator shown in the first video may be the first position, and the touch position by the protruding portion of the indicator shown in the second video may be the second position.

上記の構成によると、タッチ検出部は、第1映像および第2映像に写った指示体の突出部分が示す位置をそれぞれ第1位置および第2位置としたときに、これらの位置が略一致した場合、当該略一致した位置をタッチ位置とする。ここで、「突出部分」とは、指示体の画像における、予め定められた凸形状を示す部分を意味する。より具体的には、「突出部分」とは、例えば各指先の全体または先端の形状や、ペンやポインタなどの全体または先端部分の形状などである。そして、「突出部分が示す位置」とは例えば、突出部分の先端の1点が指し示す位置である。   According to the above configuration, when the positions indicated by the protruding portions of the indicator in the first video and the second video are the first position and the second position, respectively, the touch detection unit substantially matches these positions. In this case, the substantially matched position is set as the touch position. Here, the “protruding portion” means a portion showing a predetermined convex shape in the image of the indicator. More specifically, the “protruding portion” is, for example, the shape of the whole or tip of each fingertip, the shape of the whole or tip portion of a pen, a pointer, or the like. The “position indicated by the protruding portion” is, for example, a position indicated by one point at the tip of the protruding portion.

より具体的に説明すると、例えばユーザが指を伸ばして表示面をタッチした場合、第1映像および第2映像に写った指示体(ユーザの手指)は突出部分を有する形状であるため、タッチ検出部は上記指のタッチをタッチとして検出する。一方、ユーザが指を曲げて(拳で)表示面をタッチした場合、第1映像および第2映像に写った指示体(ユーザの拳)は突出部分を有さないため、タッチ検出部は上記拳のタッチをタッチとして検出しない。このように、タッチ検出部は指示体の突出部分が表示面に触れた場合にタッチを検出するので、表示面に対する意図しない接触をタッチと誤検出することを防ぐことができる。   More specifically, for example, when the user stretches the finger and touches the display surface, the indicator (user's finger) shown in the first video and the second video has a shape having a protruding portion, so that touch detection is performed. The unit detects the touch of the finger as a touch. On the other hand, when the user bends a finger (touches the display surface) with a fist, the indicator (user's fist) shown in the first video and the second video does not have a protruding portion. Do not detect fist touch as touch. As described above, the touch detection unit detects a touch when the protruding portion of the indicator touches the display surface, and thus can prevent an unintended contact with the display surface from being erroneously detected as a touch.

換言すると、ユーザは、表示面に対しタッチ操作を行いたい場合は指先などの指示体で表示面をタッチし、タッチ操作は行いたくないが表示面に触れたい場合(例えば、他のユーザに表示面の画像を示したい場合など)は、拳など突出部分の無いもので表示面に触れることで、タッチ操作を意図した時だけ、当該タッチ操作に係るタッチをタッチ検出装置に検出させることができる。   In other words, when the user wants to perform a touch operation on the display surface, the user touches the display surface with an indicator such as a fingertip, and when the user does not want to perform the touch operation but wants to touch the display surface (for example, display to other users). For example, when an image of a surface is desired, the touch detection device can detect a touch related to the touch operation only when the touch operation is intended by touching the display surface with an object such as a fist that has no protruding portion. .

またタッチ検出部は、表示面自体に指示体でない物体(紙のメモなど)が貼り付けられた(接触した)場合でも、当該物体の接触をタッチと検出しない。したがって、タッチ検出部は、指示体以外の物体の接触をタッチと誤検出することを防ぐことができる。   In addition, even when an object (such as a paper memo) that is not an indicator is pasted (contacted) on the display surface itself, the touch detection unit does not detect the touch of the object as a touch. Therefore, the touch detection unit can prevent erroneous detection of a contact of an object other than the indicator as a touch.

本発明の態様3に係るタッチ検出装置は、上記態様1または2において、上記タッチ検出部が上記指示体のタッチ位置を継続して検出している時間(タッチ持続時間)を特定するタッチ継続特定部(持続時間特定部151)と、上記タッチ継続特定部の特定した上記時間に応じて、上記継続して検出されたタッチ位置に対応するタッチが示す操作を特定する操作特定部(操作特定部150)と、を備えてもよい。   The touch detection device according to aspect 3 of the present invention is the touch continuation specification that specifies the time (touch duration) during which the touch detection unit continuously detects the touch position of the indicator in aspect 1 or 2 above. An operation specifying unit (operation specifying unit) for specifying an operation indicated by a touch corresponding to the continuously detected touch position according to the time specified by the unit (duration specifying unit 151) and the touch continuation specifying unit 150).

上記の構成によると、操作特定部は、タッチが継続している時間に応じて操作を特定する。これにより、例えばタップ操作と長押し操作などを区別して特定することができる。   According to said structure, an operation specific | specification part specifies operation according to the time when a touch is continuing. Thereby, for example, a tap operation and a long press operation can be distinguished and specified.

本発明の態様4に係るタッチ検出装置は、上記態様3において、上記操作特定部は、上記タッチ継続特定部の特定した上記時間と、当該時間における、上記タッチ検出部が検出した上記指示体のタッチ位置の変化と、に応じて上記操作を特定してもよい。   In the touch detection device according to aspect 4 of the present invention, in the aspect 3, the operation specifying unit includes the time specified by the touch continuation specifying unit, and the indicator detected by the touch detection unit at the time. The operation may be specified according to the change in the touch position.

上記の構成によると、操作特定部は、タッチが継続している時間に加え、当該時間中でのタッチ位置の変化も加味して操作を特定する。タッチ位置の変化を加味することにより、操作特定部はより多様な操作を特定することができる。   According to said structure, an operation specific | specification part specifies operation in consideration of the change of the touch position in the said time in addition to the time when the touch is continuing. By considering the change in the touch position, the operation specifying unit can specify various operations.

本発明の態様5に係るタッチ検出装置は、上記態様1〜4のいずれかにおいて、上記映像取得部は第3カメラ(第3カメラ60)が上記第1カメラおよび上記第2カメラと略同時に異なる角度から撮影した上記表示面の第3映像(フレーム画像60A)をさらに取得し、上記タッチ検出部は、上記第1映像、上記第2映像、および上記第3映像のうち少なくとも2つの映像において、当該映像に写った上記指示体の上記表示面に対するタッチ位置が略一致した位置を複数特定したとき、該複数の位置を複数の上記指示体による複数のタッチ位置としてそれぞれ検出してもよい。   The touch detection device according to aspect 5 of the present invention is the touch detection device according to any one of the aspects 1 to 4, in which the video acquisition unit is different from the first camera and the second camera at the same time in the third camera (third camera 60). A third image (frame image 60A) of the display surface taken from an angle is further acquired, and the touch detection unit is configured to display at least two images of the first image, the second image, and the third image. When a plurality of positions where the touch positions on the display surface of the indicator reflected in the video are substantially coincident are specified, the plurality of positions may be detected as a plurality of touch positions by the plurality of indicators.

上記の構成によると、第1〜第3カメラはそれぞれ略同時に異なる角度から表示面を撮影しているので、表示面に対し複数の指示体がタッチした(マルチタッチ)場合でも、各指示体は第1〜第3映像のうち少なくとも2つの映像には写ることとなる。したがって、少なくとも2つの映像において指示体の見かけ上のタッチ位置が略一致した場合、略一致した位置それぞれを複数の指示体のタッチ位置であると検出することにより、マルチタッチを検出することができる。   According to the above configuration, each of the first to third cameras captures the display surface from different angles substantially simultaneously. Therefore, even when a plurality of indicators touch the display surface (multi-touch), each indicator It will appear in at least two of the first to third images. Therefore, when the apparent touch position of the indicator substantially matches in at least two images, multi-touch can be detected by detecting each of the substantially matched positions as the touch position of a plurality of indicators. .

本発明の態様6に係るタッチ検出装置は、上記態様1〜5のいずれかにおいて、上記第1映像および上記第2映像に対してそれぞれ予め設定された上記表示面の外周線を示す位置を基準に、上記映像取得部が取得した上記第1映像および上記第2映像から上記表示面の領域の画像をそれぞれ抽出して歪み補正を行う補正部(補正部120)を備えていてもよい。   A touch detection device according to an aspect 6 of the present invention is the touch detection device according to any one of the above aspects 1 to 5, wherein the position indicating the outer peripheral line of the display surface set in advance for each of the first video and the second video is a reference In addition, a correction unit (correction unit 120) that performs distortion correction by extracting images of the display surface area from the first video and the second video acquired by the video acquisition unit may be provided.

表示面と垂直な角度以外の角度から映像を撮影した場合、表示面は撮影角度に応じて歪んで撮影される。上記の構成によると、補正部は第1映像および第2映像の歪み補正を行う。例えば、第1映像および第2映像に写った表示面の形状を表示面の実際の形状と同形状に補正する。そして、タッチ検出部は、補正部の補正した第1映像における第1位置と、補正部の補正した第2映像における第2位置とが略一致する場合に、当該略一致した位置を指示体のタッチ位置として検出する。これによりタッチ検出部は補正済みの第1映像および第2映像からタッチ位置を検出することができ、表示面におけるタッチ位置をより正確に検出することができる。   When an image is taken from an angle other than the angle perpendicular to the display surface, the display surface is photographed with distortion according to the photographing angle. According to said structure, a correction | amendment part performs distortion correction of a 1st image | video and a 2nd image | video. For example, the shape of the display surface shown in the first image and the second image is corrected to the same shape as the actual shape of the display surface. Then, when the first position in the first video corrected by the correction unit and the second position in the second video corrected by the correction unit substantially coincide with each other, the touch detection unit determines the substantially coincident position of the indicator. Detect as touch position. Thereby, the touch detection unit can detect the touch position from the corrected first video and second video, and can detect the touch position on the display surface more accurately.

本発明の態様7に係るタッチ検出方法(タッチ検出処理)は、表示装置の表示面に対する指示体のタッチを検出するタッチ検出装置のタッチ検出方法であって、第1カメラが撮影した上記表示面の第1映像と、第2カメラが上記第1カメラと異なる角度から略同時に撮影した上記表示面の第2映像と、を取得する映像取得ステップ(S100)と、上記映像取得ステップにて取得した上記第1映像に写った上記指示体の上記表示面に対するタッチ位置である第1位置と、上記第2映像に写った上記指示体の上記表示面に対するタッチ位置である第2位置とが略一致する場合に、当該略一致した位置を上記指示体のタッチ位置として検出するタッチ検出ステップ(S108)と、を含むことを特徴としている。上記の構成によると、態様1に係るタッチ検出装置と同様の効果を奏する。   A touch detection method (touch detection process) according to an aspect 7 of the present invention is a touch detection method of a touch detection device that detects a touch of an indicator on a display surface of the display device, and the display surface is captured by a first camera. Acquired in the video acquisition step (S100) for acquiring the first video and the second video of the display surface captured by the second camera at substantially the same angle as the first camera, and the video acquisition step. A first position that is a touch position of the indicator on the display surface of the indicator shown in the first video and a second position that is a touch position of the indicator on the display surface of the second video substantially match. A touch detection step (S108) for detecting the substantially coincident position as the touch position of the indicator. According to said structure, there exists an effect similar to the touch detection apparatus which concerns on aspect 1. FIG.

本発明の各態様に係るタッチ検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記タッチ検出装置が備える各部(ソフトウェア要素)として動作させることにより上記タッチ検出装置をコンピュータにて実現させるタッチ検出装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The touch detection device according to each aspect of the present invention may be realized by a computer. In this case, the touch detection device is operated on each computer by operating the computer as each unit (software element) included in the touch detection device. The control program for the touch detection device to be realized and the computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.

本発明は表示装置に対する指示体のタッチを検出するために好適に利用できる。本発明は特に、タッチ検出機能を持たない表示装置に後付けでタッチ検出機能を搭載する場合に好適に利用できる。   The present invention can be suitably used to detect a touch of an indicator on a display device. The present invention can be suitably used particularly when a touch detection function is mounted on a display device having no touch detection function as a retrofit.

10 表示装置
20 第1カメラ
30 第2カメラ
60 第3カメラ
40、50 STB
100、300 タッチ検出装置
200 表示制御装置
110 画像取得部(映像取得部)
120 補正部
130 指示体特定部
140 タッチ検出部
150 操作特定部
151 持続時間特定部(タッチ継続特定部)
152 座標変化特定部
DESCRIPTION OF SYMBOLS 10 Display apparatus 20 1st camera 30 2nd camera 60 3rd camera 40, 50 STB
100, 300 Touch detection device 200 Display control device 110 Image acquisition unit (video acquisition unit)
DESCRIPTION OF SYMBOLS 120 Correction | amendment part 130 Indicator specification part 140 Touch detection part 150 Operation specification part 151 Duration specification part (touch continuation specification part)
152 Coordinate change specifying part

Claims (5)

表示装置の表示面に対する指示体のタッチを検出するタッチ検出装置であって、
第1カメラが撮影した上記表示面の第1映像と、第2カメラが上記第1カメラと略同時に異なる角度から撮影した上記表示面の第2映像と、を取得する映像取得部と、
上記映像取得部が取得した上記第1映像に写った上記指示体の上記表示面に対するタッチ位置である第1位置と、上記第2映像に写った上記指示体の上記表示面に対するタッチ位置である第2位置とが略一致する場合に、当該略一致した位置を上記指示体のタッチ位置として検出するタッチ検出部と、を備えることを特徴とするタッチ検出装置。
A touch detection device that detects a touch of an indicator on a display surface of a display device,
A video acquisition unit that acquires a first video of the display surface captured by the first camera and a second video of the display surface captured by the second camera from a different angle substantially simultaneously with the first camera;
The first position, which is the touch position of the indicator reflected in the first video acquired by the video acquisition unit, with respect to the display surface, and the touch position of the indicator, reflected in the second video, relative to the display surface. A touch detection device comprising: a touch detection unit configured to detect the substantially matched position as the touch position of the indicator when the second position substantially matches.
上記タッチ検出部は、上記第1映像および上記第2映像に写った上記指示体がそれぞれ突出部分を有する形状であるとき、上記第1映像に写った上記指示体の上記突出部分によるタッチ位置を上記第1位置とし、上記第2映像に写った上記指示体の上記突出部分によるタッチ位置を上記第2位置とすることを特徴とする、請求項1に記載のタッチ検出装置。   The touch detection unit is configured to determine a touch position by the protruding portion of the indicator reflected in the first video when the pointer reflected in the first video and the second video each has a protruding portion. The touch detection device according to claim 1, wherein the first position is a touch position by the protruding portion of the indicator in the second video, and the second position is the touch position. 上記タッチ検出部が上記指示体のタッチ位置を継続して検出している時間を特定するタッチ継続特定部と、
上記タッチ継続特定部の特定した上記時間に応じて、上記継続して検出されたタッチ位置に対応するタッチが示す操作を特定する操作特定部と、を備えることを特徴とする、請求項1または2に記載のタッチ検出装置。
A touch continuation identification unit that identifies a time during which the touch detection unit continuously detects the touch position of the indicator;
The operation specifying unit that specifies an operation indicated by the touch corresponding to the continuously detected touch position according to the time specified by the touch continuation specifying unit. 3. The touch detection device according to 2.
上記操作特定部は、上記タッチ継続特定部の特定した上記時間と、当該時間における、上記タッチ検出部が検出した上記指示体のタッチ位置の変化と、に応じて上記操作を特定することを特徴とする、請求項3に記載のタッチ検出装置。   The operation specifying unit specifies the operation according to the time specified by the touch continuation specifying unit and a change in the touch position of the indicator detected by the touch detection unit at the time. The touch detection device according to claim 3. 上記映像取得部は第3カメラが上記第1カメラおよび上記第2カメラと略同時に異なる角度から撮影した上記表示面の第3映像をさらに取得し、
上記タッチ検出部は、上記第1映像、上記第2映像、および上記第3映像のうち少なくとも2つの映像において、当該映像に写った上記指示体の上記表示面に対するタッチ位置が略一致した位置を複数特定したとき、該複数の位置を複数の上記指示体による複数のタッチ位置としてそれぞれ検出することを特徴とする、請求項1〜4のいずれか1項に記載のタッチ検出装置。
The video acquisition unit further acquires a third video of the display surface taken from a different angle by the third camera substantially simultaneously with the first camera and the second camera,
The touch detection unit is configured to determine a position where a touch position of the indicator on the display surface of the first image, the second image, and the third image is substantially coincident with the display surface in the image. 5. The touch detection device according to claim 1, wherein when a plurality of positions are specified, the plurality of positions are respectively detected as a plurality of touch positions by the plurality of indicators.
JP2015051073A 2015-03-13 2015-03-13 Touch detection device Active JP6709022B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015051073A JP6709022B2 (en) 2015-03-13 2015-03-13 Touch detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015051073A JP6709022B2 (en) 2015-03-13 2015-03-13 Touch detection device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018227583A Division JP2019053769A (en) 2018-12-04 2018-12-04 Touch detection apparatus, touch detection system, touch detection method, and program

Publications (2)

Publication Number Publication Date
JP2016170709A true JP2016170709A (en) 2016-09-23
JP6709022B2 JP6709022B2 (en) 2020-06-10

Family

ID=56983876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015051073A Active JP6709022B2 (en) 2015-03-13 2015-03-13 Touch detection device

Country Status (1)

Country Link
JP (1) JP6709022B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282961A1 (en) * 2015-03-27 2016-09-29 Seiko Epson Corporation Interactive projector and method of controlling interactive projector

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239390A (en) * 2008-03-26 2009-10-15 Fujifilm Corp Compound eye photographing apparatus, control method therefor, and program
JP2011180712A (en) * 2010-02-26 2011-09-15 Sanyo Electric Co Ltd Projection type image display apparatus
JP2012003741A (en) * 2010-05-18 2012-01-05 Rohm Co Ltd Position detection device and portable phone
US20120182396A1 (en) * 2011-01-17 2012-07-19 Mediatek Inc. Apparatuses and Methods for Providing a 3D Man-Machine Interface (MMI)
WO2012173001A1 (en) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 Information input device
JP2013045449A (en) * 2011-08-19 2013-03-04 Trendon Touch Technology Corp Optical touch system and position determination method
JP2013250879A (en) * 2012-06-01 2013-12-12 Pfu Ltd Image processing apparatus, image reading device, image processing method, and image processing program
JP2014067349A (en) * 2012-09-27 2014-04-17 Seiko Epson Corp Human interface device and method
JP2014174833A (en) * 2013-03-11 2014-09-22 Hitachi Consumer Electronics Co Ltd Operation detection device and operation detection method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239390A (en) * 2008-03-26 2009-10-15 Fujifilm Corp Compound eye photographing apparatus, control method therefor, and program
JP2011180712A (en) * 2010-02-26 2011-09-15 Sanyo Electric Co Ltd Projection type image display apparatus
JP2012003741A (en) * 2010-05-18 2012-01-05 Rohm Co Ltd Position detection device and portable phone
US20120182396A1 (en) * 2011-01-17 2012-07-19 Mediatek Inc. Apparatuses and Methods for Providing a 3D Man-Machine Interface (MMI)
WO2012173001A1 (en) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 Information input device
JP2013045449A (en) * 2011-08-19 2013-03-04 Trendon Touch Technology Corp Optical touch system and position determination method
JP2013250879A (en) * 2012-06-01 2013-12-12 Pfu Ltd Image processing apparatus, image reading device, image processing method, and image processing program
JP2014067349A (en) * 2012-09-27 2014-04-17 Seiko Epson Corp Human interface device and method
JP2014174833A (en) * 2013-03-11 2014-09-22 Hitachi Consumer Electronics Co Ltd Operation detection device and operation detection method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282961A1 (en) * 2015-03-27 2016-09-29 Seiko Epson Corporation Interactive projector and method of controlling interactive projector
JP2016186669A (en) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 Interactive projector and method for controlling interactive projector
US10551972B2 (en) 2015-03-27 2020-02-04 Seiko Epson Corporation Interactive projector and method of controlling interactive projector

Also Published As

Publication number Publication date
JP6709022B2 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
JP5480777B2 (en) Object display device and object display method
US10055081B2 (en) Enabling visual recognition of an enlarged image
JP6248533B2 (en) Image processing apparatus, image processing method, and image processing program
JP6075122B2 (en) System, image projection apparatus, information processing apparatus, information processing method, and program
US20170200314A1 (en) Augmented reality contents generation and play system and method using the same
JPH11212726A (en) Input device
JP6723814B2 (en) Information processing apparatus, control method thereof, program, and storage medium
TW201539254A (en) Generating a screenshot
CN108027656B (en) Input device, input method, and program
JP2014202540A (en) Position calculation system, position calculation program, and position calculation method
TW201023011A (en) Detecting method for photo sensor touch panel and touch control electronic apparatus using the same
CN110297545B (en) Gesture control method, gesture control device and system, and storage medium
JP2007201661A (en) Unit and method for processing image, and program
WO2019100407A1 (en) Positioning of terminal screen based on transformation relation of coordinates of marking graphic points in pattern
JP2019087945A (en) Information processing apparatus, program, and information processing method
US20160328088A1 (en) Controlling method for a sensing system
WO2017215246A1 (en) Input device recognition method and system, and input instruction recognition method and system
JP6170241B2 (en) Character identification device and control program
JP6229554B2 (en) Detection apparatus and detection method
CN108227923A (en) A kind of virtual touch-control system and method based on body-sensing technology
JP6709022B2 (en) Touch detection device
JP2019053769A (en) Touch detection apparatus, touch detection system, touch detection method, and program
US9454247B2 (en) Interactive writing device and operating method thereof using adaptive color identification mechanism
US20150048155A1 (en) Touch positioning method utilizing optical identification (oid) technology, oid positioning system and oid reader
JP2018055685A (en) Information processing device, control method thereof, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181211

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150