JP2006010489A - Information device, information input method, and program - Google Patents

Information device, information input method, and program Download PDF

Info

Publication number
JP2006010489A
JP2006010489A JP2004187735A JP2004187735A JP2006010489A JP 2006010489 A JP2006010489 A JP 2006010489A JP 2004187735 A JP2004187735 A JP 2004187735A JP 2004187735 A JP2004187735 A JP 2004187735A JP 2006010489 A JP2006010489 A JP 2006010489A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
information
object
image
unit
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004187735A
Other languages
Japanese (ja)
Inventor
Michio Miwa
道雄 三輪
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide an information system, an information input method, and a program allowing to input information by quickly detecting movements of an indicating object such as a finger of a user.
SOLUTION: A cellular phone device 50 to which information is inputted in a noncontact manner by movements of a finger comprises a diaphragm 1, a stop control section 4 which controls the aperture of the diaphragm 1, a photographing section 3 which photographs a finger, a key contact detection section 11 which decides whether the finger is within a predetermined distance range or not by changing the aperture with the stop control section 4 and comparing a plurality of finger images photographed by the photographing section 3 for each aperture, and a key operation decision section 13 which decides what key has been operated when the finger has been decided to be within the predetermined distance range.
COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、携帯電話装置等の情報装置に関し、特に非接触に情報入力することのできる情報装置に関する。 The present invention relates to an information device such as a portable telephone device, an information device capable of particularly the information input to the non-contact.

近年、携帯電話装置、PDA(Personal Digital Assistant)装置およびパソコン装置等の情報装置の小型化が進んでいる。 In recent years, mobile phone device, PDA (Personal Digital Assistant) devices and miniaturization of the information apparatus of the personal computer device or the like is progressing. 情報装置のさらなる小型化を実現するためには、その装置構成から文字や数字等の情報を入力するためのテンキーやキーボード等の入力部を除去することが必要となってきている。 To achieve further miniaturization of the information equipment, it has become necessary to remove the input of a numeric keypad and a keyboard for inputting information such as characters and numbers from the device configuration.

情報装置に対してこのような入力部を用いることなく情報を入力することのできる装置としては、例えば、LCD(Liquid Crystal Display)装置等の表示部の上に透明なタッチパネルを重ねて配置して、表示部の画面上にキーボード等の入力を誘導する画像を表示し、ユーザはあたかも画像上の所望のキーに触れるようにして実際にはタッチパネルに触れることによって所望の情報が入力できる情報装置が実用化されている。 As an apparatus capable of the information apparatus to input information without using such an input unit, for example, arranged to overlap the transparent touch panel on an LCD (Liquid Crystal Display) display unit such device displays an image of inducing an input such as a keyboard on the screen of the display unit, the user is though desired information can be input information device by touching the touch panel in practice then touch the desired key on the image It has been put to practical use.

しかしながら、一般に透明タッチパネルはその反射率が高いので、屋外等の外光のもとでは下側に配置された表示部の表示が見えにくい上に、タッチパネルに指を接触させて入力を行う場合には、タッチパネル上に皮脂等による汚れが付着したり、さらには、指によって操作可能な範囲が表示部の大きさに制限されるので、情報装置の小型化にともなって表示部が小型化すると操作可能な範囲も小さくなり、それによって操作性が悪化したりするという課題があり、このような構成の情報装置は必ずしもユーザに広く受け入れられているとはいえなかった。 However, since in general high transparent touch panel is its reflectance, on the display of the display portion arranged on the lower side is difficult to see under external light such as outdoors, in the case of performing an input by contacting the finger on the touch panel is or attached dirt by sebum or the like on the touch panel, furthermore, since the range which can be operated by the finger is limited to the size of the display unit, the display unit along with the miniaturization of the information device is miniaturized and the operating possible range becomes small, there is a problem that thereby the operability is deteriorated, such a configuration of the information device has not necessarily widely accepted user.

このような課題に鑑みて、ユーザはタッチパネル等のデバイスに触れることなく空間で指、ペンまたは指示棒等の物体を動かし、情報装置はその物体の動きを検出することによって、その物体の動き方の違いによって様々な情報を非接触に入力することのできる情報装置が提案されてきている。 In view of such a problem, how the user moves a finger, an object such as a pen or pointer stick in the space without touching the device such as a touch panel, the information apparatus by detecting the movement of the object, movement of the object information device capable of inputting various information to the non-contact by the difference in have been proposed.

このような情報装置の一例として、二次元に複数の発光ダイオード(以下、LEDと記す)を配置して順番に点灯させ、それぞれのLEDから発した光線の指における反射光の位置を位置検出素子によって検出する入力装置を備えた構成により、指の座標を三次元的に検出し、検出した指の動きにもとづいて様々な情報を入力することのできる情報装置が提案されている(例えば、特許文献1を参照。)。 As an example of such information device, a plurality of light emitting diodes in a two-dimensional (hereinafter, referred to as LED) is lit in order to place, position the position detection element of the reflected light in the rays of the finger emitted from each LED the arrangement with an input device for detecting by the finger coordinate three-dimensionally detected, the information device which can input various information on the basis of the detected motion of the finger has been proposed (e.g., Patent refer to the literature 1.).
特開平7−334299号公報 JP-7-334299 discloses

しかしながら、前述したような従来の情報装置においては、二次元に複数配置されたLEDを一つずつ順番に点灯させて、それぞれのLEDに対応する指からの反射光の位置を検知した後に指の三次元座標を計算するので、指の位置を検知するのに時間がかかり、指を迅速に移動させたときにはその動きに追随することが難しく、その位置を的確に検出できないという課題があった。 However, in the conventional information apparatus such as described above, by lighting one by one sequentially a plurality arranged LED with two-finger after detecting the position of the reflected light from the finger corresponding to each LED since computing the three-dimensional coordinates, it takes time to detect the position of the finger, when brought into rapidly moving the finger difficult to follow the movement, there is a problem that can not be accurately detect the position.

本発明はこのような課題に鑑みてなされたものであり、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を入力することのできる情報装置、情報入力方法およびプログラムを提供することを目的とする。 The present invention has been made in view of such problems, the information device, the information input that can be quickly move the pointing object such as a user's finger to input information to accurately detect the position and to provide a method and a program.

本発明の情報装置は、物体の動きによって非接触に情報を発生する情報装置であって、絞り部と、絞り部の開口度を調節する開口度調節部と、物体を撮影する撮影部と、開口度調節部により絞り部の開口度を異ならせて物体を撮影部で撮影して取得した、互いに開口度の異なる複数の画像を比較することにより物体が所定の領域内にあるか否かを判定する距離判定部と、物体が所定の領域内にあると判定された場合に物体の位置に対応した所定の情報を発生する情報発生部を備えたことを特徴としている。 Information device of the present invention is an information device for generating information to the contactless by the movement of the object, the opening degree adjusting unit for adjusting the throttle portion, the aperture of the diaphragm portion, and a photographing unit for photographing an object, diaphragm portion by the opening degree adjustment unit with different degree of opening obtained by photographing an object at imaging unit, whether the object is within a predetermined region by comparing a plurality of images having different opening degrees to each other a distance determination unit, the object is characterized by including information generating unit for generating a predetermined information corresponding to the position of the object when it is determined that the predetermined area.

このような構成により、絞り部を開閉することによって開口度の異なる複数の画像を得、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を発生、入力することのできる情報装置を提供することができる。 With such a structure, to obtain a plurality of images having different opening degree by opening and closing the throttle portion, by a relatively simple process of comparing the plurality of images having different its opening degree, a pointing object such as a user's finger rapidly generate be moved to accurately detect the position information, it is possible to provide an information device capable of inputting.

また、物体の互いに開口度の異なる複数の画像の中から選択した一つの画像から物体の二次元座標を算出する座標算出部を備え、情報発生部は、物体の二次元座標に応じて異なる情報を発生する構成であってもよい。 Also includes a coordinate calculation unit for calculating a two-dimensional coordinates of the object from one image selected from among mutually opening degree of a plurality of different images of the object, the information generating section may vary depending on the two-dimensional coordinates of the object information it may be configured to generate.

このような構成によれば、さらに、ユーザの指等の指示物体の二次元座標にもとづいて異なる情報が発生されるので、指示物体を装置に向かって縦横に移動させることによって、異なる情報を発生することが可能である。 According to this configuration, since different information based on the two-dimensional coordinates of the object such as the user's finger is generated, by moving vertically and horizontally toward the pointing object to the device, generating the different information it is possible to.

さらに、情報発生部が物体の二次元座標に対応させて発生する情報を記憶する情報記憶部を備え、情報発生部は、物体の二次元座標の情報および情報記憶部に記憶された情報にもとづいて異なる情報を発生する構成であってもよい。 Further, an information storage unit in which information generation unit stores the information generated in correspondence with the two-dimensional coordinates of the object, the information generation unit, based on the information stored in the information and the information storage unit of the two-dimensional coordinates of the object it may be configured to generate different information Te.

このような構成によれば、さらに、あらかじめ情報記憶部に物体の二次元座標に対応付けて、発生すべき情報を有させることができるので、発生すべき情報の変更等を迅速に行うことが可能となる。 According to this configuration, in association with two-dimensional coordinates of the object in advance information storage unit, it is possible to have the information to be generated, is possible to change the to be generated information and the like quickly It can become.

また、情報記憶部に記憶された情報にもとづいて、物体の二次元座標に対応させて情報発生部より発生する情報をキーボード状に表示する表示部を備えた構成であってもよい。 Further, based on the information stored in the information storage unit may be configured to include a display unit for displaying the information generated from the information generating section in correspondence with the two-dimensional coordinates of the object in the keyboard shape.

このような構成によれば、さらに、表示部にユーザの指等の指示物体の座標に対応して入力可能な情報が表示されるので、ユーザは表示された画像を見ながら指等の指示物体を移動させて、所望の情報を発生させることが可能である。 According to this configuration, since the coordinate can be input information corresponding to the pointing object such as a user's finger is displayed on the display unit, pointing object such as a finger while the user is watching the image displayed the move, it is possible to generate the desired information.

さらに、物体の移動軌跡を生成する軌跡生成部を備え、距離判定部は、物体が所定の領域よりも大きな軌跡表示領域内にあるか否かを判定し、距離判定部において物体が軌跡表示領域内にあると判定された場合に、表示部は物体の移動軌跡を表示する構成であってもよい。 Further comprising a trajectory generating section for generating a movement trajectory of the object, the distance determination unit, the object is determined whether a large trajectory display area than a predetermined area, object trajectory display area at a distance determination unit If it is determined that within the display unit may be configured to display the moving locus of the object.

このような構成によれば、さらに、指等の指示物体が所定の領域よりも外側にあるときに、指示物体の移動軌跡が表示部に表示されるので、ユーザはその移動軌跡を見ながら、自らが入力したい情報を選択することができ、情報の発生を容易に行うことができる。 According to this configuration, when the pointing object such as a finger is outside the predetermined region, the movement trajectory of the pointing object is displayed on the display unit, the user while viewing the moving locus, can itself selects information to be entered, the generation of information can be easily performed.

さらに、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度の違いにもとづいて物体が所定の領域内にあるか否かを判別する構成であってもよい。 Furthermore, the distance determination unit may be configured to objects based on the difference in the degree of focus in each other aperture of the multiple different images of the object is determined whether or not the predetermined area.

このような構成によれば、さらに、画像の合焦度を比較するという簡易な構成によって、物体が所定の領域内にあるか否かを判別して、情報を発生させることができる。 According to this configuration, the simple configuration of comparing the degree of focus images, the object is to determine whether the predetermined area, it is possible to generate information.

さらに、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の係数にもとづいて計算する構成であってもよい。 Furthermore, the distance determination unit, the focus degree in each other aperture of the multiple different images of the object may be configured to calculate on the basis of the coefficients in the case of DCT processing.

このような構成によれば、さらに、画像圧縮技術等に広く用いられるDCT処理を用いてその係数にもとづいて合焦度を計算して、その合焦度にもとづいて物体が所定の領域内にあるか否かの判定を行うので、MPEG等の画像圧縮技術に用いられるDCT処理ブロック等を用いて構成することの容易な情報装置を提供できる。 According to this configuration, the DCT processing which is widely used in image compression techniques such as by calculating a focus level based on the coefficients used, the object is a predetermined region on the basis of the degree of focus since it is determined whether or not there can be provided an easy information device be constituted by using a DCT processing block or the like used for image compression techniques such as MPEG.

また、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の所定周波数の係数値を積算して計算する構成であってもよい。 The distance determination unit, the focus degree in each other aperture of the multiple different images of the object, the coefficient value of a predetermined frequency may be configured to calculate by integrating in the case of DCT processing.

このような構成によれば、さらに、所定周波数の係数値を積算して合焦度を計算するので、より人の指の検出に適した情報発生を行うことが可能となる。 According to this configuration, because it calculates focus level by integrating the coefficient value of a predetermined frequency, it is possible to perform information generation suitable for the detection of more human finger.

さらに、撮影部は、開口度が異なる3枚の画像を撮影し、距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の大きな第1の画像と第1の画像よりも開口度の小さな第2の画像とを用いて物体が軌跡表示領域内にあるか否かの判定を行い、第1の画像、第2の画像、および、第2の画像よりも開口度の小さな第3の画像を用いて物体が所定の領域内にあるか否かを判定する構成であってもよい。 Furthermore, imaging unit captures three images having opening degree are different, the distance determining unit, among the three images in which the opening degree is different than most and large first image of the aperture of the first image with a small second image of the opening degree a judgment of whether or not the object is in the trajectory display area, the first image, the second image, and, it small degree of opening than the second image object using the third image may be a determining configuration whether the predetermined area.

このような構成によれば、さらに、3枚の画像を撮影してその画像を比較するという簡易な構成により、物体が所定の領域およびその領域よりも外側の領域内にあるか否かを判定することができる。 According to this configuration, determined by the simple configuration of comparing the images, whether the object is outside the region than a predetermined region and the region by capturing three images can do.

さらに、撮影部は、開口度が異なる3枚の画像を撮影し、距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の小さい第1の画像と第1の画像よりも開口度の大きな第2の画像とを用いて物体が軌跡表示領域内にあるか否かの判定を行い、第2の画像と第2の画像よりも開口度の大きな第3の画像とを用いて物体が所定の領域内にあるか否かを判定する構成であってもよい。 Furthermore, imaging unit captures three images having opening degree are different, the distance determination unit, of the degree of opening is different three images, than most of the first image smaller opening degree first image a judgment object is whether the trajectory display area by using the large second image of the opening degree, than the second image and the second image with a large third image of the opening degree object Te may be determined configure whether the predetermined area.

このような構成によれば、さらに、3枚の画像を撮影してその画像を比較するという簡易な構成により、物体が所定の領域内にあるか、および、所定の領域よりも外側の領域内にあるか否かを判定することができる。 According to this configuration, a simple structure of comparing the image by photographing the three images, or the object is within a predetermined area, and the outer region than the predetermined area it is possible to determine whether there are any.

また、絞り部は、液晶シャッタを有する構成であってもよい。 The diaphragm portion may be configured to have a liquid crystal shutter.

このような構成によれば、さらに、絞り部の耐久性を向上することが可能となる。 According to this configuration, it is possible to improve the durability of the diaphragm portion.

さらに、開口度調節部は、液晶シャッタを透過する光線の光量が一定になるように光量を調節する光量調節部を有する構成であってもよい。 Furthermore, the opening degree adjusting unit may be configured to have a light amount adjustment unit amount of light transmitted through the liquid crystal shutter to regulate the amount of light to be constant.

このような構成によれば、さらに、液晶シャッタを透過する光線の光量を一定にすることができるので、異なる開口度で撮影した画像同士を比較した際に、輝度調整等の前処理が必要なくなる。 According to this configuration, it is possible to the amount of light transmitted through the liquid crystal shutter at a constant, when comparing between images taken with different opening degrees, 100 requires no pretreatment such as brightness adjustment .

次に、本発明の情報入力方法は、第1の絞り開口度で物体の第1の画像を撮影する第1のステップと、第1の絞り開口度よりも大きな第2の絞り開口度で、物体の第2の画像を撮影する第2のステップと、第1の画像および第2の画像それぞれの合焦度を算出する第3のステップと、第1の画像および第2の画像それぞれの合焦度を比較することにより、物体が所定の領域内にあるか否かを判定する第4のステップと、物体が所定の領域内にあると判定された場合に、物体の位置に対応した所定の情報を入力する第5のステップとを備えたことを特徴としている。 Next, the information inputting method of the present invention, in a first step and a large second aperture size than the first aperture size for capturing a first image of the object in the first aperture of, a second step of capturing a second image of the object, the third step and the first and second images each case to calculate the first and second images each focus degree by comparing the degree, and the object fourth step of determining whether the predetermined area, when the object is determined to be in a predetermined area, a predetermined corresponding to the position of the object It is characterized in that a fifth step of inputting the information.

このような方法により、絞り部を開閉することによって開口度の異なる複数の画像を得、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を入力することのできる情報入力方法を提供することができる。 By this method, to obtain a plurality of images having different opening degree by opening and closing the throttle portion, by a relatively simple process of comparing the plurality of images having different the opening degree of the pointing, such as a user's finger it is possible to provide an information input method capable of inputting quickly detected and the information movement.

次に、本発明のプログラムは、コンピュータに、物体の第1の絞り開口度で撮影された画像を入力する第1のステップと、第1の絞り開口度よりも大きな第2の絞り開口度で撮影された画像を入力する第2のステップと、第1の絞り開口度で撮影された画像および第2の絞り開口度で撮影された画像それぞれの合焦度を算出する第3のステップと、第1の絞り開口度で撮影された画像および第2の絞り開口度で撮影された画像それぞれの合焦度を比較することにより、物体が所定の領域内にあるか否かを判定する第4のステップと、物体が所定の領域内にあると判定された場合に、物体の位置に対応した所定の情報を発生する第5のステップとを実行させることを特徴としている。 Then, the program of the present invention causes a computer, in a first step and a large second aperture size than the first aperture of inputting the image captured by the first aperture of the object a second step of inputting the captured image, a third step of calculating the first aperture of the photographing image and the second aperture degree images taken each focusing degree, by comparing the first aperture of the photographing image and the second aperture degree images taken each focusing degree, first determines whether or not the object is within a predetermined area 4 a step of, when an object is determined to be in a predetermined area, is characterized in that to execute a fifth step of generating the predetermined information corresponding to the position of the object.

このようなプログラムにより、開口度の異なる複数の画像を入力し、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を発生することのできるプログラムを提供することができる。 Such program, inputs a plurality of images having different degree of opening, by a relatively simple process of comparing the plurality of images having different its opening degree, quickly detect the movement of the pointing, such as a user's finger capable of generating the information Te program can be provided.

以上述べたように、本発明の情報装置および情報入力方法およびプログラムを用いれば、開口度のそれぞれ異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を入力することのできる情報装置、情報入力方法およびプログラムを提供することができる。 As described above, by using the information apparatus and information input method and program of the present invention, by a relatively simple process of comparing the plurality of different images of the opening degree, quickly pointing object such as a user's finger even when moved can provide information device, the information input method and a program capable of inputting information by accurately detect the position.

以下、本発明の第1の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.

(第1の実施の形態) (First Embodiment)
まず、本発明の第1の実施の形態における情報装置および情報入力方法について説明する。 First, a description will be given information apparatus and information input method according to the first embodiment of the present invention. 本発明の第1の実施の形態においては、情報装置の例として携帯電話装置を用いて説明を行う。 In the first embodiment of the present invention will be described with reference to cellular telephone device as an example of the information device.

図1は、本発明の第1の実施の形態における携帯電話装置50の概要について説明するための図である。 Figure 1 is a diagram for explaining the outline of the mobile phone device 50 according to the first embodiment of the present invention.

図1において、本発明の第1の実施の形態における携帯電話装置50は、ユーザの指51を撮影する撮影部3およびユーザに入力を促すような入力誘導表示52および指の軌跡53を表示する表示部15を備えている。 In Figure 1, the portable telephone device 50 according to the first embodiment of the present invention displays an input guidance display 52 and the finger trajectories 53 that prompts the user to input the photographing unit 3 and the user photographs the user's finger 51 and a display unit 15. ユーザは撮影部3の画角θの範囲内で指51を動かすことにより、携帯電話装置50への電話番号の入力や、電子メールまたはアドレス帳等の数字や文字等の各種情報の入力を行うことが可能である。 The user can move the finger 51 within the angle of view θ of the imaging unit 3 performs input and the telephone number of the portable telephone device 50, the input of various information numbers and letters such as email or address book It is possible. なお、図1においては、撮影部3の撮影光軸の方向をZ軸方向として示し、Z軸と直交する方向をX軸およびY軸としてそれぞれ示している。 In FIG. 1, it indicates the direction of the photographing optical axis of the imaging unit 3 as Z-axis direction, respectively show the direction perpendicular to the Z-axis as the X-axis and Y-axis.

ユーザが携帯電話装置50に対して、数字や文字等の各種情報を入力する場合について説明する。 User to the cellular phone device 50, will be described for inputting various kinds of information such as numbers and letters. まず、表示部15に、テンキー表示を模したキーボード状の入力誘導表示52が表示される。 First, the display unit 15, a keyboard-like input guidance display 52 the numeric keypad display resembling is displayed. さらに、ユーザの指51が撮影部3から所定距離範囲の領域A 内に入ると、表示部15の画面上に指51の軌跡53が表示される。 Furthermore, the user's finger 51 when the imaging unit 3 enters the area A 1 of the predetermined distance range, the trajectory 53 of the finger 51 is displayed on the screen of the display unit 15.

ユーザはこの軌跡53を見ながら、自らの指51の軌跡53が、表示部15の入力誘導表示52において自らが入力したい情報に対応するキー表示(例えば「1」等)に重なるように指51を動かす。 User while viewing the locus 53, the trajectory 53 of its fingers 51, key display (for example, "1", etc.) so as to overlap the fingers 51 corresponding to the information to be itself inputted in the input guidance display 52 of the display unit 15 move. 指51の軌跡53が所望のキー表示に重なったときに、ユーザは指51を撮影部3にさらに接近させ、図1における領域A 内に達するまで指51を動かすこと(以下、この動作を「押下」と記す。)により、キー表示に対応した情報を携帯電話装置50に入力することができる。 When the locus 53 of the finger 51 is overlapped on the display the desired key, the user is further closer to the finger 51 to the imaging unit 3, moving the finger 51 to reach the area A 2 in FIG. 1 (hereinafter, this operation referred to as "depressing". by), it is possible to input information corresponding to the key displayed on the mobile telephone device 50.

つまり、本発明の第1の実施の形態における携帯電話装置50によれば、ユーザは指51を携帯電話装置50に接触させることなく、あたかも領域A の空間中に存在する仮想キーボード54を操作するように非接触に情報を入力することが可能である。 That is, according to the portable telephone device 50 according to the first embodiment of the present invention, the user without contacting the finger 51 to the portable telephone device 50, though the operation of the virtual keyboard 54 present in the space region A 2 it is possible to enter information into the non-contact to. 本発明の第1の実施の形態における携帯電話装置50によれば、携帯電話装置50にテンキー等の入力部を設ける必要がないので、装置全体のさらなる小型化が可能である。 According to the mobile telephone device 50 according to the first embodiment of the present invention, there is no need to provide an input unit such as a numeric keypad to the cellular phone device 50, it is capable of further downsizing of the whole device.

次に、本発明の第1の実施の形態における携帯電話装置50の構成についてさらに詳細に説明する。 It will now be described in detail the structure of the mobile telephone device 50 according to the first embodiment of the present invention. 図2は、本発明の第1の実施の形態における携帯電話装置50の構成を示すブロック図である。 Figure 2 is a block diagram showing a configuration of a mobile telephone device 50 according to the first embodiment of the present invention.

携帯電話装置50は、開閉制御の可能な絞り1、絞り1を通過した光線を集光する単焦点のレンズ2および絞り1とレンズ2とを通過した被写体の光像を撮影して画像信号を出力するCCD等の撮像素子33を有する撮影部3、所定の同期信号を発生する同期信号発生部5、同期信号発生部5によって発生された同期信号にもとづいて絞り1の開口度を調節する絞り調節部4、同期信号発生部5で発生された同期信号にもとづいて絞り1の開口度の違いに対応した画像信号を撮影部3から取得し、その画像情報を絞り1の開口度の違いに応じて記憶部に振り分けて出力する振り分け部6、振り分け部6によって振り分けられた画像情報を記憶する第1の画像記憶部7、第2の画像記憶部8および第3の画像記憶部9、第2の画像記憶部8およ Mobile phone apparatus 50, restrictor 1 of the switching controller, the by photographing the optical image of a subject which the light beam having passed through the diaphragm 1 has passed through the condensing to a single focus lens 2 and the aperture 1 and the lens 2 image signals imaging unit 3, the synchronization signal generating unit 5 for generating a predetermined synchronizing signal with the image sensor 33 such as a CCD for outputting, stop for adjusting a degree of opening stop on the basis of the synchronizing signal generated by the synchronization signal generating unit 5 adjusting section 4, the synchronization signal generating unit 5 based on the generated synchronization signal to acquire an image signal corresponding to the difference in the first opening degree stop the imaging unit 3, the difference in the aperture of the first diaphragm and the image information depending distributing unit 6 to output the distribution in the storage unit, the first image storage unit 7 that stores image information sorted by the sorting section 6, the second image storage unit 8 and the third image storage unit 9, the second image storage unit 8 Oyo 第3の画像記憶部9に接続され、それぞれに記憶された画像情報から指51の位置を検出する指位置検出部10、第1の画像記憶部7、第2の画像記憶部8および第3の画像記憶部9に接続され、それぞれに記憶された画像情報から後述の方法で指51が押下されているか否かを検出するキー接触検出部11、指位置検出部10およびキー接触検出部11に接続され、指51と撮影部3との位置関係を示す指位置情報を記憶している指位置記憶部16、指位置検出部10で抽出された指51の移動軌跡を生成する軌跡生成部12、指51の位置に対応させた入力すべき情報の内容を記憶するキー配置記憶部14、指位置検出部10で検出された指51の位置、キー接触検出部11で検出された指51の押下作業の有無およびキー配置記憶部 The third is a connection to the image storage unit 9, the finger position detecting section 10 for detecting the position of the finger 51 from the stored image information, respectively, the first image storage unit 7, the second image storage unit 8 and the third It is connected to the image storage unit 9, the key touch detection unit 11 for detecting whether the finger 51 is depressed by the method described below from the image information stored in each of the finger position detecting section 10 and a key touch detection unit 11 is connected to the finger position storage unit 16 that stores the finger position information indicating a positional relationship between the finger 51 and the imaging unit 3, the trajectory generation unit for generating a movement trajectory of the finger 51, which is extracted by the finger position detecting section 10 12, the key arrangement storing unit 14 for storing contents information to be input so as to correspond to the position of the finger 51, the position of the finger 51 is detected by the finger position detecting section 10, which is detected by the key touch detection unit 11 the finger 51 presence and key arrangement storing section of the pressed work 4に記憶された情報によってユーザがどのキー操作を行ったのかを判定し、そのキー操作に対応する情報を発生し、出力するキー操作判定部13、軌跡生成部12で生成された指51の軌跡53およびキー配置記憶部14に記憶された情報にもとづいてユーザに入力誘導表示52を表示する表示部15、ならびに、キー操作判定部13から出力されたキー操作に対応する情報を受信して携帯電話装置としての通信や情報処理等の各種公知の処理を行う携帯通信処理部60を備える。 Determining whether the user has performed any key operation by the information stored in the 4, the key operation generates information corresponding key operation determination unit 13 for outputting, of the finger 51 which is generated by the trajectory generating section 12 display unit 15 displays an input guidance display 52 to the user based on the information stored in the locus 53 and key arrangement storing unit 14, and receives the information corresponding to the output key operation from the key operation determination unit 13 comprising a mobile communication processing unit 60 that performs various known processes communication, information processing, etc. as a portable telephone device.

絞り1は、開口度の調節が可能な絞りであれば、機械式の広く知られた絞りを用いて構成してもよいし、液晶シャッタを用いて構成してもよい。 Stop 1, if a diaphragm capable of adjusting the opening degree may be configured using a widely known iris mechanical, it may be configured using a liquid crystal shutter. 絞り1として液晶シャッタを用いることにより、機械式の絞りよりも耐久性に優れるとともに、絞り調節部4によって、絞り1の開口度の調節のみならず、絞り1を透過する光線の光量を一定にするように、液晶シャッタの透過率を変更させることが可能である。 The use of liquid crystal shutters as a diaphragm 1, is excellent in durability of the stop of the mechanical, the diaphragm adjustment unit 4, not only the adjustment of the aperture of the diaphragm 1, a constant amount of light passing through the aperture 1 as to, it is possible to change the transmittance of the liquid crystal shutter. このような構成によれば、後述するような画像情報の比較等を行う際に輝度補正等の余分な処理を行う必要がなくなり、絞り1としては液晶シャッタを用いることが実用性に鑑みて望ましい。 According to such a configuration, it is not necessary to perform extra processing of the luminance correction and the like when performing comparisons, the image information as described later, it is preferable in view of the practical use of the liquid crystal shutters as a throttle 1 .

絞り調節部4としては、絞り1として機械式の絞りを用いた場合にはその開口度の調節を行う機構を用いればよいし、絞り1として液晶シャッタを用いた場合には、その開閉制御および透過率の調節を行う制御回路を構成すればよい。 The adjustment unit 4 aperture, may be used a mechanism that performs adjustment of the opening degree in the case of using the aperture of the mechanical as stop 1, in the case of using a liquid crystal shutter as stop 1, the opening and closing control and It should be constructed control circuit for adjusting the transmittance.

本発明の第1の実施の形態においては、絞り調節部4は、絞り1の開口度が「大」「中」「小」の三つの状態になるように調節することができるものとして説明する。 In the first embodiment of the present invention, the diaphragm adjustment unit 4 is described as being able to adjust so that the opening degree of the diaphragm 1 becomes three states of "large", "medium", "small" . なお、絞り調節部4が液晶シャッタを透過する光線の光量を一定になるように液晶シャッタの透過率を制御するためには、あらかじめ開口度に対応した、光量が一定になるような透過率についての情報をテーブルに有する構成であってもよいし、図示しないが、液晶シャッタを透過する光量を測定するセンサ部を有し、そのセンサ部からの出力が一定になるように液晶シャッタの透過率を調節する構成であってもよい。 In order to throttle adjusting unit 4 controls the transmittance of the liquid crystal shutter so that a constant amount of light transmitted through the liquid crystal shutter corresponding to the advance degree of opening, the transmission ratio as the amount of light is constant may be configured to have the information in the table, although not shown, includes a sensor unit for measuring the amount of light transmitted through the liquid crystal shutter, the transmittance of the liquid crystal shutter so that the output from the sensor section becomes constant it may be configured to regulate.

レンズ2は、カメラ付きの携帯電話装置等の携帯型の撮影装置に広く搭載されている、単焦点の簡易な構成のレンズ系を用いることができる。 Lens 2 is widely mounted in a portable imaging device of a portable telephone device or the like with a camera, it is possible to use a lens system having a simple configuration of the single focus.

撮像素子33としては、CCDやCMOSセンサ等の広く知られた素子を用いることができる。 The image sensor 33 can be used widely known element such as a CCD or CMOS sensor.

撮影部3は、絞り1、レンズ2および撮像素子33を有し、その撮影可能な画角範囲が図1における画角θで表される領域であるとする。 Imaging unit 3, the diaphragm 1 has a lens 2 and the image pickup device 33, and the photographable angle of view range is an area represented by angle θ in Figure 1.

図3は、本発明の第1の実施の形態における携帯電話装置50における絞り1の開口の違いによる合焦可能範囲を示す図である。 Figure 3 is a diagram showing the focus adjustable range due to the difference in the aperture of the diaphragm 1 in the portable telephone device 50 according to the first embodiment of the present invention. 図3に示したように、本発明の第1の実施の形態における携帯電話装置50において、その撮影部3の絞り1の開口度を「大」とした場合の被写界深度を距離範囲Δ であるとする。 As shown in FIG. 3, the mobile phone device 50 according to the first embodiment of the present invention, the distance range the depth of field when the aperture of the diaphragm 1 of the imaging unit 3 as "large" Δ and it is 3. また、絞り1の開口度を「中」とした場合には、被写界深度が深くなり、距離範囲Δ の範囲で焦点が合うものとする。 Further, when the aperture of the diaphragm 1 as "medium", the depth of field becomes deep, it is assumed that in focus in a range of distance range delta 2. さらに、絞り1の開口度を「小」とした場合にはもっとも被写界深度が深くなり、距離範囲Δ の範囲で焦点が合っているものとする。 Further, it is assumed that the aperture of the diaphragm 1 becomes deeper most depth of field in the case of the "small", focal point matching the range of the distance range delta 1. 本発明の第1の実施の形態においては、距離範囲Δ は指51の軌跡53が表示部15上に表示される範囲(図1における領域A )であり、距離範囲Δ は、仮想キーボード54が押下されたと判定される範囲(図1における領域A )である。 In the first embodiment of the present invention, the distance range delta 2 is in the range (area in FIG 1 A 1) to the trajectory 53 of the finger 51 is displayed on the display unit 15, the distance range delta 3, the virtual range (area in FIG 1 a 2) it is determined that the keyboard 54 has been depressed.

再び図2に戻って、同期信号発生部5としては、水晶等を用いた発振回路を用いることができる。 Returning to FIG. 2 again, the sync signal generator 5, it is possible to use an oscillation circuit using a quartz crystal or the like.

第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9およびキー配置記憶部14としては、それぞれ、ハードディスク装置(HDD)や半導体メモリ等の公知の記憶手段から適宜選択したものを用いることが可能である。 The first image storage unit 7, the second image storage unit 8, as the third image storage unit 9 and a key arrangement storing unit 14, respectively, a hard disk drive (HDD) or the like from known storage means such as semiconductor memory it is possible to use a selection.

本発明の第1の実施の形態の携帯電話装置50においては、第1の画像記憶部7に絞り1の開口の大きさが「小」の場合の画像情報(以下、第1の画像情報と記す)が、第2の画像記憶部8に絞り1の開口の大きさが「中」の場合の画像情報(以下、第2の画像情報と記す)が、さらに、第3の画像記憶部9に絞り1の開口の大きさが「大」の場合の画像情報(以下、第3の画像情報と記す)がそれぞれ記憶されているものとする。 In a first embodiment the portable telephone apparatus 50 of the present invention, the image information when the size of one of the aperture stop in the first image storage unit 7 is "small" (hereinafter, a first image information referred) is image information when the size of the first aperture stop in the second image storage unit 8 is "middle" (hereinafter referred to as second image information), further a third image storage unit 9 image information in the case of "large" stop 1 of the size of the opening is in (hereinafter, referred to as a third image information) is assumed to be stored respectively.

振り分け部6としては、撮影部3から出力される画像信号を同期信号発生部5で発生される同期信号にもとづいて、第1の画像記憶部7、第2の画像記憶部8または第3の画像記憶部9に振り分けるような専用回路を用いることもできるし、前述のように、記憶部が一つの場合には、その画像情報が記憶されるべき領域を絞り1の開口度に応じて割り振る構成であってもよいし、絞り1の開口度を示す付加情報を画像情報に付加して記憶させるソフトウェアによって振り分け部6の機能が実現されていてもよい。 The distributing section 6, based on the synchronization signal generated image signal output from the imaging unit 3 by the synchronization signal generating unit 5, the first image storage unit 7, the second image storage unit 8 or the third it can also be used dedicated circuit, such as distributed in the image storage unit 9, as described above, when the storage unit is one, allocates in response to first opening of the diaphragm the area to the image information is stored it may have a configuration may be implemented when the distribution unit 6 by software to be stored by adding the additional information indicating the aperture of the diaphragm 1 to the image information.

指位置検出部10は、前述の第2の画像情報と第3の画像情報とを用いて、絞り1の開口度の違いによる物体深度の違いを利用して、ユーザの指51の位置が図3における撮影部3から所定の距離範囲Δ 内に入ったか否かを検出し、ユーザの指51が所定の距離範囲Δ 内に入った場合に、指位置記憶部16に記憶された指位置情報であるキー操作フラグをONとして、その指51の二次元の位置座標(図1におけるXY面における位置座標)を検出し、軌跡生成部12およびキー操作判定部13に出力する。 Finger position detecting section 10, by using the second image data and the third image information described above, by utilizing the difference of the object depth due to the difference in the aperture of the diaphragm 1, a graphic position of the user's finger 51 from the imaging unit 3 in 3 detects whether or not within a predetermined distance range Δ 2, when the user's finger 51 has entered the predetermined distance range Δ 2, stored in the finger position storage unit 16 the finger as oN key operation flag is position information, to detect the two-dimensional position coordinates of the finger 51 (the position coordinates in the XY plane in FIG. 1), and outputs the trajectory generating section 12 and the key operation determination unit 13. この指位置検出部10の機能については後述するが、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。 This will be described later functions of the finger position detecting section 10, but can be implemented using either software or dedicated circuit.

キー接触検出部11は、前述の第1の画像情報、第2の画像情報、第3の画像情報および指位置情報を用いて、後述する方法で、ユーザの指51が図3における距離範囲Δ 内に入ったか否かを検出して、その結果をキー操作判定部13に出力する。 Key touch detection unit 11, first image information described above, the second image information, using the third image information and finger position information, a method described later, a user's finger 51 a distance range Δ in FIG. 3 and detecting whether entered the 3, and outputs the result to the key operation determination unit 13. キー接触検出部11の機能についても後述するが、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。 While also be described later functions of a key touch detection unit 11, it can be realized using either a software or a dedicated circuit.

軌跡生成部12は、指位置検出部10で指51が撮影部3から距離範囲Δ 内に入ったと判定された場合に、指位置検出部10から出力される指51の二次元座標を取得して、表示部15上に指51の軌跡53を表示させる。 Locus generating unit 12, when the finger 51 with a finger position detecting section 10 is determined to have entered from the imaging unit 3 to the distance range Δ 2, acquires the two-dimensional coordinates of the finger 51 which is output from the finger position detecting section 10 to, and displays the trajectory 53 of the finger 51 on the display unit 15. 軌跡生成部12の機能は、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。 Function of the trajectory generation section 12 may be implemented using either software or dedicated circuit.

キー配置記憶部14には、図4に示したような、表示部15の画面上に表示すべきキーボード状の入力誘導表示52の二次元座標と入力されるべき情報とが対応付けられた情報であるキー配置情報61が記憶されている。 Information on the key arrangement storing unit 14, which as shown in FIG. 4, the information and to be entered as the two-dimensional coordinates of the keyboard-like input guidance display 52 to be displayed on the screen of the display unit 15 is associated key arrangement information 61 is stored is. 図4は、本発明の第1の実施の形態における携帯電話装置50のキー配置情報61の一例を示す図である。 Figure 4 is a diagram showing an example of a key arrangement information 61 of the cellular telephone apparatus 50 according to the first embodiment of the present invention.

キー操作判定部13は、キー接触検出部11で指51が図2における距離範囲Δ 内に入ったと判定された場合に、指位置検出部10から出力された指51の二次元座標を取得して、あらかじめキー配置記憶部14に記憶されたキー配置情報61を参照して、指51の二次元座標に対応する入力されるべき情報を判定して、その情報を出力する。 Key operation determination unit 13, when the finger 51 in the key touch detection unit 11 is determined to fall within the distance range delta 3 in FIG. 2, obtaining a two-dimensional coordinate of the finger 51 which is output from the finger position detecting section 10 and, with reference to the key arrangement information 61 stored in advance in the key arrangement storing unit 14, to determine the information to be inputted corresponds to the two-dimensional coordinates of the finger 51, and outputs the information. 例えば、指51が図4に示したキー配置情報61における位置座標Aに示した位置にあるという情報が指位置検出部10から出力された場合には、対応して入力されるべきキーの情報は「5」となり、「5」という情報がキー操作判定部13から携帯通信処理部60に出力される。 For example, if the information that the finger 51 is in the position shown to the position coordinates A in the key arrangement information 61 shown in FIG. 4 is output from the finger position detecting section 10, information of the key to be inputted correspondingly the "5", and information "5" is output from the key operation determination unit 13 in the mobile communication processing unit 60. このとき、キー操作判定部13が表示部15に表示された入力誘導表示52の「5」に対応するキーの部分の色を変化させたり、別途設けられた音声発生装置(図示せず)によって音声を発生させたりする等して、ユーザに入力が行われた(仮想キーボード54が押下された)ことを知らしめる構成とすれば、さらに実用性の高い構成を実現できる。 In this case, or to change the color of the part of the key the key operation determination unit 13 corresponds to "5" in the input guidance display 52 displayed on the display unit 15, the sound generation device separately provided (not shown) and the like or generating a sound, with the configuration to notify that the input to the user is performed (the virtual keyboard 54 is pressed), it is possible to realize a more highly practical configuration.

キー操作判定部13から出力された情報は携帯通信処理部60に送られて、携帯通信処理部60での通信の発呼やメール処理におけるテキスト入力等の各種情報処理が行われる。 The information outputted from the key operation determination unit 13 is sent to the mobile processing unit 60, various kinds of information processing text input or the like in a call or mail processing communications in a mobile communication processing unit 60 is performed.

表示部15としては、LCD、ELまたはPDP等の公知のディスプレイデバイスから適宜選択したものを用いることができる。 The display unit 15, it is possible to use those appropriately selected LCD, from known display devices such as EL or PDP.

ここで、本発明の第1の実施の形態における携帯電話装置50における指位置検出部10およびキー接触検出部11の機能についてさらに詳細に説明する。 Here, it will be described in more detail features of the finger position detecting section 10 and a key touch detection unit 11 in the mobile telephone device 50 according to the first embodiment of the present invention.

本発明の指位置検出部10およびキー接触検出部11は、絞り1の開口度Dの違いによる物体深度Δの違いを利用して、指51が図3における距離範囲Δ 内またはΔ の距離範囲内に入っているか否かを判別することができる。 Finger position detecting section 10 and a key touch detection unit 11 of the present invention, by utilizing a difference in the object depth delta due to the difference of the opening degree D of the diaphragm 1, the finger 51 a distance ranging delta 2 within or in Figure 3 is the delta 3 it is possible to determine whether or not fall within the distance range.

図5は、本発明の第1の実施の形態における携帯電話装置50の指位置検出部10またはキー接触検出部11の機能の基本原理を示す図である。 Figure 5 is a diagram showing the basic principle of the function of the first portable telephone apparatus 50 in the embodiment of the finger position detecting section 10 or the key touch detection unit 11 of the present invention. 図5に示したように、ここでは、物体31が開口Dのレンズ32を透過して撮像素子33の結像面上に結像した場合を仮定する。 As shown in FIG. 5, here, it is assumed that object 31 is imaged on the imaging surface of the image sensor 33 through the lens 32 of the aperture D. このとき、物体31からレンズ32までの距離を距離u、レンズ32の焦点Fまでの距離を焦点距離fとし、撮像素子33の画素ピッチ(解像度)をピッチεとしたときに、物体深度Δは、 At this time, the distance the distance from the object 31 to the lens 32 u, the distance to the focal point F of the lens 32 and the focal length f, the pixel pitch of the image sensor 33 (resolution) when the pitch epsilon, the object depth Δ ,

であらわされる。 In represented.

例えば、画素ピッチε=0.001mmのCCDを用い、焦点距離f=1mmのレンズを用いて、絞り(開口)Dを0.07mm、0.1mm、0.2mmと変化させた場合の、焦点合わせの位置でのカメラからの距離uに対する物体深度Δの値の変化を図6に示す。 For example, using the pixel pitch of the CCD epsilon = 0.001 mm, with a focal length f = 1 mm of the lens, the diaphragm in the case where the (open) D 0.07 mm, 0.1 mm, is changed from 0.2 mm, the focal the change in the value of the object depth Δ with respect to the distance u from the camera at the position of the suit shown in FIG. 図6は、本発明の第1の実施の形態の携帯電話装置50における絞りDを変化させた場合の焦点合わせの位置でのカメラからの距離uに対する物体深度Δの値の変化を示す図である。 Figure 6 is a graph showing changes in the value of the object depth Δ with respect to the distance u from the camera at the position of the focusing in the case of changing the aperture D of the mobile phone device 50 of the first embodiment of the present invention is there.

図6に示したように、例えば焦点合わせの位置でのレンズ32から物体31までの距離uが50mmのとき、絞りの開放時(D=0.2mm)には約10mmであった物体深度Δが、絞りを少し絞ったとき(D=0.1mm)には約30mm、さらに絞りを絞ったとき(D=0.07mm)には約70mmとなる。 As shown in FIG. 6, for example, when the lens 32 at the position of the focusing distance u to the object 31 is 50 mm, the object depth Δ during opening of the diaphragm (D = 0.2 mm) was about 10mm but when squeezed slightly diaphragm (D = 0.1 mm) to about 30 mm, it is about 70mm to (D = 0.07 mm) when further focused aperture. なお、このレンズ2および絞り1の設計を各種行うことにより任意の画角θや距離範囲を実現することができ、ユーザの要望に合わせた様々な大きさの仮想キーボード54を実現することができる。 Incidentally, it is possible to realize any angle θ and the distance range by performing various of the design lens 2 and the aperture 1, it is possible to realize a virtual keyboard 54 of various sizes to suit the needs of the user .

本発明の携帯電話装置50における指位置検出部10またはキー接触検出部11は、このような絞りの開口Dの違いによる物体深度Δの違いを利用する。 Finger position detecting section 10 or the key touch detection unit 11 in the portable telephone apparatus 50 of the present invention utilizes the difference in the object depth Δ due to the difference in the aperture D of this diaphragm. 図7を用いて、本発明の第1の実施の形態における携帯電話装置50の指位置検出部10およびキー接触検出部11の動作原理についてさらに詳細に説明する。 With reference to FIG. 7 will be described in more detail for the first principle of operation of the mobile phone device 50 of the finger position detecting section 10 and a key touch detection unit 11 in the embodiment of the present invention. 図7は、本発明の第1の実施の形態の携帯電話装置50における指位置検出部10およびキー接触検出部11の動作原理について説明するための図である。 Figure 7 is a diagram for explaining the operation principle of the first embodiment of the cellular phone device finger position detecting section 10 and a key touch detection unit 11 of the 50 of the present invention. 図7に示したように、携帯電話装置50のレンズ2から50mm離れた距離に指71があり、レンズ2から60mm離れた位置に指72があり、レンズ2から70mm離れた位置に指73があり、レンズ2から90mm離れた位置に指74があるものと仮定して説明する。 As shown in FIG. 7, a distance of 50mm from the lens 2 of the mobile telephone device 50 has a finger 71, there is a finger 72 in a position away 60mm from the lens 2, the finger 73 in a position away 70mm from the lens 2 is There, assuming that described as a position away 90mm from the lens 2 is the finger 74. なお、図7は上述した距離関係を正確に反映したものではなく、それぞれの指の位置を模式的に示した図である。 Note that FIG. 7 is not intended to accurately reflect the distance relationship mentioned above, it is a diagram schematically showing the position of each finger.

また、携帯電話装置50に搭載されたレンズ2は、前述のような、焦点合わせの位置でのカメラからの距離uを50mmとしたときに、絞りの開口が「小」の状態での物体深度Δ ≒10mm(焦点合わせの位置±5mmの範囲で合焦する(厳密には焦点位置よりもカメラに近い方の合焦範囲が、焦点位置よりもカメラから遠い方の合焦範囲よりも若干小さいが、以後焦点位置前後で合焦範囲が等しいとして議論を進める。))であり、開口が「中」の状態での物体深度Δ =30mm(焦点合わせの位置±15mmの範囲で合焦する)であり、開口が「大」の状態での物体深度Δ =70mm(焦点合わせの位置±35mmで合焦する)であるとする。 The lens 2 mounted on the portable telephone device 50, the object depth in a state such as described above, the distance u from the camera at the position of the focusing when the 50 mm, the aperture of the diaphragm is "small" delta 1 ≒ 10 mm (focused in a range of positions ± 5 mm focusing (focusing range closer to the camera than strictly focal position, slightly larger than focusing range farther from the camera than the focal position small, proceed discussed as focusing range is equal before and after the subsequent focal position.)), and focused on the range of positions ± 15 mm of the object depth delta 2 = 30 mm (focusing aperture in a state of "medium" is to), an opening is to be the object depth delta 3 = 70 mm in the state "large" (focused at a position ± 35 mm focusing).

このように構成することにより、撮影される画像情報の一例を図8に示す。 With this configuration, an example of image information photographed in Fig. 図8は、本発明の第1の実施の形態における携帯電話装置50によって撮影された画像情報の一例を示す図である。 Figure 8 is a diagram showing an example of an image information captured by the portable telephone device 50 according to the first embodiment of the present invention.

図8(a)は、絞りの開口度が「小」のときの画像情報(第1の画像情報)の一例を示す図である。 8 (a) is a diagram aperture of the diaphragm showing an example of image information (first image information) in the case of "small". 図8(a)に示した第1の画像情報81のように、指71,72,73では焦点の合った画像情報を得ることができるが、指74では鮮明さに欠ける、すなわちぼけた画像が得られる。 As in the first image information 81 shown in FIG. 8 (a), it is possible to obtain a matching image information focal At fingers 71, 72, 73, lacks sharpness in the finger 74, i.e. blurred image It is obtained. つまり、絞りの開口が「小」であるときには、焦点合わせの位置のカメラからの距離50mmに対して、物体深度Δ は±35mmであるので、指71(距離50mm)、指72(距離60mm)および指73(距離70mm)のいずれにも焦点の合った画像情報を得ることができる。 That is, when the aperture of the diaphragm is "small", to the distance 50mm from the camera position of the focus, the object depth delta 1 is a ± 35 mm, the finger 71 (distance 50mm), the finger 72 (Distance 60mm ) and it can be in any of the finger 73 (distance 70 mm) to obtain image information in focus. しかし、指74(距離90mm)は、焦点の合う範囲を超えているのでぼけた画像が得られる。 However, the finger 74 (distance 90 mm) is an image blurred because it exceeds the range in focus is obtained.

次に、絞りの開口度を「中」とすると、図8(b)に示したような第2の画像情報82を得ることができる。 Next, when the aperture of the diaphragm to "medium", it is possible to obtain the second image information 82 as shown in Figure 8 (b). 第2の画像情報82は、指71(距離50mm)および指72(距離60mm)は焦点合わせの位置50mm±15mmの位置にあるので合焦しており、指73(距離70mm)や指74(距離90mm)については、物体深度Δ を超えるので、合焦していないため、ぼけた画像情報が得られる。 Second image information 82, the finger 71 (distance 50 mm) and a finger 72 (distance 60 mm) is in focus because the position of 50 mm ± 15 mm for focusing, the finger 73 (distance 70 mm) and a finger 74 ( the distance 90 mm), since more than an object depth delta 2, since not focused, the image information blurred is obtained.

さらに、絞りの開口度を「大」とすると、図8(c)に示したような第3の画像情報83を得ることができる。 Further, when the aperture of the diaphragm to "large", it is possible to obtain a third image information 83 as shown in Figure 8 (c). 第3の画像情報83は、指71(距離50mm)は焦点合わせの位置50mm±5mmの位置にあるので合焦している。 Third image information 83, the finger 71 (distance 50 mm) is in focus because the position of 50 mm ± 5 mm focusing. しかし、指72(距離60mm)、指73(距離70mm)、指74(距離90mm)は、物体深度Δ を超えるので、合焦していないため、ぼけた画像情報が得られる。 However, the finger 72 (distance 60 mm), the finger 73 (distance 70 mm), the finger 74 (distance 90 mm), since more than an object depth delta 3, since not focused, the image information blurred is obtained.

指位置検出部10は、絞りの開口度が「中」の状態で撮影された第2の画像情報82と、絞りの開口度が「大」の状態で撮影された第3の画像情報83とを比較する。 Finger position detecting section 10 includes a second image information 82 aperture of the diaphragm is captured in a state of "medium", and the third image information 83 aperture of the diaphragm is captured in a state of "large" Compare. 具体的には、指位置検出部10は、第2の画像情報82の合焦の度合いと第3の画像情報83の合焦の度合いとを比較して、合焦の度合いが異なっている場合、距離範囲Δ 内に指72が入ったことを知ることができ、上下左右の二次元座標を出力することが可能である。 Specifically, the finger position detecting section 10 compares the degree of focus of the second image information 82 and the degree of focusing of the third image information 83, if the are different degree of focus , distance range Δ it has entered the finger 72 can know the in 2, it is possible to output a vertical and horizontal two-dimensional coordinates. なお、指72の二次元座標の算出は、合焦の度合いが異なっている部分の中心座標や重心座標を用いることにより簡易に行うことが可能である。 The calculation of two-dimensional coordinates of the finger 72 can be performed simply by using central coordinates and center coordinates of the portion where the degree of focus is different.

さらに、指位置検出部10は、指が距離範囲Δ 内に入ったことを検出した場合、指位置記憶部16に記憶された指位置情報であるキー操作フラグをONにする。 Further, the finger position detecting section 10, when detecting that the finger has entered the distance range Δ 2, turns ON the key operation flag is a finger position information stored in the finger position storage unit 16. また、指が距離範囲Δ の外に出た時は、キー操作フラグをOFFにする。 Further, when the finger goes out of the distance range delta 2, the key operation flag to OFF.

なお、画像情報中のぼけ度合い算出方法、合焦度判定については、例えば「カメラフォーカスを連続変化させた動画像を用いた奥行き分布検出」、工藤朋之、三池秀敏著、情報処理学会、コンピュータビジョン研究会98−2、1996年1月18日発行や、“A New Sense for Depth of Field”, A. Note that blur degree calculation process in the image information, for focusing degree determination, for example, "depth distribution detection using a video image of the camera focus is continuously changed", Tomoyuki Kudo, Hidetoshi Miike al, Information Processing Society, Computer Vision study Group 98-2, issuance and January 18, 1996, "A New Sense for Depth of Field", A. Pentlad, IEEE Trans. Pentlad, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. On Pattern Analysis and Machine Intelligence, vol. PAMI−9,No. PAMI-9, No. 4 July 1987等に提案された方法を用いることができる。 Method proposed in the 4 July 1987 or the like can be used.

また、発明者らが既に特開2001−227914号公報において提案している方法を用いることも可能である。 It is also possible to use a method of inventors have already proposed in JP 2001-227914. このような方法によれば、画像を構成する画素を縦×横=8×8画素の小ブロックに分割して、小ブロック毎に離散コサイン変換(以下、DCTと記す)した結果の係数を周波数成分毎にマトリックス状に並べて、所定の周波数領域の係数の2乗和をとることによって、画像の合焦の度合いを比較することが可能となる。 According to this method, the image pixels forming divided into vertical × horizontal = 8 × 8 small blocks of pixels, discrete cosine transform for each small block (hereinafter, referred to as DCT) and the results coefficient Frequency arranged in a matrix for each component, by taking the sum of squares of coefficients of a predetermined frequency range, it is possible to compare the degree of focus of the image.

指72を距離範囲Δ の範囲内からさらに距離範囲Δ の範囲内に入れた状態、すなわち図7に示した指71の位置において、絞り1の開口度を「大」、「中」、「小」と変化させると、図8(a)、(b)、(c)に示したように指71についてはどの画像も合焦した画像が得られる。 State placed within the fingers 72 from within a distance range delta 2 further distance range delta 3, i.e. at the position of the finger 71 shown in FIG. 7, the aperture of the diaphragm 1 "large", "medium", changing the "small", FIG. 8 (a), (b), an image obtained by any image is also focused for finger 71, as shown in (c) is obtained.

すなわち、キー接触検出部11は、このような絞りの開口度が「小」の状態の第1の画像情報83と、絞りの開口度が「中」の状態の第2の画像情報82と、絞りの開口度が「大」の状態の第3の画像情報83とを比較して、第1の画像情報81および第2の画像情報82、第3の画像情報83のいずれにおいても合焦し、かつその度合いに実質的な差のない部分を抽出することにより、距離範囲Δ 内に入った指71の部分の画像情報を特定するとともに、指71が距離範囲Δ 内に入ったことを判定することが可能である。 That is, the key touch detection unit 11 includes a first image information 83 in the state of the opening degree of such a stop is "small", a second image information 82 aperture of the diaphragm is in a state of "medium", aperture of the diaphragm by comparing the third image information 83 in the state of "large", the first image information 81 and the second image information 82, also focused in any of the third image information 83 and by extracting the portion without the substantial difference in the degree, as well as identifying the image information of the portion of the entering finger 71 a distance range Δ 3, the finger 71 enters the distance range Δ 3 it is possible to determine the.

ここで、指が距離範囲Δ よりも離れている場合、すなわち図7における指74の位置にある場合も、図8に示したように第1の画像情報81、第2の画像情報82、第3の画像情報83のいずれにおいても合焦の度合いの差がない画像が得られるが、指71の位置にあるときは、指位置記憶部16に記憶されたキー操作フラグがONであり、指74の位置にあるときは、指位置記憶部16のキー操作フラグがOFFであるため、キー接触検出部11は指が距離範囲Δ 内に入ったか否かを検知することができる。 Here, when the finger is away than the distance range delta 1, i.e., when in the position of the finger 74 in FIG. 7, the first image information 81 as shown in FIG. 8, the second image information 82, While the image is no difference in the degree of even focus in any of the third image information 83 is obtained, when in the position of the finger 71, the key operation flag stored in the finger position storage unit 16 is oN, the when in the position of the finger 74, since the key operation flag finger position storage unit 16 is OFF, the key touch detection unit 11 can detect whether or not entered the finger distance range Δ 3.

なお、本発明の第1の実施の形態における携帯電話装置50においては、携帯電話装置50が第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9、指位置記憶部16およびキー配置記憶部14の五つの記憶部を備えている構成を示したが、これは本発明の第1の実施の形態における携帯電話装置50が五つの記憶媒体を備えている構成に限定されることを意味するものではない。 Incidentally, in the portable telephone device 50 according to the first embodiment of the present invention, the mobile telephone device 50 is the first image storage unit 7, the second image storage unit 8, the third image storage unit 9, the finger position although the configuration in which a storage unit of the five storage unit 16 and the key arrangement storing unit 14, which is a mobile phone device 50 according to the first embodiment of the present invention is provided with a storage medium five configurations not meant to be limited to. 例えば、携帯電話装置50が一つの記憶媒体を有し、その記憶媒体内で絞りの開口度毎に画像情報の記憶されるべき領域やキー配置の記憶されるべき領域がそれぞれ割り当てられている構成、または記憶媒体に記憶される画像情報それぞれが、対応する絞りの開口度を示す情報を付加情報として有する構成であってもよいことはいうまでもない。 For example, construction of the mobile telephone device 50 has a single storage medium, the area to be stored in the area and key arrangement should be stored in the image information for each aperture of the diaphragm in the storage medium is assigned respectively , or each image information stored in the storage medium, it may be configured with information indicating the opening degree of the corresponding aperture as the additional information of course.

さらに、本発明の第1の実施の形態における携帯電話装置50から携帯通信処理部60を除いた構成、すなわち、撮影部3、絞り調節部4、同期信号発生部5、振り分け部6、第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9、指位置検出部10、キー接触検出部11、軌跡生成部12、キー操作判定部13、キー配置記憶部14、指位置記憶部16および表示部15を備えた入力装置を構成することも可能である。 Furthermore, the configuration except for the first mobile communication processing unit 60 from the mobile phone device 50 according to the embodiment of the present invention, i.e., imaging unit 3, the diaphragm adjustment unit 4, the synchronizing signal generator 5, the distribution unit 6, the first image storage unit 7, the second image storage unit 8, the third image storage unit 9, the finger position detecting section 10, the key touch detection unit 11, the trajectory generating unit 12, a key operation determination unit 13, the key arrangement storing unit 14 it is also possible to configure the input device including a finger position storage unit 16 and a display unit 15. このような入力装置を構成すれば、外部に接続された情報装置に対して、非接触で指の動きを検出して数字や文字等の各種入力を行うことができる。 By configuring such an input device, can be the information device connected to the outside, it performs various inputs such as numbers and letters to detect the movement of the finger without contact.

次に、本発明の第1の実施の形態における携帯電話装置50の動作について説明する。 Next, the operation of the mobile telephone device 50 according to the first embodiment of the present invention. 図9は、本発明の第1の実施の形態における携帯電話装置50の動作ステップを示すフローチャートである。 Figure 9 is a flow chart illustrating the operation steps of the mobile telephone device 50 according to the first embodiment of the present invention.

図9に示したように、まず携帯電話装置50は、絞り調節部4によって絞り1の開口度を「小」状態にして、得られる光像を撮影部3で撮影する(S1)。 As shown in FIG. 9, the portable telephone apparatus 50 firstly, squeezing the first opening degree stop the adjustment unit 4 in the "small" state, the optical image obtained photographing by the photographing section 3 (S1). ステップS1で撮影された画像情報を、振り分け部6は、第1の画像情報81として第1の画像記憶部7に記憶させる(S2)。 The image information captured in step S1, the distributing section 6, and stores the first image information 81 in the first image storage unit 7 (S2).

次に、絞り調節部4によって、絞り1の開口度を「中」状態にして、得られる光像を撮影部3で撮影する(S3)。 Then, the iris diaphragm adjustment unit 4, and the aperture of the diaphragm 1 to the "medium" state, the optical image obtained photographing by the photographing section 3 (S3). ステップS3で撮影された画像情報を、振り分け部6は、第2の画像情報82として第2の画像記憶部8に記憶させる(S4)。 The image information captured in step S3, the distribution unit 6, is stored as the second image information 82 in the second image storage unit 8 (S4).

次に、絞り調節部4によって、絞り1の開口度を「大」状態にして、得られる光像を撮影部3で撮影する(S5)。 Then, the iris diaphragm adjustment unit 4, and the aperture of the diaphragm 1 to the "large" state, the optical image obtained photographing by the photographing section 3 (S5). ステップS5で撮影された画像情報を、振り分け部6は、第3の画像情報83として第3の画像記憶部9に記憶させる(S6)。 The image information captured in the step S5, the distributing section 6, and stores the third image information 83 in the third image storage unit 9 (S6).

なお、本発明は上述した三つの画像情報の撮影の順番に限定されるものでなく、いかなる順序で撮影してもよいものである。 The present invention is not limited to the order of photographing of the three image information described above but may be taken in any order.

次にキー接触検出部11は、第1の画像記憶部7に記憶された第1の画像情報81と第2の画像記憶部8に記憶された第2の画像情報82と第3の画像記憶部9に記憶された第3の画像情報83との合焦度を比較する(S7)。 Then the key touch detection unit 11 includes a second image information 82 in which the first image information 81 stored in the first image storage unit 7 which is stored in the second image storage unit 8 the third image storage Compare focus degree of the third image information 83 stored in section 9 (S7).

これら三つの画像情報の合焦度に差があるとキー接触検出部11が判定した場合(S8)には、指位置検出部10が、第2の画像記憶部8に記憶された第2の画像情報82と第3の画像記憶部9に記憶された第3の画像情報83との合焦度を比較する(S9)。 If there is a difference in degree of focus of these three image information if the key touch detection section 11 determines (S8), the finger position detecting section 10, a second, which is stored in the second image storage unit 8 Compare focus degree of the third image information 83 by the image information 82 and stored in the third image storage unit 9 (S9).

ステップS9において、第2の画像情報82と第3の画像情報83との合焦度に実質的な差がない場合と判定された場合(S10)には、未だ指51が所定の距離範囲Δ 内に存在しない場合(図7における指73または指74の位置)であると考えられるので、指位置検出部10は指位置記憶部16に記憶されたキー操作フラグをOFFにし(S15)、ステップS1に戻り(S16)、再び第1の画像情報81の撮影を行う。 In step S9, in the case where it is determined that if there is no substantial difference (S10) to the in-focus degree and the second image information 82 and the third image information 83, yet the finger 51 is a predetermined distance range Δ If not in the 2 it is considered to be the (position of the finger 73 or finger 74 in FIG. 7), the finger position detecting section 10 is turned OFF key operation flag stored in the finger position storage section 16 (S15), returns to step S1 (S16), it performs again shooting of the first image information 81. 一方、ステップS9において、指位置検出部10が第2の画像情報82と第3の画像情報83との合焦度に実質的な差があると判定した場合には、指51が携帯電話装置50から所定の距離範囲Δ 内に存在する(図7における指72の位置にある)と考えられるので、指位置検出部10は第2の画像情報82と第3の画像情報83とにおいて合焦の度合いに差のある部分を抽出することにより、指72の含まれる領域を抽出することができ、その領域の重心または中心座標を算出することにより指72の二次元座標を検出することができる(S11)。 On the other hand, in step S9, the finger position detecting section 10 when it is determined that there is a substantial difference in the focus of the second image information 82 and the third image information 83, the finger 51 is a mobile telephone device present from 50 to within a predetermined distance range delta 2 since it is considered that (in the position of the finger 72 in FIG. 7), if the finger position detecting section 10 and the second image information 82 third image information 83 by extracting the degree of difference in the portion of the focus, it is possible to extract a region contained in the finger 72, to detect the two-dimensional coordinates of the finger 72 by calculating the centroid or center coordinates of the region can (S11). そして、その二次元座標の値を指位置検出部10内に一時的に記憶する(S12)。 Then, the value of the two-dimensional coordinates is temporarily stored in the finger position detecting unit 10 (S12). また、指位置検出部10は、指位置記憶部16に記憶されたキー操作フラグをONとする(S13)。 Further, the finger position detecting section 10, the ON key operation flag stored in the finger position storage section 16 (S13). 軌跡生成部12は、表示部15の入力誘導表示52に重畳させて指位置検出部10から出力された指72の二次元座標を軌跡53として表示する。 Locus generating unit 12 displays the two-dimensional coordinates of the finger 72 to enter guidance display 52 superimposed is output from the finger position detecting section 10 of the display unit 15 as the locus 53.

ステップS7において、キー接触検出部11が第1の画像情報81、第2の画像情報82および第3の画像情報83との間に合焦度の実質的な差がないと判定した場合(S8)には、キー接触検出部11は、指位置記憶部16に記憶されたキー操作フラグを確認する(S17)。 In step S7, when the key touch detection unit 11 determines that there is no substantial difference of the focusing degree between the first image information 81, the second image information 82 and the third image information 83 (S8 the), key contact detection unit 11 checks the key operation flag stored in the finger position storage section 16 (S17).

ステップS17において、キー操作フラグがOFFである場合には、指51が図7における距離範囲Δ の範囲外、すなわち図7における指74の位置にあり、やはり指51が押下されていないものと判定し、同じくステップS1に戻る(S18)。 In step S17, when the key operation flag is OFF, outside fingers 51 distance range delta 1 in FIG. 7, i.e. in the position of the finger 74 in FIG. 7, and those not too finger 51 is pressed determined, also returns to step S1 (S18). 一方、ステップS17において、キー接触検出部11が指位置記憶部16に記憶されたキー操作フラグがONであると判定した場合には、キー接触検出部11が指51の位置が図7における距離範囲Δ の範囲内にあると判定し、指51が押下された旨の信号をキー操作判定部13に送る。 On the other hand, in step S17, if the key touch detection unit 11 is stored in the finger position storage section 16 a key operation flag is determined to be ON, the distance the key touch detection unit 11 the position of the finger 51 in FIG. 7 was determined to be within the scope delta 3, it sends a signal indicating that the finger 51 is pressed on the key operation determination unit 13. この場合には、キー操作判定部13は、キー接触検出部11からの指51が押下された旨の信号を受けて、指位置検出部10から送られた指72の二次元座標とキー配置記憶部14に記憶されたキー配置情報61とを比較し(S19)、ユーザの指51の押下がどのキーを操作するためのものであるかを判定し(S20)、そのキーに対応する情報を携帯通信処理部60に送る(S22)。 In this case, the key operation determination unit 13 receives a signal indicating that the finger 51 is pressed from the key touch detection unit 11, the two-dimensional coordinates and key arrangement of the finger 72 sent from the finger position detecting section 10 comparing the key arrangement information 61 stored in the storage unit 14 (S19), determines whether it is intended to operate any key presses the user's finger 51 (S20), information corresponding to the key a letter in a mobile communication processing unit 60 (S22). ステップS19において、指51の位置に対応するキー情報がキー配置情報61にない場合には、ステップS1に戻る(S21)。 In step S19, the key information corresponding to the position of the finger 51 when not in the key arrangement information 61, the process returns to step S1 (S21).

このような動作を行うことにより、本発明の第1の実施の形態における携帯電話装置50によれば、ユーザの指51の二次元座標および押下の有無を非接触で検知することができるので、テンキーやキーボード等の入力部を設けることなく、数字や文字等の入力を行うことができる。 By performing such an operation, according to the cellular telephone apparatus 50 according to the first embodiment of the present invention, it is possible to detect the two-dimensional coordinates and whether the pressing of the user's finger 51 in a non-contact, without providing an input portion of a numeric keypad or a keyboard can input such as numbers and letters.

なお、本発明の第1の実施の形態においては、ユーザが指51を動かすことによって情報装置に入力を行う例を示したが、本発明は情報装置に指示を行う物体をなんら限定するものではない。 In the first embodiment of the present invention, those users but showed an example in which an input to the information apparatus by moving the fingers 51, the present invention in any way limit the object giving instructions to the information system Absent. 例えば、指51以外にも、ペンや指示棒等を用いて情報を入力することができるものである。 For example, in addition to the finger 51, it is capable of inputting information with a pen or a pointing rod or the like.

また、本発明の第1の実施の形態における携帯電話装置50によれば、3枚の画像を撮影して画像の比較を行うことにより情報の入力が可能であるので、短時間に処理を行うことが可能である。 According to the mobile phone device 50 according to the first embodiment of the present invention, since it is possible to input information by comparing the image by capturing three images, performs processing short time It is possible.

なお、本発明の第1の実施の形態においては、携帯電話装置50を例として用いて説明したが、本発明の情報装置はこれに限定されず、例えばパソコン装置やPDA装置等も広く含むことはいうまでもない。 In the first embodiment of the present invention, although the mobile telephone device 50 described with reference by way of example, the information device of the present invention is not limited to this, for example, be a personal computer device or a PDA device, or the like is also broadly it is needless to say. このような情報装置の一例として、図10に腕時計型の情報装置95の外観を示す。 As an example of such information device, showing an appearance of the information device 95 of a wristwatch type in Figure 10. 図10は、本発明の第1の実施の形態における情報装置の他の例を示す図であり、情報装置95は、図2に示した本発明の第1の実施の形態における携帯電話装置50と同様の構成を有しているものとする。 Figure 10 is a diagram showing another example of the information apparatus according to the first embodiment of the present invention, the information device 95, the cellular telephone device according to the first embodiment of the present invention shown in FIG. 2 50 It assumed to have the same configuration as. 図10に示したように、表示部15の小さい腕時計型の情報装置95においても、上述した携帯電話装置50と同様にキーボード等の入力部を設けなくとも、指51によって非接触に各種情報の入力を行うことができる。 As shown in FIG. 10, in the small wristwatch-type information apparatus 95 of the display unit 15, without providing an input unit such as a keyboard as well as the mobile phone device 50 described above, various types of information in a non-contact by the finger 51 input can be performed.

(第2の実施の形態) (Second Embodiment)
次に、本発明の第2の実施の形態である情報装置について説明する。 It will now be described a second embodiment of the information device of the present invention. 本発明の第2の実施の形態においても、第1の実施の形態と同様に、情報装置の一例として、携帯電話装置90を用いて説明を行う。 In the second embodiment of the present invention, as in the first embodiment, as an example of the information device will be described with reference to a cellular phone device 90. 図11は本発明の第2の実施の形態における携帯電話装置90の構成を示すブロック図である。 Figure 11 is a block diagram showing a configuration of a mobile telephone device 90 according to the second embodiment of the present invention. 図11に示したように、本発明の第2の実施の形態における携帯電話装置90の構成は、図2に示した本発明の第1の実施の形態における携帯電話装置50の構成と比較して、指位置記憶部16を備えない点、指位置検出部91が第1の画像記憶部7および第2の画像記憶部8に接続されている点、ならびに、キー接触検出部92が第2の画像記憶部8および第3の画像記憶部9に接続されている点が異なる。 As shown in FIG. 11, the configuration of the mobile phone device 90 according to the second embodiment of the present invention compares configuration of the mobile phone device 50 as in the first embodiment of the present invention shown in FIG. 2 Te, that does not include the finger position storage unit 16, that the finger position detecting section 91 is connected to the first image storage unit 7 and the second image storage unit 8, and, the key touch detection unit 92 second is connected to the image storage unit 8 and the third image storage unit 9 has points.

本発明の第2の実施の形態の携帯電話装置90においては、指位置検出部91は、第1の画像情報81および第2の画像情報82の合焦の度合いを比較することにより、その合焦の度合いが実質的に異なっている場合に、指51が距離範囲Δ 内、すなわち図7における指73の位置にあるものとして、合焦の度合いが異なる部分の重心または中心座標を用いて指73の二次元座標として、キー操作判定部13および軌跡生成部12に送る。 In a second embodiment the mobile phone device 90 of the present invention, the finger position detecting section 91, by comparing the degree of focus of the first image information 81 and the second image information 82, the case If the degree of focus is substantially different, 51 distance range Δ within 1 finger, i.e. as in the position of the finger 73 in FIG. 7, the degree of focusing by using the center of gravity or center coordinates of the different parts as two-dimensional coordinates of the finger 73, and sends the key operation determination unit 13 and the trajectory generating unit 12.

また、本発明の第2の実施の形態における携帯電話装置90においては、キー接触検出部92は、第2の画像情報82および第3の画像情報83の合焦の度合いを比較し、その合焦の度合いが異なっている場合に、指51が距離範囲Δ 内、すなわち図7における指72の位置にあるものとしてキー接触がされたものと判定し、仮想キーボード54のキーが押された旨の信号をキー操作判定部13に送る。 Further, in the mobile phone device 90 according to the second embodiment of the present invention, the key touch detection unit 92 compares the degree of focus of the second image information 82 and the third image information 83, the case If the degree of focus is different, within finger 51 a distance range delta 2, i.e. it determines that the key contact is as in the position of the finger 72 in FIG. 7, the key of the virtual keyboard 54 is depressed Send a signal indicating that the key operation determination unit 13.

他の構成要件の各機能は第1の実施の形態の携帯電話装置50において説明した各構成要件の機能と同じであるので、詳細な説明は省略する。 Since each function of the other constituent elements are the same as the functions of the constituent requirements described in the cellular telephone apparatus 50 of the first embodiment, detailed description thereof is omitted.

次に、本発明の第2の実施の形態における携帯電話装置90の動作について説明する。 Next, the operation of the mobile telephone device 90 according to the second embodiment of the present invention. 図12は本発明の第2の実施の形態における携帯電話装置90の動作ステップを示すフローチャートである。 Figure 12 is a flow chart illustrating the operation steps of the mobile telephone device 90 according to the second embodiment of the present invention.

図12に示したように、ステップS1からステップS6までの動作ステップは、図9に示した本発明の第1の実施の形態における携帯電話装置50の動作ステップと同じであるので、その説明を省略する。 As shown in FIG. 12, the operation steps of the steps S1 to S6 are the same as the operation steps of the mobile telephone device 50 according to the first embodiment of the present invention shown in FIG. 9, the description omitted.

第1の画像情報81、第2の画像情報82および第3の画像情報83の記憶部への記憶がそれぞれ完了すると、指位置検出部91は、第1の画像記憶部7に記憶された第1の画像情報81および第2の画像記憶部8に記憶された第2の画像情報82の合焦の度合いを比較する(S31)。 First image information 81, the storage in the memory unit of the second image information 82 and the third image information 83 is completed, respectively, the finger position detecting section 91, first stored in the first image storage section 7 comparing the degree of focusing of the second image information 82 stored in the first image information 81 and the second image storage unit 8 (S31). 合焦の度合いに差がある場合(S8)には指51が図7における距離範囲Δ 、すなわち指73の位置に入ったとみなしてステップS11に進み、差がない場合(S8)にはステップS1に戻る(S30)。 Step If distance range delta 1 finger 51 is shown in FIG. 7 (S8), i.e. the flow advances to step S11 is regarded as entered the position of the finger 73, when there is no difference (S8) there is a difference in the degree of focus Back in S1 (S30).

指位置検出部91が指73の二次元座標を算出した(S11)後に、キー接触検出部92は第2の画像情報82と第3の画像情報83との合焦の度合いの比較を行う(S32)。 After the finger position detecting section 91 calculates the two-dimensional coordinates of the finger 73 (S11), the key touch detection unit 92 makes a comparison between the degree of focusing of the second image information 82 third image information 83 ( S32). 第2の画像情報82と第3の画像情報83との合焦の度合いに実質的な差がある場合(S33)には、指51が図7における距離範囲Δ 、すなわち指72の位置に入ったとみなしてステップS19に進む一方、差がないと判定された場合(S33)には、指73の位置にあるものとみなしてステップS1に戻る(S35)。 A second image information 82 when there is a substantial difference (S33) is the degree of focusing of the third image information 83, the distance range delta 2 fingers 51 in FIG. 7, i.e., the position of the finger 72 the process proceeds to step S19 is regarded as entered, if it is determined that there is no difference (S33), it is assumed that the position of the finger 73 returns to step S1 (S35).

なお、ステップS19からステップS22までの各処理ステップは、第1の実施の形態の図9に示した各処理ステップと同様であるので、その説明を省略する。 Since the processing steps from step S19 to step S22 is the same as the processing steps shown in FIG. 9 of the first embodiment, description thereof is omitted.

以上説明したように、本発明の第2の実施の形態における携帯電話装置90においても、第1の実施の形態において説明した携帯電話装置50と同様に、指を装置に触れることなく、指の位置を検出して、対応する情報を入力することが可能となる。 As described above, in the portable telephone device 90 according to the second embodiment of the present invention, similarly to the mobile telephone device 50 described in the first embodiment, without touching the finger to the device, the finger position by detecting, it is possible to enter the corresponding information. 本発明の第2の実施の形態における携帯電話装置90では、距離範囲Δ は指51の軌跡53が表示部15上に表示される範囲(図1における領域A )となり、距離範囲Δ は、仮想キーボード54が押下されたと判定される範囲(図1における領域A )となる。 In the mobile telephone device 90 according to the second embodiment of the present invention, the distance range delta 1 is a range trajectory 53 of the finger 51 is displayed on the display section 15 (the area A 1 in FIG. 1), and the distance range delta 2 is a range that is determined to be a virtual keyboard 54 is depressed (the region in FIG. 1 a 2).

本発明の第2の実施の形態における携帯電話装置90においても、3枚の画像を撮影して画像の比較を行うことにより情報の入力が可能であるので、短時間に処理を行うことが可能であることは第1の実施の形態と同じである。 Also in the portable telephone device 90 according to the second embodiment of the present invention, since it is possible to input information by comparing the image by capturing three images, processing can be performed a short time it is the same as the first embodiment is.

本発明に係る情報装置および情報入力方法およびプログラムによれば、開口度のそれぞれ異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を入力することができるという効果を奏することができるので、携帯電話装置等の情報装置、特に非接触に情報入力することのできる情報装置等として有用である。 According to the information apparatus and the information input method and program according to the present invention, by a relatively simple process of comparing the plurality of different images of the opening degree, to quickly detect the movement of the instruction object such as a user's finger it is possible to advantageously possible to input the information, the information apparatus such as a mobile telephone device is particularly useful as an information apparatus or the like capable of data input to the non-contact.

本発明の第1の実施の形態における携帯電話装置の概要について説明するための図 Diagram for explaining the outline of the portable telephone apparatus according to the first embodiment of the present invention 本発明の第1の実施の形態における携帯電話装置の構成を示すブロック図 Block diagram showing a configuration of a mobile telephone device according to the first embodiment of the present invention 本発明の第1の実施の形態における携帯電話装置における絞りの開口の違いによる合焦可能範囲を示す図 It shows the focus adjustable range due to the difference in the aperture of the diaphragm in the cellular telephone device according to the first embodiment of the present invention 本発明の第1の実施の形態における携帯電話装置のキー配置情報の一例を示す図 It illustrates an example of a key arrangement information of the mobile phone device according to the first embodiment of the present invention 本発明の第1の実施の形態における携帯電話装置の指位置検出部またはキー接触検出部の機能の基本原理を示す図 It illustrates the basic principle of the cellular telephone apparatus of the finger position detecting section or the key touch detection unit functions in the first embodiment of the present invention 本発明の第1の実施の形態の携帯電話装置における絞りを変化させた場合の焦点合わせの位置に対する物体深度の値の変化を示す図 It shows the change in the value of the object depth relative to the position of the focus in the case of changing the aperture in the mobile phone device according to the first embodiment of the present invention 本発明の第1の実施の形態の携帯電話装置における指位置検出部およびキー接触検出部の動作原理について説明するための図 Diagram for explaining the operation principle of the finger position detecting section in the portable telephone device of the first embodiment and the key touch detection unit of the present invention 本発明の第1の実施の形態における携帯電話装置によって撮影された画像情報の一例を示す図 It illustrates an example of a photographed image information by the mobile telephone device according to the first embodiment of the present invention 本発明の第1の実施の形態における携帯電話装置の動作ステップを示すフローチャート Flow chart illustrating the operation steps of the mobile telephone device according to the first embodiment of the present invention 本発明の第1の実施の形態における情報装置の他の例を示す図 Diagram showing another example of the information apparatus according to the first embodiment of the present invention 本発明の第2の実施の形態における携帯電話装置の構成を示すブロック図 Block diagram showing a configuration of a mobile telephone device according to the second embodiment of the present invention 本発明の第2の実施の形態における携帯電話装置の動作ステップを示すフローチャート Flow chart illustrating the operation steps of the mobile telephone device according to the second embodiment of the present invention

符号の説明 DESCRIPTION OF SYMBOLS

1 絞り 2,32 レンズ 3 撮影部 4 絞り調節部 5 同期信号発生部 6 振り分け部 7 第1の画像記憶部 8 第2の画像記憶部 9 第3の画像記憶部 10,91 指位置検出部 11,92 キー接触検出部 12 軌跡生成部 13 キー操作判定部 14 キー配置記憶部 15 表示部 16 指位置記憶部 31 物体 33 撮像素子 50,90 携帯電話装置 51,71,72,73,74 指 52 入力誘導表示 53 軌跡 54 仮想キーボード 60 携帯通信処理部 61 キー配置情報 81 第1の画像情報 82 第2の画像情報 83 第3の画像情報 95 情報装置 1 aperture 2,32 lens 3 imaging unit 4 throttle adjustment part 5 the synchronizing signal generator 6 distributing unit 7 first image storage unit 8 and the second image storage unit 9 third image storage unit 10,91 finger position detecting section 11 , 92 key touch detection unit 12 locus generating unit 13 key operation determination unit 14 key arrangement storing unit 15 display unit 16 finger position storage unit 31 the object 33 image sensor 50, 90 portable telephone device 51,71,72,73,74 fingers 52 input guidance display 53 trajectory 54 virtual keyboard 60 mobile communication processing unit 61 key arrangement information 81 first image information 82 second image information 83 third image information 95 information device

Claims (14)

  1. 物体の動きによって非接触に情報を発生する情報装置であって、 An information apparatus for generating information to the contactless by the movement of the object,
    絞り部と、 And a throttle portion,
    前記絞り部の開口度を調節する開口度調節部と、 An opening degree adjusting unit for adjusting the opening degree of the throttle portion,
    前記物体を撮影する撮影部と、 A photographing unit for photographing the object,
    前記開口度調節部により前記絞り部の開口度を異ならせて前記物体を前記撮影部で撮影して取得した、互いに開口度の異なる複数の画像を比較することにより前記物体が所定の領域内にあるか否かを判定する距離判定部と、 The object by varying the opening degree of the throttle portion by the opening degree adjustment unit obtained by imaging by the imaging unit, said object by comparing a plurality of images having different opening degrees to each other within a predetermined area a distance determination section whether or not,
    前記物体が前記所定の領域内にあると判定された場合に前記物体の位置に対応した所定の情報を発生する情報発生部を備えたことを特徴とする情報装置。 Information device wherein said object is an information generating unit for generating a predetermined information corresponding to the position of the object when it is determined to be in the predetermined region.
  2. 前記物体の互いに開口度の異なる複数の画像の中から選択した一つの画像から前記物体の二次元座標を算出する座標算出部を備え、 Includes a coordinate calculation unit for calculating a two-dimensional coordinates of the object from one image selected from a plurality of images having different opening degrees to each other of the object,
    前記情報発生部は、前記物体の二次元座標に応じて異なる情報を発生することを特徴とする請求項1に記載の情報装置。 The information generation unit, information device according to claim 1, characterized in that to generate different information according to the two-dimensional coordinates of the object.
  3. 前記情報発生部が前記物体の二次元座標に対応させて発生する情報を記憶する情報記憶部を備え、 An information storage unit for storing information by the information generating unit is generated so as to correspond to the two-dimensional coordinates of the object,
    前記情報発生部は、前記物体の二次元座標の情報および前記情報記憶部に記憶された情報にもとづいて前記異なる情報を発生することを特徴とする請求項2に記載の情報装置。 The information generation unit, information device according to claim 2, characterized in that for generating the different information based on the information stored in the information and the information storage unit of the two-dimensional coordinates of the object.
  4. 前記情報記憶部に記憶された情報にもとづいて、前記物体の二次元座標に対応させて前記情報発生部より発生する情報をキーボード状に表示する表示部を備えたことを特徴とする請求項3に記載の情報装置。 Based on the information stored in the information storage unit, according to claim 3, characterized in that the information generated from the information generating section in correspondence with the two-dimensional coordinates of the object with a display unit for displaying the keyboard shape information device according to.
  5. 前記物体の移動軌跡を生成する軌跡生成部を備え、 Includes a trajectory generating section for generating a movement trajectory of the object,
    前記距離判定部は、前記物体が前記所定の領域よりも大きな軌跡表示領域内にあるか否かを判定し、 The distance determining section determines whether the object is a large trajectory display area than said predetermined area,
    前記距離判定部において前記物体が前記軌跡表示領域内にあると判定された場合に、前記表示部は前記物体の移動軌跡を表示することを特徴とする請求項4に記載の情報装置。 If the object in the distance determination unit is determined to be in the locus display region, wherein the display unit information apparatus according to claim 4, characterized in that displaying a moving locus of the object.
  6. 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度の違いにもとづいて前記物体が前記所定の領域内にあるか否かを判別することを特徴とする請求項1から請求項5までのいずれか1項に記載の情報装置。 Said distance determination unit, according to claim 1, wherein the object based on the difference in the degree of focus in each other aperture of the plurality of different images of the object is determined whether or not the predetermined area information device according to any one of up to claim 5.
  7. 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の係数にもとづいて計算することを特徴とする請求項6に記載の情報装置。 The distance determining unit, the information apparatus according to claim 6, characterized in that calculating a focus degree in each other aperture of the plurality of different images of the object, based on the coefficient in the case of DCT processing.
  8. 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の所定周波数の係数値を積算して計算することを特徴とする請求項7に記載の情報装置。 Said distance determination unit according to claim 7, characterized in that calculating a focus degree in each other aperture of the plurality of different images of the object, by multiplying the coefficient value of a predetermined frequency in the case where DCT processing information apparatus.
  9. 前記撮影部は、開口度が異なる3枚の画像を撮影し、 The imaging unit captures three images having opening degree are different,
    前記距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の大きな第1の画像と前記第1の画像よりも開口度の小さな第2の画像とを用いて前記物体が前記軌跡表示領域内にあるか否かの判定を行い、前記第1の画像、前記第2の画像、および、前記第2の画像よりも開口度の小さな第3の画像を用いて前記物体が前記所定の領域内にあるか否かを判定することを特徴とする請求項5から請求項8までのいずれか1項に記載の情報装置。 The distance determining unit, of the degree of opening is different three images, said object using a smaller second image most aperture of the opening degree than larger the first image first image of the a judgment of whether or not the trajectory display area, the first image, the second image, and the object using a small third image of the opening degree than the second image is the information device according to any one of claims 5, characterized in that determining whether the predetermined area to claim 8.
  10. 前記撮影部は、開口度が異なる3枚の画像を撮影し、 The imaging unit captures three images having opening degree are different,
    前記距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の小さい第1の画像と前記第1の画像よりも開口度の大きな第2の画像とを用いて前記物体が前記軌跡表示領域内にあるか否かの判定を行い、前記第2の画像と前記第2の画像よりも開口度の大きな第3の画像とを用いて前記物体が前記所定の領域内にあるか否かを判定することを特徴とする請求項5から請求項8までのいずれか1項に記載の情報装置。 The distance determining unit, of the degree of opening is different three images, is the object using a large second image most aperture of smaller opening degree than the first image and the first image the a judgment of whether or not the trajectory display area, or the object by using the large third image of the opening degree than the second image and the second image is in the predetermined region information device according to any one of claims 5, characterized in that determining whether to claim 8.
  11. 前記絞り部は、液晶シャッタを有することを特徴とする請求項1から請求項10までのいずれか1項に記載の情報装置。 The throttle section, the information apparatus according to any one of claims 1, characterized in that it comprises a liquid crystal shutter to claim 10.
  12. 前記開口度調節部は、前記液晶シャッタを透過する光線の光量が一定になるように前記光量を調節する光量調節部を有することを特徴とする請求項11に記載の情報装置。 The opening degree adjusting unit, the information apparatus according to claim 11, the light amount of light transmitted through the liquid crystal shutter is characterized by having a light amount adjustment unit for adjusting the amount of light to be constant.
  13. 第1の絞り開口度で物体の第1の画像を撮影する第1のステップと、 A first step of capturing the first image of the object in the first aperture of,
    前記第1の絞り開口度よりも大きな第2の絞り開口度で、前記物体の第2の画像を撮影する第2のステップと、 In large second aperture degree than the first aperture size, and a second step of capturing a second image of the object,
    前記第1の画像および前記第2の画像それぞれの合焦度を算出する第3のステップと、 A third step of calculating the first image and the second image each focusing degree,
    前記第1の画像および前記第2の画像それぞれの合焦度を比較することにより、前記物体が所定の領域内にあるか否かを判定する第4のステップと、 By comparing the first image and the second image each focusing degree, the object and the fourth step of determining whether the predetermined region,
    前記物体が前記所定の領域内にあると判定された場合に、前記物体の位置に対応した所定の情報を入力する第5のステップとを備えたことを特徴とする情報入力方法。 If the object is determined to be in the predetermined region, the fifth step and the information input method of comprising the inputting predetermined information corresponding to the position of the object.
  14. コンピュータに、 On the computer,
    物体の第1の絞り開口度で撮影された画像を入力する第1のステップと、 A first step of inputting an image captured at the first aperture of the object,
    前記第1の絞り開口度よりも大きな第2の絞り開口度で撮影された画像を入力する第2のステップと、 A second step of inputting the image captured by the large second aperture size than the first aperture size,
    前記第1の絞り開口度で撮影された画像および前記第2の絞り開口度で撮影された画像それぞれの合焦度を算出する第3のステップと、 A third step of calculating the first aperture of the photographing image and the second throttle opening degree images taken each focusing degree,
    前記第1の絞り開口度で撮影された画像および前記第2の絞り開口度で撮影された画像それぞれの合焦度を比較することにより、前記物体が所定の領域内にあるか否かを判定する第4のステップと、 By comparing the first aperture of the photographing image and the second throttle opening degree images taken each focusing degree, determine whether the object is within a predetermined area a fourth step of,
    前記物体が前記所定の領域内にあると判定された場合に、前記物体の位置に対応した所定の情報を発生する第5のステップとを実行させることを特徴とするプログラム。 Program, wherein the object if it is determined that the predetermined area, to execute a fifth step of generating the predetermined information corresponding to the position of the object.
JP2004187735A 2004-06-25 2004-06-25 Information device, information input method, and program Pending JP2006010489A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004187735A JP2006010489A (en) 2004-06-25 2004-06-25 Information device, information input method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004187735A JP2006010489A (en) 2004-06-25 2004-06-25 Information device, information input method, and program

Publications (1)

Publication Number Publication Date
JP2006010489A true true JP2006010489A (en) 2006-01-12

Family

ID=35777914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004187735A Pending JP2006010489A (en) 2004-06-25 2004-06-25 Information device, information input method, and program

Country Status (1)

Country Link
JP (1) JP2006010489A (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213245A (en) * 2006-02-08 2007-08-23 Nec Commun Syst Ltd Portable terminal and program
KR100843590B1 (en) 2006-07-19 2008-07-04 엠텍비젼 주식회사 Optical pointing apparatus and mobile terminal having the same
JP2009141441A (en) * 2007-12-03 2009-06-25 Nec Corp Character input-functional operation device, method, program, and portable terminal
JP2010049583A (en) * 2008-08-24 2010-03-04 Teruhiko Yagami Wrist watch type electronic note apparatus
JP2010522492A (en) * 2007-03-26 2010-07-01 イデント テクノロジー アーゲー Mobile communication device and an input device for the mobile communication device
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
WO2010135076A2 (en) * 2009-05-22 2010-11-25 Motorola, Inc. Sensing assembly for mobile device
JP2011039673A (en) * 2009-08-07 2011-02-24 Sony Corp Apparatus and method for detecting position
JP2011081506A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Video display device and method of controlling display thereof
US8030914B2 (en) 2008-12-29 2011-10-04 Motorola Mobility, Inc. Portable electronic device having self-calibrating proximity sensors
US8269175B2 (en) 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8275412B2 (en) 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
US8344325B2 (en) 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US8391719B2 (en) 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8542186B2 (en) 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
JP2013541110A (en) * 2011-09-27 2013-11-07 イーロ・タッチ・ソリューションズ・インコーポレイテッドElo Touch Solutions,Inc. Scaling of gesture-based input
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
JP2014082605A (en) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc Information processing apparatus, and method of controlling and program for the same
JP2014102842A (en) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd User gesture input to wearable electronic device involving movement of device
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
US8788676B2 (en) 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
JP2016517505A (en) * 2013-03-15 2016-06-16 インテル・コーポレーション Adaptation depth detection
US9448714B2 (en) 2011-09-27 2016-09-20 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213245A (en) * 2006-02-08 2007-08-23 Nec Commun Syst Ltd Portable terminal and program
KR100843590B1 (en) 2006-07-19 2008-07-04 엠텍비젼 주식회사 Optical pointing apparatus and mobile terminal having the same
US9141148B2 (en) 2007-03-26 2015-09-22 Microchip Technology Germany Gmbh Mobile communication device and input device for the same
KR101429494B1 (en) * 2007-03-26 2014-09-19 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 Mobile communication device and input device for the same
JP2010522492A (en) * 2007-03-26 2010-07-01 イデント テクノロジー アーゲー Mobile communication device and an input device for the mobile communication device
JP2009141441A (en) * 2007-12-03 2009-06-25 Nec Corp Character input-functional operation device, method, program, and portable terminal
JP2010049583A (en) * 2008-08-24 2010-03-04 Teruhiko Yagami Wrist watch type electronic note apparatus
US8030914B2 (en) 2008-12-29 2011-10-04 Motorola Mobility, Inc. Portable electronic device having self-calibrating proximity sensors
US8275412B2 (en) 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
US8346302B2 (en) 2008-12-31 2013-01-01 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8269175B2 (en) 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8304733B2 (en) 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8970486B2 (en) 2009-05-22 2015-03-03 Google Technology Holdings LLC Mobile device with user interaction capability and method of operating same
US8344325B2 (en) 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
WO2010135076A3 (en) * 2009-05-22 2011-02-03 Motorola Mobility, Inc. Sensing assembly for mobile device
WO2010135076A2 (en) * 2009-05-22 2010-11-25 Motorola, Inc. Sensing assembly for mobile device
US8788676B2 (en) 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8542186B2 (en) 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8391719B2 (en) 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8519322B2 (en) 2009-07-10 2013-08-27 Motorola Mobility Llc Method for adapting a pulse frequency mode of a proximity sensor
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
JP2011039673A (en) * 2009-08-07 2011-02-24 Sony Corp Apparatus and method for detecting position
JP2011081506A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Video display device and method of controlling display thereof
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
JP2013541110A (en) * 2011-09-27 2013-11-07 イーロ・タッチ・ソリューションズ・インコーポレイテッドElo Touch Solutions,Inc. Scaling of gesture-based input
US9448714B2 (en) 2011-09-27 2016-09-20 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
JP2014082605A (en) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc Information processing apparatus, and method of controlling and program for the same
JP2014102842A (en) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd User gesture input to wearable electronic device involving movement of device
JP2016517505A (en) * 2013-03-15 2016-06-16 インテル・コーポレーション Adaptation depth detection

Similar Documents

Publication Publication Date Title
US20120242852A1 (en) Gesture-Based Configuration of Image Processing Techniques
US20090295712A1 (en) Portable projector and method of operating a portable projector
US20020085097A1 (en) Computer vision-based wireless pointing system
US20030210229A1 (en) Presentation system, material presenting device, and photographing device for presentation
US8836768B1 (en) Method and system enabling natural user interface gestures with user wearable glasses
KR100660125B1 (en) Pointing device using camera
US6731326B1 (en) Low vision panning and zooming device
US20080239132A1 (en) Image display unit, image taking apparatus, and image display method
US20050134719A1 (en) Display device with automatic area of importance display
US20110267503A1 (en) Imaging apparatus
Corcoran et al. Real-time eye gaze tracking for gaming design and consumer electronics systems
US20090309990A1 (en) Method, Apparatus, and Computer Program Product for Presenting Burst Images
US20080174551A1 (en) Image display system
US20100103311A1 (en) Image processing device, image processing method, and image processing program
US20100157085A1 (en) Image pickup device, flash image generating method, and computer-readable memory medium
US20090271732A1 (en) Image processing apparatus, image processing method, program, and recording medium
US20110273466A1 (en) View-dependent rendering system with intuitive mixed reality
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
WO2007105205A2 (en) Three-dimensional sensing using speckle patterns
US20140240578A1 (en) Light-field based autofocus
JP2004117490A (en) Autofocus system
US20110292033A1 (en) Handheld electronic device
JP2002351603A (en) Portable information processor
US7315751B2 (en) Portable apparatus including improved pointing device
US20100103099A1 (en) Pointing device using camera and outputting mark