CN1361466A - 应用图像传感器的电子设备 - Google Patents

应用图像传感器的电子设备 Download PDF

Info

Publication number
CN1361466A
CN1361466A CN01117048A CN01117048A CN1361466A CN 1361466 A CN1361466 A CN 1361466A CN 01117048 A CN01117048 A CN 01117048A CN 01117048 A CN01117048 A CN 01117048A CN 1361466 A CN1361466 A CN 1361466A
Authority
CN
China
Prior art keywords
electronic equipment
image
imageing sensor
mobile message
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN01117048A
Other languages
English (en)
Inventor
池田光二
犬塚达基
葛贯壮四郎
中岛启介
藤井健二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1361466A publication Critical patent/CN1361466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

一种能够显示并存储输入图象的电子设备,输出由图像传感器拍摄的图像,使用能够根据在位置信息检测装置处理的由图像传感器拍摄的图像来计算图像传感器本身或图像传感器拍摄的被摄物的移动信息的图像传感器、不必新增加鼠标和输入板,能够输入手写文字和图形。

Description

应用图像传感器的电子设备
本发明涉及例如数字照相机、拍摄机、PDA、便携式电话、信息输入装置、机器人和产业设备等应用照相机的电子设备。
关于现有的应用照相机的电子设备，在日本专利JP-A-6-296206中，论述了关于便携式信息设备的内容。下面对该现有实例进行说明。
通过接口取入来自照相机的图像数据，将取入的图像数据输出显示在液晶显示部，同时，在图像压缩——扩展回路上压缩该取入的图像数据后将其存储在数据RAM中。另外，在数据RAM中存储由键输入输入的备忘录数据和地址名簿数据等，检索该存储数据，在液晶显示部显示输出。
另外，在日本专利JP-A-11-345079中公开了一种应用光学动作传感器IC的手持式定点装置的现有实例。下面说明该实例。
光学动作传感器IC的响应被数字化，作为帧存储在存储器中。通过移动头部，生成由变换图像信息后的图形形成的连续的帧，通过与自身相关联地比较移动方向和移动量而求得可靠。接触检测器检测手持式定点装置的头部的指示器与工作面接触的时间。在手持式定点装置的机身上设置有代替计算机的鼠标的功能的按钮。
在所述第一个现有技术中，问题在于虽然能够在液晶显示部显示输出照相机图像，但另外，因为要输入手写的文字和图形，所以需要鼠标和输入板等输入装置，从而导致所谓的装置的体积变大或笨重。
另一方面，第二个现有技术的对象是手持式定点装置，不能显示和记录输入的图像。
本发明的目的在于提供一种能够显示并记录输入的图像、而且不用新增加鼠标和输入板就能够输入手写文字和图形的电子设备。
为了实现所述目的，在本发明中，输出由图像传感器拍摄的图像后，对由该图像传感器拍摄的图像进行处理，计算图像传感器的移动信息。
或者，输出由图像传感器拍摄的图像后，对由该图像传感器拍摄的图像进行处理，计算图像传感器的被摄物的移动信息。
为了现鼠标的功能，利用计算后的移动信息进行定点用光标的控制。通过按钮与声音或拍摄的图像状态的联动，能够进行点击、双击、拖动的控制。
为了实现输入板的功能，利用计算的移动信息来控制图形输入用光标。通过按钮与声音或拍摄的图像状态的联动，能够进行笔提起、笔落下的控制。
另外，还能利用输入的图形信息进行文字的识别。
也可以利用计算的移动信息进行签字鉴别。
关于机器人和产业设备的控制，通过利用计算的移动信息，能够进行操纵器的控制(或伺服控制)。
移动信息的计算方法包括：预先拍摄对应于绝对坐标信息的对象物，求出该绝对坐标信息；进行连续拍摄的图像的对应点计算；从连续拍摄的图像中抽出对象的被摄物，计算其对应点。这里，也可以预先设定对象的被摄物的特征。
进行连续拍摄的图像的对应点计算的方法包括：通过在连续拍摄的图像中，对其中一个图像的中央附近的部分图像从另一个图像的较大部分图像中进行搜寻，来计算对应点；通过在连续拍摄的图像中，对其中一个图像的特征多的部分图像从另一个图像的较大部分图像中进行搜寻，来计算对应点。
另外，在对应点计算中，通过进行不受照明变动影响的相关演算，例如标准化相互相关和高频成分取出后一般化Hough变换，使在自然光和荧光灯等照明下的稳定计算成为可能。
另外，求出来自连续图像的转动信息，与此对应来补正移动信息，以正确反映图像传感器的移动方向。
具有加速度的传感器，对应于加速度信息来补正移动信息，从而能够计算出补正移动物体上的振动后的图像传感器的移动信息。
在输出由图像传感器拍摄的图像后，计算移动信息时，变更扫描速度和扫描领域等图像传感器扫描条件。
图1是本发明的基本构成的一个例子；图2是图1的跟踪处理部的实施例；图3是图1的接口的实施例；图4是图1的接口的另一实施例；图5是图1的跟踪处理部的另一实施例；图6是图1的跟踪处理部的另一实施例；图7是图1的跟踪处理部的另一实施例；图8是图1的跟踪处理部的另一实施例；图9是表示本发明的另一实施例的框图；图10是表示本发明的另一实施例的框图；图11是表示本发明的另一实施例的框图；图12是表示本发明的另一实施例的框图；图13是表示本发明的另一实施例的框图；图14是说明本发明的控制方法的图；图15是说明从当前位置向目标位置的控制特性的图；图16是表示应用画面数据的反馈控制系统的构成例子的图；图17是表示基于编目画面数据进行控制的装置构成例子的图；图18是表示配备多个照相机的装置构成例子的图；图19是表示配备多个照相机的反馈控制系统的构成例子的图；图20是配备图像传感器的多轴机械手；图21是表示扩大了图像传感器的视野范围的构成例子的图；图22是表示本发明的一个使用形态的图；图23是表示本发明的一个使用形态的图；图24是表示本发明的一个使用形态的图；图25是表示本发明的一个使用形态的图；图26是表示本发明的一个使用形态的图；图27是表示本发明的一个使用形态的图；图28是表示将本发明应用于拍摄机和数字照相机的形态的图；图29是表示本发明的电子设备的状态迁移的一个形态的图；图30是表示本发明的电子设备的显示画面的一个形态的图；
图31是表示本发明的电子设备的显示画面的一个形态的图。
下面，针对本发明的一个实施例进行详细说明。如图1所示的基本构成由输入图像数据的图像传感器、显示由所述图像传感器输入的图像数据的显示装置和从所述图像传感器输入的图像数据检测对象物体的位置信息的装置构成。
本发明的特征在于在图像显示和位置信息检测中共用一个(或一组)图像传感器。据此，通过把视觉把握的控制对象的位置与该控制对象的实际所处的位置信息进行对应，能够基于视觉控制指示，进行具体的控制对象的控制。作为图像传感器可利用CCD、CMOS和真空管型的摄象元件等。显示装置可利用液晶显示器和CRT等。位置信息检测装置可利用例如CPU、个人计算机等。下面，将控制对象所处的场所称为环境。因此，图像传感器输入的是关于环境的图像数据，显示的是环境的图像数据，进行在环境中的控制对象的位置的控制。
用图13来详细说明本发明的另一个实施例。图13所示的功能块之间的连接表示逻辑上的连接。
由根据控制器1301读出并实行存储在ROM1307中的程序来进行整个动作。
根据图中未示的方式切换，设定为图像显示方式时，首先，通过接口1305向显示缓冲器1302传送由图像传感器1306拍摄的图像。也可以暂时存储于RAM1308内后再传送。显示缓冲器1302的图像根据液晶驱动器1303显示在液晶显示部1304上。
另一方面，当设定为移动方式时，通过接口1305在RAM1308中存储由图像传感器1306拍摄的图像。跟踪处理部1309从存储的连续图像来计算移动信息。
这里，跟踪处理部1309的处理内容用图2表示并详细说明。将来自存储在RAM1308中的第1帧图像的中央的部分图像作为参考图像(201)。然后，为了求出该参考图像处在存储在RAM1308中的第二帧图像中的哪一部分，将来自所述第二帧图像的、比参考图像大的中央部分图像作为检索图像(202)。进行从检索图像求得参考图像的模式匹配处理(203)。
在模式匹配中，根据预先设定的相似度计算，求得参考图像和与参考图像相同尺寸的检索图像内的各部分图像的相似度，决定相似度最高的部分图像的位置。作为该相似度的计算方法是求得对应像素间的差的总和，除相互相关等外，还有标准化相互相关，和从参考图像以及检索图像等中分别抽取高频成分，通过一般化Hough变换等，量化该高频成分的对应等方法。
模式匹配处理后，确定的部分图像的相似度比预先设定的极限值大时，将参考图像与该部分图像的位置不吻合作为移动信息输出，当不比极限值大时，则将位置相吻合作为移动信息输出(204)。
之后，用相同的方法从所述第二帧的图像来设定在下面的模式匹配处理中用的参考图像及从存储在RAM1308中的第三帧的图像来设定检索图像(205)，重复进行模式匹配处理。
利用所述计算的移动信息，控制器1301计算在液晶显示部1304中显示的图像输入用光标的移动，向显示缓冲器1302传送光标的位置。假定所述光标被显示在最初的特定位置上。另外，对应于特定的按钮按下等情况，恢复到初始位置。
也可以不控制图像输入用光标，而控制定点用光标。
在所述实施例中，虽然把跟踪处理部的参考图像作为第一帧的中央部分图像，但也可以通过抽出高频成分等来从第一帧求出特征信息，将特征量多的部分图像作为参考图像。
另外，使用图中未示的按钮来控制笔提起、笔落下，能够输入有效的图形。在这种按下按钮为笔落下，释放按钮为笔提起(或是相反情况)的设定以外，也可以是对应于按钮的按下、在触发器中交替切换笔提起和笔落下的方法。还可不采用按下/释放按钮的方式，而是通过声音的大小、振动的大小和图像模糊程度的大小等来控制。
在定点用光标的场合，使用图中未示的按钮能够实现点击，双击和拖动。这种场合下，一次按下按钮为点击，连续两次按下按钮为双击，一边按下一边移动光标为拖动。还可不采用按下/释放按钮的方式，而是通过声音的大小、振动的大小和图像模糊程度的大小等来控制。
根据所述的图像输入用光标移动信息和笔提起、笔落下信息，能够形成手写文字或图形。该手写文字或图形可以原样显示在液晶显示部1304中，也可以在显示后或不加以显示的情况下进行文字识别。作为对象文字，可以是日语(汉字、平假名、片假名)、外语(不仅仅字母表)、Graffiti等特殊字符、符号、暗号等。另外，可以在显示后或不加以显示的情况下用于签字鉴别。在文字识别的场合中，没有笔提起、笔落下信息也可以进行文字识别。
可以用图中未示的按钮实施文字识别后的所希望的文字的选择，也可以由所述图形输入用光标(或定点用光标)以及笔落下(或点击)信息来指定其选择。
也可以由所述图形输入用光标(或定点用光标)以及笔落下(或点击)信息来指定显示的文字或图形的属性。
接口1305的构成例子如图3所示。在这里，由A/D转换器将图像传感器1306的模拟输出信号转换成数字信号，由信号处理电路302进行特定的信号处理。虽然图3中未记载，但也可以暂时存储在帧存储器中。
接口1306的其它构成如图4所示。在图4中，除了A/D转换器、信号处理电路外，还具有图像传感器设定部403。图像传感器设定部对应于图像显示方式或移动方式，能够变更图像传感器的扫描条件(扫描速度、扫描尺寸等)。因此，例如在图像显示方式下，以30帧/秒来扫描图像传感器的全部，在移动方式下，能够以较高速度的帧速率来扫描图像传感器的一部分。
在以上的实施例中，能通过一只手的操作来输入移动信息。另外，不需要预先准备作为被摄物的对象物。
在图22中表示本发明的实施形态的一个例子。电子设备2201具有液晶显示器2202、照相机2204和按钮2203。一边起动所述电子设备2201，一边按下和释放按钮2203，于是在液晶显示器2202上显示文字。另外，如图23所示，用照相机2304取得图像后，一边起动电子设备2301，一边按下和释放按钮2303，则在取得的图像上显示文字。
另外，如图24所示，设想一边起动电子设备2401，一边按下和释放按钮2403，则也能在另一个电子设备2402的一个液晶显示器2405上显示文字。而按钮2403可以不在电子设备2402中，而是在电子设备2401的一侧上。电子设备之间可以如图24所示那样是有线的，也可以如图25所示是无线的。
作为本发明的其它实施例，是使图13的跟踪处理部的处理按图5所示的那样来进行。在这种场合下，由图像传感器拍摄的物体有必要是预先对应地给定了绝对坐标的物体。
设定为图像显示方式时的操作与前面的实施例相同。
关于设定为移动方式时的由图像传感器1306拍摄的图像通过接口1305存储在RAM1308中也是相同的。另外，虽然在由跟踪处理部计算移动信息这一点上是相同的，但不同的是，其计算方法不是图2的方法，而是图5的方法。
在本实施例中，由拍摄的图像取得绝对坐标信息。
在这里，对应于绝对坐标，可以用(100，50)等数字来表示，也可以用一元或二元条形码等符号来表示。
首先，根据OCR或BCR等方法，从最初图像求得拍摄领域中心的绝对坐标(501)。接着，用同样的方法从下一个拍摄图像求得中心的绝对坐标(502)。从这两个坐标来计算移动信息，并输出(503)。之后，重复这些处理。
跟踪处理部的处理也可以如图6所示那样，只求出拍摄的图像的绝对坐标。在这种场合下，控制器1301由连续图像的绝对坐标来计算移动信息。
在该实施例中，也能够用单手操作来输入移动信息。另外，由于能够用一个帧来求得坐标信息，所以不会有所谓的移动信息的误差的积累。
作为本发明的其它实施例，是使图13的跟踪处理部的处理按图5所示的那样来进行。在图7的跟踪处理中，从图像传感器拍摄的图像中检测出较多地含有包含在预先指定的颜色范围内颜色的对象物(701、702)，输出该对象物的重心位置。
控制器1301从连续图像的重心位置来计算移动信息。
该实施例用于固定图像传感器后识别用手指或笔在空中描写的文字或符号的场合。
作为对象物的特性，可以不必是颜色，而是形状。另外，也可以不必是重心位置，而是外接圆(或矩形)或内接圆(或矩形)的中心。或者，如图8所示，从连续图像中检测出移动量大的物体(802)，输出该物体的重心位置。
在该实施例中，因为能够在其本身处在静止的状态下使用电子设备，利于方便地确认显示在画面上的光标等信息。另外，因为预先判定了对象物的特征，所以能够期望减少移动信息计算中的错误。
如图26所示的是本发明的实施例的一个例子。电子设备2601具有液晶显示器2602、照相机2604和按钮2603。例如用左手拿着所述电子设备2601，一边移动右手的手指2605，一边按下和释放按钮2603，则在液晶显示器2602上显示文字。可以预先对右手的指头施加特定的图样。不是手指时，也可以是具有特定的颜色、图样或形状的对象物。
以下表示作成电子邮件的例子。图29是输入文字/图形时的电子设备的状态迁移图。状态2901是确定准备用手写输入文字/图形的起点的状态。状态2902是输入手写文字/图形信息时的状态。状态2903是从手写文字中识别的文字/图形的几个候选中选择合适的候选的等待状态。
从状态2901向状态2902的迁移2904根据准备输入的文字/图形的起点的确定而启动。起点的确定，可以通过例如判定笔已静止(移动量在一定时间、特定范围以下)，或按下特定的按钮等来进行。
确定起点后，向状态2902迁移，操作者手写所期望的文字/图形。在这里，为向操作者通知起点的确定，虽然在状态2901中不能描画轨迹，但可在状态2902中描画轨迹，或变化显示的光标的颜色或形状，或变化画面的整体颜色，或变化液晶显示器的特定位置的显示。按下特定的按钮，还可以删除不想要的描画信息。
另外，从状态2902向状态2903的迁移2905，根据检测到期望的文字/图形的手写输入的终止来启动。作为手写输入终止的检测方法，可以通过例如判定笔已静止(移动量在一定时间、特定范围以下)，或者光标从在此前输入的文字/图形的重心移动了规定距离以上的距离，或按下特定的按钮等来进行。在文字/图形的输入中，也可根据特定的情况来控制笔提起/笔落下。在这种场合中，可以将笔提起的时间超过了特定的时间，或笔提起中的动作被识别为特定的姿势等情况检测为手写输入的终止。
检测出手写输入的终止后，输出手写输入文字/图形的识别结果。在一笔写成的文字/图形的场合中，使用与之对应的识别算法，在液晶显示器上显示一个或多个候选。
从状态2903向状态2901的迁移2906，通过根据期望的文字/图形来选择所述显示为候选的任一个而启动。作为选择手段，可以是按下对应于候选所在位置的按钮，还可以是用手写来表示对应的候选的识别因子，等。选择的文字/图形插入在此前输入的文字/图形系列的特定位置中。
图30表示本发明的电子设备的液晶显示器的显示例。在图30中，领域3001是显示邮件的文字/图形系列的区域，区域3002是显示手写文字/图形用的区域，区域3003是显示候选的区域。3004是光标。
另外，在图31中，表示本发明的电子设备的液晶显示器的其它显示例。在该例子中，区域3101是显示邮件的文字/图形系列的区域，区域3102是显示手写文字/图形或显示候选的区域。手写文字/图形的显示和候选的显示在时间上被分开。也就是说，在图29中，在状态2901和状态2902中，在区域3102是显示手写文字/图形用的区域，在状态2903时变为显示候选用的区域。3103是光标。
另外，如图27所示，由照相机2704取得图像后，一边移动右手手指2705，一边按下和释放按钮2703，一边在取得的图像上显示文字。
另外，也可以不用左手把持电子设备，而是将其放置在适当的场所来使用。
用图9来说明本发明的其它实施例。在图9中，表示基于跟踪处理部输出的移动信息来控制操纵器910的实施例。
该实施例能够用于，例如，在操纵器的前面安装图像传感器、从图像传感器拍摄的图像来识别操纵器正在操作何处，等场合。
可用多关节机器人和伺服装置来取代操纵器。
用图10来说明本发明的其它实施例。在图10中，除了跟踪处理部外，还增加了回转角测量部1010，用于检测图像传感器与初期位置(或前一帧)相比较，回转了多少角度的信息。
因此，由于在由跟踪处理部计算的移动信息中，考虑了所述回转信息，所以求出了真实的移动信息(移动方向)。
例如，当计算出图像传感器与初期位置相比回转了x度时，对于由跟踪处理部计算的移动方向，把补正x度后的移动方向作为真实移动方向来计算。控制器1001使用该真实移动方向来实施图形输入用光标控制、定点用光标控制、签字鉴别或操纵器控制。也可以与回转信息一起作用，进行高度的识别或控制。
用图11来说明本发明的其它实施例。在图11中，除了跟踪处理部外，还增加了扩大缩小测量部1110，用于检测图像传感器与被摄物的距离与初期位置(或前一帧)相比，有多少增减的信息。即，与前一帧相比，被摄物如果被扩大的话，则识别出图像传感器与被摄物的距离接近，反之，如果被摄物被缩小，则识别出图像传感器与被摄物的距离增大。关于距离的变化量，预先测定它与扩大缩小测量部测量的倍率之间的对应关系，再利用该对应关系和扩大缩小测量部求得的倍率来求得该变化量。
控制器1101利用由跟踪处理部求出的移动信息和所述图像传感器与被摄物的距离增减的信息，进行图形输入用光标控制、定点用光标控制、签字鉴别或操纵器控制。具体而言，在图形输入用光标控制的场合中，根据所述移动信息计算出光标的位置，根据所述图像传感器与被摄物的距离来计算判定笔提起/笔落下等。在定点用光标控制的场合中，对应于所述图像传感器与被摄物的距离，也可以不用移动光标。在签字鉴别中，也能够利用图像传感器与被摄物的距离变动信息作为鉴别信息。在操纵器控制中，能够使用图像传感器与被摄物的距离的变动信息，识别图像传感器(或被摄物)的较详细的位置，反映到控制上。
追加如图10中所示的实施例所述的追加回转角测量部，也可进行所述识别及/或控制。
用图12来说明本发明的其它实施例。在图12中，除了跟踪处理部外，还增加了加速度传感器1210，不仅测量图像传感器与被摄物的相对移动信息，还测量(相对于地球)绝对移动信息。
在移动物体上使用本实施例构成的电子设备时，从跟踪处理部求得的移动信息和由加速度传感器所得到的移动信息求得由移动物体引起的振动影响，向由跟踪处理部求得的移动信息反映该影响，以消减由振动引起的不期望的移动信息。
图14表示具有控制图像传感器与环境的相对位置的构成的装置的控制方法的一个例子。假设在当前画面的中央显示的地方是图像传感器的位置所在。一边看该画面，一边从图像传感器所处的当前位置在画面上指示目标位置。基于在位置信息检测装置检测的信号，画面上的指示内容为作为移动距离(距离和方向)算出当前位置＝(x0，y0)与目标位置(x1，y1)的差量＝(dx，dy)后，作为对于所述装置的指示信号。作为其它的目标设定，可以利用向目标位置移动的移动矢量(方向，移动速度等)。
本发明不限于具有图像传感器的装置构成，例如具有车轮的移动装置、控制图像传感器方向的拍摄装置、具有图像传感器的机械手等等。通过向这些装置的驱动系统提供基于前述指示的控制信号，能够控制图像传感器与拍摄环境的相对位置。或者是可搬动型的照相机装置，能够利用手持的位置信息。
图15表示这些装置从当前位置向目标位置的控制特性。在实际的装置构成中，虽然多是需要多元系统的控制，但这里表示的不过是基本的一元位置控制。虽然从一个图像传感器只能得到二元的图像数据，但为了进行位置控制，需变换成供给多元驱动系统的控制信号。这一点，在加强的装置构成中用多元方程式确定关系是不成问题的。即使是非线性元素，也能够根据某种近似处理进行控制信号的变换。如所周知，为了实现响应的即应性和稳定性，还可利用反馈控制系统。本发明在进行所述的目标位置的设定的同时，还在反馈信号的检测中利用所述的图像传感器。
这里，目标位置设定方法能够进行根据画面上鼠标等输入装置的指示。或者，能够把在预先记录好的目标位置上输入的画面数据作为目标位置的指示信号加以利用。即，通过进行从图像传感器输入的图像数据和记录图像数据的匹配处理，算出在画面上的移动距离。所述的记录画面数据，例如是作为一般症状例的特征画面，能够利用该记录画面，实行关于图像传感器所处环境中的存在位置的判定及有无存在的判定等。
图16是表示使用画面数据的反馈控制系统的构成例子的图。使用图像传感器输入控制对象所处环境。所述该图像传感器拍摄的图像数据被提供给向操作者提示用的显示装置和控制用的位置信息检测装置。
操作者的目的是控制具有图像传感器的控制对象的位置，实现容易的目标位置的设定，提高即应性和稳定性。为此，本发明向操作者提供可一边观察画面一边进行位置控制的接口，其特征在于还利用从图像传感器算出的位置信息作为反馈信号并进行控制。当前位置与目标位置的差量作为控制信号被赋予控制对象，对驱动系统进行控制。对于控制系统，使用当前位置与目标位置进行控制，由于能预先设定途中的轨迹，还能够预先算出向驱动系统的控制信号，所以具有提高即应性及稳定性的效果。
操作者的目标位置的设定能够利用一边观察画面一边操作用的鼠标、输入板、操纵杆等。这些输入装置设定的信号为画面上的目标位置或向目标位置移动用的矢量信息(移动方向、移动速度等)等。例如鼠标、输入板等适于位置设定，操纵杆等适于矢量的设定。此外，可以单独或组合利用。另外，在进行这些指示的输入装置中，通过组合生成对应于驱动系统所受的反作用力的信号的机构，能够向操作者反馈动作。
本发明在反馈控制系统方面不限于反馈环的构成。可以是对控制对象利用单一控制信号的单环路，也可以是利用多种控制信号的多环路。例如，操作者通过手动加入指示信号，能够构成使所述图像传感器算出的位置信息多重归还的反馈控制系统。在这种构成中，操作者随着时间的变化任意设定目标位置，能够尽早进行稳定跟踪的控制。
图17是基于预先记录的画面数据进行控制的装置构成。进行记录画面数据和从图像传感器输入的画面数据的相关演算，因而算出相关度最高的场所作为目标位置。作为算出结果的目标位置不仅能够作为控制对象的控制信号利用，还能够作为检测结果向操作者进行提示。
在图像传感器的视野范围小时，可附加能使传感器的视野角度在环境内扫描的检索程序。具体而言，通过使图像传感器的头部摆动，便可变为全范围的拍摄。在相关的演算中，在检测出成为匹配候选的相关性时，因具有向操作者提示该画面位置为候选的手段而能够提高操作性。例如显示装置方面，能够在显示画面中用点、光标、闪烁等签字来显示候选场所的位置。
当然也可通过组合操作者的手动操作来提高检测的精度。
本发明不限定图像传感器的个数。例如图18所示，可具有多个照相机。它具有扩大图像传感器的视野范围、检测三元位置、缩短拍摄时间、缩短环境内的扫描时间的优点。具体而言，VGA(640×480像素)尺寸的图像传感器，一边是数毫米大小，而且多数成本低，所以在构成装置方面不存在问题，反而所述优点更突出。
如图19所示，来自多个图像传感器的输入通过根据开关回路的切换，能够简单地构成处理装置。为了使用来自不同视点的多个图像数据，在利用数字照相机等作为能够控制空间上的位置设定的图像传感器时，因为发生了由透镜系统等引起的图像畸变，所以要对这些图像畸变加以补正后再使用。在此，对此处的畸变的补正的方法和手段不加以限定。
如图20所示的作为一个例子的具有图像传感器的多轴机械手，能够在空间上以多个自由度移动的场合内，能够控制向任意位置的移动。虽然以往多利用旋转编码器等控制回转角度，但根据本发明能够利用由图像传感器输入的位置信息，所以能够利用图像数据进行直至达到目标位置的控制。另外，在本发明中，使用来自图像传感器的图像数据，能够检测出到达目标位置的途中轨迹的障碍物，因此，通过配置回避该障碍物的控制装置，能够辅助多自由度系统的控制。
另外，作为扩大图像传感器的视野范围的办法，可利用图像传感器的扫描。如图21所示，对环境而言，如果图像传感器的视野范围窄，可通过移动拍摄方向输入全部图像数据。使用所述位置信息检测装置从该输入图像数据检测视野位置，并通过在画面再构成装置中合成输入画面，便能够对用单一的图像传感器无法输入的视野范围制成图像数据。合成结果可在存储器准备的虚拟视野范围(存储器画面)中写入。因此，操作者能够从存储器中读出目标位置的周围的图像数据，并在显示装置中显示。
另外，可利用画面的滚动功能，一边任意滚动存储器上的合成画面，一边设定目标位置，生成对应于该目标位置的控制对象的控制信号。
图像传感器的扫描，可通过使用电机驱动系统来使传感器本身实现头部摆动的运动。或者通过所述的多个图像传感器的组合来实现和扫描等价的效果。另外，也能够在所述存储器画面上进行预先记录的画面数据的相关演算。能够进行全部画面的候选点的检测及显示。
下面，使用图28来表示应用于拍摄机、数字照相机的本发明的一个例子。图28表示整体构成。用图像传感器906拍摄的图像通过接口905显示在由液晶驱动器903、LCD904构成的显示部上。拍摄机和数字照相机的用户根据显示所取场景按下拍摄指示按钮3005，来自图像传感器906的图像就存储在存储部908中。这是与现有装置相同的动作。在这里，停止拍摄指示按钮3005的按下时，跟踪处理部909动作，跟踪来自图像传感器906的图像，计算坐标、在文字别部3001进行文字识别。也就是就，用户在想取的图像处按下拍摄指示按钮后，通过启动照相机，就能输入作为对应于所取图像的特征的文字。该文字特征通过附加部3002附加于图像中，并存储在记忆部908中，之后，当检索所需的图像时，能提高效率。该输入文字通过使用美国3COM公司提倡的GRAFITY文字，能用一个笔画输入字母表，具有使识别处理简单的优点。另外，作为文字输入的时机，如果仅限定在图像输入之后，由于在输入连续图像时可能发生时间的损失，所以也可另外设置文字输入按钮，使图像输入指示与文字输入的切换变为可能。
另外，这里所说的环境不限于固定的四边形的房屋，也可以是室外风景画面中的环境、洞窟等周围封闭的环境，随时间变化的不定形的环境等。
根据本发明，可以显示和存储输入的图像、不必新附加鼠标和输入板就能够进行手写文字和图形的输入。
另外，在操纵器的头部安装图像传感器的情况下，对应于动作指令，反馈从图像传感器求得的移动信息，从而能够改善对于操纵器的指令值的动作的跟踪性能。

Claims (48)

1.一种具有图像传感器的电子设备，其特征在于，具有输出由所述图像传感器拍摄的图像的装置，和通过处理由所述图像传感器拍摄的图像来计算图像传感器的移动信息的装置。
2.如权利要求1所述的电子设备，其特征在于：利用计算的移动信息进行定点用光标的控制。
3.如权利要求1所述的电子设备，其特征在于：利用计算的移动信息进行图形输入用光标的控制。
4.如权利要求1所述的电子设备，其特征在于：利用计算的移动信息进行传感器的鉴别。
5.如权利要求1所述的电子设备，其特征在于：利用计算的移动信息进行操纵器的控制。
6.如权利要求2所述的电子设备，其特征在于：根据与按钮的联动，进行点击、双击、拖动的控制。
7.如权利要求2所述的电子设备，其特征在于：根据与声音的联动，进行点击、双击、拖动的控制。
8.如权利要求2所述的电子设备，其特征在于：根据与拍摄图像状态的联动，进行点击、双击、拖动的控制。
9.如权利要求3所述的电子设备，其特征在于：根据与按钮的联动，进行笔提起、笔落下的控制。
10.如权利要求3所述的电子设备，其特征在于：根据与声音的联动，进行笔提起、笔落下的控制。
11.如权利要求3所述的电子设备，其特征在于：根据与拍摄的图像的状态的联动，进行笔提起、笔落下的控制。
12.如权利要求3所述的电子设备，其特征在于：利用输入的图形信息进行文字识别。
13.如权利要求1所述的电子设备，其特征在于：预先拍摄对应于绝对坐标信息的对象物，通过求出所述绝对坐标信息来计算移动信息。
14.如权利要求1所述的电子设备，其特征在于：通过进行连续拍摄的图像的对应点的计算来计算移动信息。
15.如权利要求14所述的电子设备，其特征在于：在连续拍摄的图像内，对一个图像中央附近的部分图像从另一个图像的更大的部分图像中进行检索，以此作对应点计算。
16.如权利要求14所述的电子设备，其特征在于：在连续拍摄的图像内，对一个图像的特征多的部分图像从另一个图像的更大的部分图像中进行检索，以此作对应点计算。
17.如权利要求14所述的电子设备，其特征在于：根据不受照明变动影响的相关演算，进行对应点的计算。
18.如权利要求17所述的电子设备，其特征在于：作为不受照明变动影响的相关演算，进行标准化的相互相关。
19.如权利要求17所述的电子设备，其特征在于：作为不受照明变动影响的相关演算，进行抽出高频成分后的一般化Hough变换。
20.如权利要求14所述的电子设备，其特征在于：对应于求得的图像的回转信息，补正移动信息。
21.如权利要求1所述的电子设备，其特征在于：还具有加速度传感器，对应于从所述加速度传感器输出的信息，补正移动信息。
22.如权利要求1所述的电子设备，其特征在于：在输出由所述图像传感器拍摄的图像时以及在计算移动信息时，变更所述图像传感器的扫描条件。
23.如权利要求22所述的电子设备，其特征在于：所述图像传感器的扫描条件为扫描速度。
24.如权利要求22所述的电子设备，其特征在于：所述图像传感器的扫描条件为扫描区域。
25.如权利要求1所述的电子设备，其特征在于：通过移动电子设备机身，计算所述电子设备的移动信息。
26.一种具有图像传感器的电子设备，其特征在于：具有输出由所述图像传感器拍摄的图像的装置，和通过处理由所述图像传感器拍摄的图像，计算所述图像传感器的被摄物的移动信息的装置。
27.如权利要求26所述的电子设备，其特征在于：利用计算的移动信息进行定点用光标的控制。
28.如权利要求26所述的电子设备，其特征在于：利用计算的移动信息进行图形输入用光标的控制。
29.如权利要求26所述的电子设备，其特征在于：利用计算的移动信息进行传感器的鉴别。
30.如权利要求26所述的电子设备，其特征在于：利用计算的移动信息进行操纵器的控制。
31.如权利要求27所述的电子设备，其特征在于：根据与按钮的联动，进行点击、双击、拖动的控制。
32.如权利要求27所述的电子设备，其特征在于：根据与声音的联动，进行点击、双击、拖动的控制。
33.如权利要求27所述的电子设备，其特征在于：根据与拍摄图像状态的联动，进行点击、双击、拖动的控制。
34.如权利要求28所述的电子设备，其特征在于：根据与按钮的联动，进行笔提起、笔落下的控制。
35.如权利要求28所述的电子设备，其特征在于：根据与声音的联动，进行笔提起、笔落下的控制。
36.如权利要求28所述的电子设备，其特征在于：根据与拍摄的图像的状态的联动，进行笔提起、笔落下的控制。
37.如权利要求28所述的电子设备，其特征在于：利用输入的图形信息进行文字识别。
38.如权利要求26所述的电子设备，其特征在于：从连续拍摄的图像中抽出作为对象的被摄物，通过对所述被抽出的被摄物作对应点计算来计算移动信息。
39.如权利要求26所述的电子设备，其特征在于：预先设定作为对象的被摄物的特征。
40.如权利要求26所述的电子设备，其特征在于：在输出由所述图像传感器拍摄的图像时以及在计算移动信息时，变更所述图像传感器的扫描条件。
41.如权利要求40所述的电子设备，其特征在于：所述图像传感器扫描条件为扫描速度。
42.如权利要求40所述的电子设备，其特征在于：所述图像传感器扫描条件为扫描区域。
43.如权利要求26所述的电子设备，其特征在于：通过在所述图像传感器的视野内移动第三物体，计算该第三物体的移动信息。
44.一种电子设备，具有图像传感器、显示由所述图像传感器拍摄的图像的显示部和存储由所述显示部显示的信息的存储部，其特征在于：对由所述图像传感器拍摄的图像的移动信息进行文字识别，将所述识别结果作为属性附加到拍摄的图像的手段。
45.如权利要求44所述的电子设备，其特征在于：使用表达英文数字的符号作为属性。
46.如权利要求45所述的电子设备，其特征在于：将属性作为表达1个字符的英文数字的符号而使用Grafity字符。
47.如权利要求44所述的一种电子设备，其特征在于：具有切换拍摄图像的方式和输入记号的方式的按钮。
48.如权利要求47所述的一种电子设备，其特征在于：具有指示图像拍摄的按钮、和在解除所述指示图像输入的按钮时，在预先设定的一定时间内切换为输入记号的方式的装置。
CN01117048A 2000-12-25 2001-02-28 应用图像传感器的电子设备 Pending CN1361466A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000391813A JP2002196877A (ja) 2000-12-25 2000-12-25 イメージセンサを用いた電子機器
JP391813/00 2000-12-25

Publications (1)

Publication Number Publication Date
CN1361466A true CN1361466A (zh) 2002-07-31

Family

ID=18857900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01117048A Pending CN1361466A (zh) 2000-12-25 2001-02-28 应用图像传感器的电子设备

Country Status (6)

Country Link
US (1) US20020080239A1 (zh)
EP (1) EP1220143A3 (zh)
JP (1) JP2002196877A (zh)
KR (1) KR20020052217A (zh)
CN (1) CN1361466A (zh)
NO (1) NO20011052L (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100383717C (zh) * 2004-11-08 2008-04-23 三星电子株式会社 便携式终端及用于其的数据输入方法
CN101002165B (zh) * 2004-08-12 2010-06-23 皇家飞利浦电子股份有限公司 用于控制显示器的方法和系统
CN101877067A (zh) * 2009-11-16 2010-11-03 北京中星微电子有限公司 基于摄像装置的手写输入的方法和系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023499B2 (en) * 2001-09-21 2006-04-04 Williams Cassandra S Television receiver with motion sensor
DE50203474D1 (de) * 2001-12-21 2005-07-28 Siemens Ag Vorrichtung zum erfassen und darstellen von bewegungen
US7139034B2 (en) * 2002-04-04 2006-11-21 Princeton Video Image, Inc. Positioning of a cursor associated with a dynamic background
US7319860B2 (en) * 2002-11-07 2008-01-15 Research In Motion Limited Pseudo-interactive input processing in wireless environments
US7940986B2 (en) 2002-11-20 2011-05-10 Koninklijke Philips Electronics N.V. User interface system based on pointing device
KR100623080B1 (ko) * 2002-12-10 2006-09-11 주식회사 애트랩 움직임 값의 정확도가 개선된 광마우스 및 그 제어방법
JP2004287731A (ja) * 2003-03-20 2004-10-14 Nec Corp ポインティング装置およびそれを備えた携帯機器
JP2004354134A (ja) * 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> 三次元位置検出装置，三次元位置検出方法および三次元位置検出プログラム
GB2404819A (en) 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
FR2859800B1 (fr) * 2003-09-12 2008-07-04 Wavecom Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
JP2005095407A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2005095405A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
EP1524588A1 (en) * 2003-10-15 2005-04-20 Sony Ericsson Mobile Communications AB User input device for a portable electronic device
US7364081B2 (en) * 2003-12-02 2008-04-29 Hand Held Products, Inc. Method and apparatus for reading under sampled bar code symbols
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
KR100705510B1 (ko) * 2004-03-16 2007-04-10 김성규 객체의 추적정보를 이용한 제어 장치 및 그 방법
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
KR100679401B1 (ko) * 2004-07-05 2007-02-05 에스케이 텔레콤주식회사 무선 단말기의 카메라를 이용한 영상 입력 시스템 및 그방법
US20060238508A1 (en) * 2005-04-22 2006-10-26 Tong Xie Optical location measuring system
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7864982B2 (en) * 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
KR100751093B1 (ko) * 2005-12-29 2007-08-21 엠텍비젼 주식회사 디지털 처리 장치의 입력 장치 및 방법
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
DE102006020563A1 (de) * 2006-05-03 2007-11-08 Benq Mobile Gmbh & Co. Ohg Bewegungserkennung mit einem Kamerahandy
KR100855471B1 (ko) * 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
US8726154B2 (en) * 2006-11-27 2014-05-13 Sony Corporation Methods and apparatus for controlling transition behavior of graphical user interface elements based on a dynamic recording
KR100805254B1 (ko) * 2006-12-01 2008-02-21 주식회사 애트랩 광 포인팅 장치 및 이 장치의 데이터 전송 방법
JP4918376B2 (ja) * 2007-02-23 2012-04-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP5060798B2 (ja) * 2007-02-23 2012-10-31 任天堂株式会社 情報処理プログラムおよび情報処理装置
UA92597C2 (uk) * 2007-07-19 2010-11-25 Юрий Маркович Боянжу Спосіб безконтактного керування комп'ютером (варіанти)
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
JP5200800B2 (ja) * 2008-09-16 2013-06-05 富士ゼロックス株式会社 撮影装置及び撮影システム
JP5353196B2 (ja) * 2008-11-17 2013-11-27 株式会社リコー 移動計測装置および移動計測プログラム
JP5233606B2 (ja) * 2008-11-19 2013-07-10 富士通株式会社 絶対移動経路算出装置及び方法、並びにプログラム
EP2219367B1 (en) * 2009-02-16 2011-12-21 Research In Motion Limited Using gravity to direct a rotatable camera in a mobile device
US8159363B2 (en) 2009-02-16 2012-04-17 Research In Motion Limited Using gravity to direct a rotatable camera in a handheld electronic device
US20130293466A1 (en) * 2011-03-30 2013-11-07 Honda Motor Co., Ltd. Operation device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5149980A (en) * 1991-11-01 1992-09-22 Hewlett-Packard Company Substrate advance measurement system using cross-correlation of light sensor array signals
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
KR960028217A (ko) * 1994-12-22 1996-07-22 엘리 웨이스 움직임 검출 카메라 시스템 및 방법
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US6668244B1 (en) * 1995-07-21 2003-12-23 Quartet Technology, Inc. Method and means of voice control of a computer, including its mouse and keyboard
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
AU2211799A (en) * 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
US6151015A (en) * 1998-04-27 2000-11-21 Agilent Technologies Pen like computer pointing device
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6844871B1 (en) * 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US6836555B2 (en) * 1999-12-23 2004-12-28 Anoto Ab Information management system with authenticity check
US6650320B1 (en) * 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US6664948B2 (en) * 2001-07-30 2003-12-16 Microsoft Corporation Tracking pointing device motion using a single buffer for cross and auto correlation determination

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002165B (zh) * 2004-08-12 2010-06-23 皇家飞利浦电子股份有限公司 用于控制显示器的方法和系统
CN100383717C (zh) * 2004-11-08 2008-04-23 三星电子株式会社 便携式终端及用于其的数据输入方法
US8311370B2 (en) 2004-11-08 2012-11-13 Samsung Electronics Co., Ltd Portable terminal and data input method therefor
CN101877067A (zh) * 2009-11-16 2010-11-03 北京中星微电子有限公司 基于摄像装置的手写输入的方法和系统
CN101877067B (zh) * 2009-11-16 2015-03-04 北京中星微电子有限公司 基于摄像装置的手写输入的方法和系统

Also Published As

Publication number Publication date
EP1220143A3 (en) 2006-06-07
NO20011052L (no) 2002-06-26
US20020080239A1 (en) 2002-06-27
KR20020052217A (ko) 2002-07-03
JP2002196877A (ja) 2002-07-12
EP1220143A2 (en) 2002-07-03
NO20011052D0 (no) 2001-03-01

Similar Documents

Publication Publication Date Title
CN1361466A (zh) 应用图像传感器的电子设备
CN101730876B (zh) 使用相机和输出标记的指点装置
US8094204B2 (en) Image movement based device control method, program, and apparatus
RU2369901C2 (ru) Местная локализация с использованием быстрого согласования изображений
JP3830956B1 (ja) 情報出力装置
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
CN1322329B (zh) 采用扫描传感器的输入设备
EP1507196B1 (en) Mobile device with on-screen optical navigation
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US20100103092A1 (en) Video-based handwritten character input apparatus and method thereof
CN1474260A (zh) 采用具有任选双模能力的图像传感器的无源光鼠标
KR100562632B1 (ko) 보급형 장치를 위한 수기 인식 시스템 및 수기 인식의동적 수행 방법
JPH0757103A (ja) 情報処理装置
Wang et al. TinyMotion: camera phone based interaction methods
US9785253B2 (en) Pointing device using camera and outputting mark
CN110334576B (zh) 一种手部追踪方法及装置
CN111782041A (zh) 打字方法及装置、设备、存储介质
Liu et al. Fast camera motion estimation for hand-held devices and applications
WO2019130729A1 (ja) 情報処理装置、情報処理方法および情報処理システム
JP2004072240A (ja) 撮像装置とそれを用いた追尾システムおよびスキャナ
US7382935B2 (en) Homogeneous and plain surface detection in optical navigation systems
Iflachah et al. Coil gun turret control using a camera
CN116092174A (zh) 姿势识别方法、设备及存储介质
KR20040010453A (ko) 영상의 위치정보 입력 신호처리 장치 및 방법
WO2005045658A1 (ja) 位置検出装置及び位置検出方法

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication