CN1934584A - 显示控制方法及装置、程序以及便携设备 - Google Patents

显示控制方法及装置、程序以及便携设备 Download PDF

Info

Publication number
CN1934584A
CN1934584A CNA2005800088628A CN200580008862A CN1934584A CN 1934584 A CN1934584 A CN 1934584A CN A2005800088628 A CNA2005800088628 A CN A2005800088628A CN 200580008862 A CN200580008862 A CN 200580008862A CN 1934584 A CN1934584 A CN 1934584A
Authority
CN
China
Prior art keywords
image
mentioned
equipment
mentioned object
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800088628A
Other languages
English (en)
Other versions
CN100461212C (zh
Inventor
本村秀人
菰渊宽仁
金森克洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1934584A publication Critical patent/CN1934584A/zh
Application granted granted Critical
Publication of CN100461212C publication Critical patent/CN100461212C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种显示控制方法和显示控制装置，可以通过简单的结构检测设备的位置或朝向，并根据检测出的设备的位置或朝向简单地控制显示图像的显示。在设备(20)中安装有两个摄像机(21，22)。用户(10)手持设备(20)，由第一摄像机(21)对含有自己的脸的第一图像进行摄像，并且由第二摄像机(22)对含有对面侧情景的第二图像进行摄像。显示控制部(30)从第一图像提取脸部特征，并且从第二图像提取情景特征点，将它们与基准图形等进行比较，以计算到设备(20)的距离ro以及设备(20)的方向θo，Φo，并根据计算出的距离ro和方向θo，Φo控制显示图像的显示。

Description

显示控制方法及装置、程序以及便携设备
技术领域
本发明涉及一种使用图像计测和图像识别的显示控制方法，特别是，涉及一种使用摄像机的摄影图像检测安装有摄像机的设备的位置或朝向，并根据检测出的设备的位置或朝向对显示进行控制的技术。
背景技术
近年来，由于互联网的普及形成了计算机和家电设备相互连接，远程操作或媒体融合等，即无处不在的网络(ubiquitous network)社会。其特征是无论什么时候无论在哪里实现通信的自由度提高，用户可以不用理会设备的差别和设备的物理距离等而进行行动。无处不在的网络社会的实现，首先作为系统侧网络连接是必要条件，用户和设备之间的所谓用户接口的高自由度是前提条件。即使连接了作为硬件、软件的设备，如果使用这些设备的用户不能与系统自由地通信，也不能实现无处不在。即，需要系统使用方便，即提高可用性(usability)的技术。
实现提高系统可用性的直接感觉方式的操作方法，需要系统自动地理解用户的意图，其实现，例如需要有效的检测接口装置的位置或朝向的技术。
作为这种接口装置的一个例子，有指示标记(pointing marker)。例如，在专利文献1中，用户手里拿着与本身亮度或颜色不同的物体(蓝色LED等)作为指示标记。系统通过摄像传感器检测指示标记的位置，并对应于检测出的位置操作显示影像。由此，用户不需要理解系统的操作方法，就可以以直接感觉的方式、以身体感觉的方式与系统通信。
此外，还有利用与被摄体的亮度或颜色的不同，从摄像图像中提取标记的方法(例如，参见专利文献2)。比较预先摄像的基准标记的位置与当前标记的位置，检测被摄体与摄像传感器的距离。用户在系统起动时执行规定的初始化处理并登录基准标记即可，此后，系统逐个地检测摄像的标记的位置变化，自动地获取被摄体与摄像传感器的距离。
此外，在利用计算机图形学构造的虚拟空间内，提供用户就像在直接操作实物那样的感觉，即所谓的虚拟现实系统中，用户可以不考虑设备，直接控制虚拟空间。例如，如果用户三维地移动手持的便携型显示器，则系统侧通过加速度传感器等检测其移动，并配合动作切换显示图像(例如，参见专利文献3)。通过手持的显示器位置或朝向的变化可以以直接感觉的方式将虚拟现实空间内的视点变化提供给系统。
专利文献1：日本专利特开2001-356875号公报(图1)
专利文献2：日本专利特开2000-230806号公报(图1)
专利文献3：日本专利特开平11-18025号公报(图11)
然而，首先在专利文献1的技术中，必须准备特别的标记，通用性差，具有使用情景受限制的问题。即，由于为了检测标记要利用与被摄体的亮度或颜色的差异，所以作为标记，例如需要提供比任何一种被摄体都要明亮的或任何一种被摄体中都不含有的颜色。
此外，在专利文献2的技术中，通过一个摄像传感器捕捉多个标记，并检测被摄体与摄像传感器的距离。然而，不能检测摄像传感器的三维位置。即，由于在同样距离的球面上作为全部的位置信息被相同地处理，所以在可用性方面具有问题。
另一方面，在专利文献3的技术中，利用加速度传感器等，不需要对标记进行摄像，在系统构成的通用性方面良好。然而，例如加速度传感器不能应对等速运动，所以在传感器灵敏度方面有问题。在这一点上，虽然通过磁传感器或超声波传感器等多角度地检测补充位置、朝向信息的所谓传感器使用(センサ一ユ一ジヨン)是有效的，但是追加传感器，在使系统的成本提高的同时，也使设备的体积和重量增加。此外，由于传感器常时动作的情况很多，所以传感器数量的增加，引起设备消耗的电力上升，特别对于便携型设备尤其成为问题。
发明内容
因此，本发明是鉴于上述问题提出的，其目的在于提供一种显示控制方法以及显示控制装置，通过简单的结构就可以检测设备的位置或朝向，并根据检测出的设备的位置或朝向简单地控制显示图像的显示。
为了实现上述目的，根据本发明的显示控制方法，其根据安装有几何关系已知的第一和第二摄像机的设备的位置，控制显示图像的显示，其特征在于：上述第一摄像机对含有图像特征已知的对象物的第一图像进行摄像；上述第二摄像机对含有上述对象物周围的情景的第二图像进行摄像；从上述第一图像提取上述对象物的图像特征；将提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算从上述对象物到上述设备的距离；从上述第二图像提取上述第二图像的图像特征；使用从上述第一图像提取出的上述对象物的图像特征和从上述第二图像提取出的上述第二图像的图像特征中的至少任意一个，计算从上述对象物看到的上述设备的方向；根据计算出的从上述对象物到上述设备的距离、以及上述设备的方向，控制上述显示图像的显示。
发明的效果
根据本发明，由于可以通过两个摄像机检测设备的位置或朝向，所以可以抑制用于检测所需的设备的体积和重量的增加，可简单地控制显示图像的显示。此外，可以将消耗的电力抑制得很低。
附图说明
图1是表示根据本发明的一个实施方式的显示控制方法的执行状态的图。
图2是用于表示基于图1状态的相对座标的表现的概念图。
图3是用于表示设备的朝向的表现的概念图。
图4是表示本发明一个实施方式的显示控制装置的结构的方框图。
图5是用于说明到设备的距离的检测方法的一个例子的图。
图6是用于说明设备的方向的检测方法的一个例子的图。
图7是用于说明设备的朝向的检测方法的一个例子的图。
图8是用于说明放大或缩小显示的控制的图。
图9是用于说明显示方向的变化显示的控制的图。
图10是图4结构的变形例子的图。
图11是图4结构的变形例子的图。
符号说明
10用户
20便携电话(设备)
21自身侧摄像机(第一摄像机)
22他人侧摄像机(第二摄像机)
30，30A，30B显示控制装置
31脸部特征提取部(第一特征提取部)
32a，37a大小比较部
32b，37b位置比较部
32c，37c形状比较部
33，38，42存储器
34，34A距离计算部
35，35A方向计算部
36情景特征提取部(第二特征提取部)
39，39A，39B朝向计算部
41显示控制部
43图像存储部
44显示部
IM1第一图像
IM2第二图像
具体实施方式
本发明实施方式的显示控制方法，根据安装有几何关系已知的第一和第二摄像机的设备的位置，控制显示图像的显示，其特征在于：上述第一摄像机对含有图像特征已知的对象物的第一图像进行摄像；上述第二摄像机对含有上述对象物周围的情景的第二图像进行摄像；从上述第一图像提取上述对象物的图像特征；将提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算从上述对象物到上述设备的距离；从上述第二图像提取上述第二图像的图像特征；使用从上述第一图像提取出的上述对象物的图像特征和从上述第二图像提取出的上述第二图像的图像特征中的至少任意一个，计算从上述对象看到的上述设备的方向；根据计算出的从上述对象物到上述设备的距离、以及上述设备的方向，控制上述显示图像的显示。
由此，根据由第一摄像机摄像的、含有图像特征已知的对象物的第一图像，计算出从对象物到设备的距离，并且根据由第二摄像机摄像的第二图像，计算出从对象物到看到的设备的方向。即，通过两个摄像机，可以检测出以对象物为基准的该设备的距离和方向、即三维位置。并且，可以通过该设备的三维位置简单地控制显示图像的显示。
这里，上述对象优选是使用上述设备的用户的脸。由此，用户手持设备，仅通过由第一摄像机对自己的脸进行摄像、并且由第二摄像机对周围的风景进行摄像，就可以计算出以自身脸部为基准的设备的三维位置。
此外，在计算上述设备的方向时，也可以将从上述第二图像提取出的上述第二图像的图像特征与从由上述第二摄像机拍摄的过去的图像中提取出的图像特征进行比较，以计算上述设备的方向。此外，在计算上述设备的方向时，也可以将从上述第一图像提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算上述设备的方向。
此外，上述显示控制方法还可以使用从上述第一图像提取出的上述对象物的图像特征和从上述第二图像提取出的上述第二图像的图像特征中的至少任意一个，计算上述设备相对于上述对象物的朝向；在控制上述显示图像的显示时，根据计算出的从上述对象物到上述设备的距离、上述设备的方向以及上述设备的朝向，控制上述显示图像的显示。由此，不仅可以根据设备的三维位置、还可以根据设备的朝向简单地控制显示图像的显示。
此外，本发明不仅可以实现为这种显示控制方法，而且可以实现为以这种显示控制方法含有的特征化步骤为手段的显示控制装置，还可以实现为使计算机执行这些步骤的程序。而且，这种程序当然也可以通过CD-ROM等的存储媒体或互联网等的传输媒体进行发送。
下面，参照附图说明本发明的实施方式。
图1是表示执行本发明一个实施方式的显示控制方法的情况的图。在图1中，作为根据本发明的设备的便携电话20，安装有作为几何关系已知的第一和第二摄像机的自身侧摄像机21和他人侧摄像机22，而且实现了根据便携电话20的位置和朝向切换显示影像的交互式显示系统。
用户10手持便携电话20看着画面(图示中省略)的影像。在安装在便携电话20的两个摄像机21，22中，自身侧摄像机21作为图像特征已知的对象对用户10的脸部进行摄像。另一方面，对方侧摄像机22与自身侧摄像机共用光轴，摄像方向向着相反侧。因此，用户10不会进入对方侧摄像机22的摄像视场角，对方侧摄像机22对用户10对面侧的情景进行摄像。在便携电话20的内部，安装有作为后述的位置检测装置的位置朝向检测电路30，该位置朝向检测电路30检测由用户10的手的动作决定的便携电话20的位置和朝向。在画面中显示与便携电话20的位置和朝向对应的影像，用户10通过移动便携电话20可以自由地选择想看到的影像。
便携电话由于其便携性，在显示部(显示器)的大小方面具有自身局限，在可显示的图像尺寸方面具有上限。因此，在便携电话的显示器中显示面向电视或计算机的广泛流通的图像、影像的情况下，产生不容易读取细节的视觉识别性的问题。为了提高视觉识别性，以关注点为中心放大图像即可，但是此时，如果通过代替按钮和拨号盘改变便携电话的位置和朝向，可以以直接感觉的方式实现图像放大，则提高了便利性。此外，在确认了细节之后，在想要再一次看到整个图像的情况下，若通过改变便携电话的位置或朝向可以直接地改变显示影像的大小或截出范围，则在操作性方面非常有效。交互式显示系统中的影像切换功能并不局限于图像的放大、缩小，还可以适用于映出的被摄体的朝向或照亮被摄体的照明的阴影变化等各种功能，可以大大地实现影像的表现力、真实性、视觉识别性等。
如图1所示，便携电话20的位置通过以用户10的两个眼睛的中心为旋转中心的旋转坐标系来表示。从旋转中心到便携电话20的距离为ro，相对于位置座标法线NL的水平方向的旋转角度为θo，相对于位置座标法线NL的垂直方向的旋转角度为Фo。
图2是用于表示基于相对座标的表现的示意图。如图2所示，使便携电话20画面的可读距离的最短位置为距离ro＝0.0，用户10的手臂延伸的最远位置为距离ro＝1.0。此外，在用户10手持便携电话20的手臂左右摆动的范围内，右端为θo＝1.0，左端为θo＝-1.0，位置座标法线NL的方向为θo＝0.0。同样地，在用户10手持便携电话20的手臂上下摆动的范围内，上端为Фo＝1.0，下端为Фo＝-1.0，位置座标法线NL的方向为Фo＝0.0。
此外，上述位置座标定义是一个例子，本发明并不限制位置座标的定义方法。
图3是用于表示便携电话20的朝向的表现的概念图。如图3所示，便携电话20(图3中是示意性的表示)的朝向，用与基准面的水平方向的角度和垂直方向的角度来表示。基准面可以任意设定，在图3中，初始状态下是由摄像的用户10的两眼和鼻子的位置决定的面RS。图3的便携电话20的朝向由与基准面RS的水平方向的角度θc和垂直方向的角度Фc来表示。此外，旋转中心不局限于两个眼睛的中央，也可以设定为用户10的旋转中心附近。
图4是表示本发明一个实施方式的显示控制装置的结构的方框图。图4的显示控制装置30根据作为自身侧摄像机21的摄像图像的第一图像IM1、和作为对方侧摄像机22的摄像图像的第二图像IM2，计算便携电话20的位置(ro，θo，Фo)和朝向(θc，Фc)，并对显示图像的显示进行控制。显示控制装置30包括如图4所示的脸部特征提取部31、大小比较部32a、位置比较部32b、形状比较部32c、存储器33、距离计算部34、方向计算部35、情景特征提取部36、大小比较部37a、位置比较部37b、形状比较部37c、存储器38、朝向计算部39、以及显示控制部41。此外，由大小比较部32a、存储器33以及距离计算部34构成第一计算单元，由位置比较部37b、形状比较部37c、存储器38和方向计算部35构成第二计算单元。
作为第一特征提取单元的脸部特征提取部31从第一图像IM1中，以眼睛、鼻子、嘴等的脸的部位为中心提取脸部特征点，输出脸部特征信号S1。脸部特征信号S1分别被提供给大小比较器32a、位置比较部32b以及形状比较部32c。在存储器33中存储有预先提取的脸部特征点作为基准图形。作为第二特征提取单元的情景特征提取部36从第二图像IM2提取情景特征点，并输出情景特征信号S2。情景特征信号S2被分别被提供给大小比较部37a、位置提取部37b以及形状提取部37c。在存储器38中存储有从过去的图像提取出的特征点、或标记图形的信息。
大小比较部32a比较从脸部特征信号S1得到的图像特征(标记图形)与存储在存储器33中的基准图形的大小。距离计算部34根据大小比较部32a的比较结果计算距离ro。
图5是用于说明求距离ro的方法的一个例子的图。在图5的例子中，在瞳孔的中心设脸部特征点，将连接瞳孔中心之间的线段设定为标记图形。在存储器33中预先存储有连接从在距离ro＝0.0的位置拍摄的图像A1得到的瞳孔中心之间的线段L1、和连接从在ro＝1.0的位置拍摄的图像A2得到的瞳孔中心之间的线段L2，作为基准标记图形。线段L1的长度为(de，near，base)，线段L2的长度为(de，far，base)。此时，如果从脸部特征点信号S1所得到的连接瞳孔中心之间的线段的长度(瞳孔间距离)为de，则距离ro由下式表示。
Ro＝(de，near，base-de)/(de，near，base-de，far，base)
由于在自身侧摄像机21拍摄的摄像图像IM1中总是出现用户10的脸，所以如果是这种设定连接瞳孔中心之间的线段为标记图形的方法，则与从任意的摄像情景提取标记的情况相比，可以实现稳定的检测。
此外，这里，虽然使用距离ro＝0.0，1.0两个位置的标记图形作为初始数据，但是初始数据的提供和距离ro的计算并不局限于上述方法。例如，也可以在便携电话接通电源后的系统初始化时进行瞳孔检测，以该瞳孔间距离作为基准，计算瞳孔间距离的变化倍率，利用距离ro的变化倍率也可以。
此外，这里，虽然利用连接瞳孔中心的线段作为标记图形，作为其大小使用线段的长度，但是对于标记图形的种类、尺寸、个数以及其大小的定义，也可以考虑各种情况。
另一方面，便携电话20的方向、即角度θo、Фo，由自身侧摄像机21和对方侧摄像机22协同检测是有效的。图6表示在水平方向移动了便携电话20的情况下(角度θo)，由自身侧摄像机21和对方侧摄像机22摄像的图像的图形。在图6中，在用户10的眼睛前面的桌子上放置有铅笔、笔记本和马克杯。
即，由于自身侧摄像机21常时反映出作为旋转中心的用户10，所以即使在便携电话20在水平方向移动了的情况下，由自身侧摄像机21也可得到大致相同的影像(图像C1，C2，C3)。当然，由于是手的移动，所以与机器手臂的机械旋转不同，图像C1～C3不会是完全相同的影像，为此，标记图形的位置大体互不相同。但是，由于这种差别并不是那么大，所以在从图像C1～C3检测角度θo的情况下，其分辨率降低。
另一方面，由于对方侧摄像机22捕获用户10所面对侧的情景，因此如图像B1，B2，B3所示，得到的影像对应于便携电话20的移动大幅度变化。这里，从图像B2，使用笔记本或铅笔的边缘的亮度差等提取特征点，开始角度θo检测。此后，如果用户10使便携电话20向左手侧移动，则如图像B1所示，笔记本的一部分从图像中消失，整个铅笔反映出来。相反地，如果使便携电话20向右手侧移动，则如图像B3所示，马克杯在图像中出现。于是，多点地、并行地执行伴随着对方侧摄像机22的移动的特征点追踪。由此，即使一部分特征点从图像中消失，也可以从其他的特征点检测角度θo。此外，当从图像中出现的物体检测出新的特征点时，将其追加至特征点追踪的对象。这样，通过追踪由对方侧摄像机22摄像的图像中的特征点，即，通过将从第二图像IM2中提取的图像特征与从过去的图像中提取的图像特征进行比较，可以高分辨率地检测出角度θo。但是，由于对方侧摄像机22中所摄像的物体是任意的，因此比起通常对脸部图像进行摄像的自身侧摄像机21，缺少特征检测的稳定性。
即，由于自身侧摄像机21常对用户10的脸部进行摄像，因此虽然标记的检测稳定，但是由于移动量小，不容易精细地检测角度θo。另一方面，由于对方侧摄像机22的摄像图像大幅度变化，所以特征点的移动量大，可以精细地计算出角度θo，但是由于摄像的情景是任意的，所以标记检测的精度可能不稳定。
由此，由于自身侧摄像机21和对方侧摄像机22一同在角度θo的检测中具有优点和缺点，所以通过相互补充动作，可以使检测精度提高。例如，当在对方侧摄像机22的图像中的特征点的检测失败时，可以利用自身侧摄像机21，通过从自身侧摄像机21的图像检测角度θo，直到恢复对方侧摄像机22的图像中的特征点的检测即可。
此外，例如也可以使用分别由自身侧摄像机21的图像和对方侧摄像机22的图像计算出的角度θo的平均值。此外，例如也可以在分别由自身侧摄像机21的图像和对方侧摄像机22的图像计算出的角度θo中，不使用与过去的历史或规定的阈值相比为特异值的值。
垂直方向的旋转角度Фo也可以与水平方向的旋转角度θo同样检测。此外，由于自身侧摄像机21的影像与水平方向的移动相比变化大，因此认为多少提高了检测精度。但是，自身侧摄像机21和对方侧摄像机22的优缺点的关系与水平方向相同，因此，为了提高位置检测精度，通过补充动作的协同处理是有效的。
即，方向计算部35使用由位置比较部32b得到的比较结果、和由位置比较部37b得到的比较结果，计算出角度θo，Фo，即便携电话20的方向。
两台摄像机的摄像影像的协同处理在距离ro的检测中也是有效的。即，可以由第二图像IM2使用标记图形的大小变化计算距离ro。此外，虽然从任意的情景提取标记图形，因此具有检测不稳定的可能性，但是由于具有从第一图像IM1提取标记因某种原因而失败的可能性，所以从第二图像IM2检测距离作为后备是有效的。
此外，便携电话20的朝向可以通过标记图形的位置比较或形状比较来检测。图7表示在便携电话20的朝向变化后由自身侧摄像机21摄像的影像的图像。在图7中，图像D1是便携电话20在水平方向旋转角度θc时的影像。在图像D1中，用户10在图像的横向(在该例子中是右侧)移动。图像D2是便携电话20在垂直方向移动Фc时的影像。在图像D2中，用户10在图像的纵向(在该例子中是上)移动。
由此，如果求出标记图形(例如肩的边缘)的位置的移动量，则可以检测便携电话20的朝向。此外，如果观注标记图形的形状，则由于朝向的变化，图形变为扁平的，例如圆形变为椭圆形。于是，根据标记图形的变化检测便携电话20的朝向是可能的。同样，根据对方侧摄像机22的摄像图像也可以检测便携电话20的朝向。
即，朝向计算部39使用位置比较部32b和形状比较部32c的比较结果、以及位置比较部37b和形状比较部37c的比较结果，计算角度θc，Фc，即便携电话20的朝向。
此外，也有在由自身侧摄像机21摄像的第一图像IM1中，用户10的脸部的背景中的照明作为标记有效的情况。这种情况也可以将第一图像IM1提供给情景特征点提取部36，来提取标记图形。
显示控制部41将存储在由用户10选择的图像存储部43中存储的图像显示在显示部44中。此外，显示控制部41根据由距离计算部34计算的距离ro、由方向计算部35计算的角度θo、Фo、以及由朝向计算部39计算的角度θc、Фc，控制在显示部44中显示的图像(显示图像)的显示。此外，也可以在图像存储部43中预先存储摄像的朝向或大小不同的多个图像。
图8是用于说明放大或缩小显示的控制的图。这里，假设在显示部44中首先显示的是显示图像E。显示控制部41根据由距离计算部34计算的距离ro，进行将在图8中示出的显示图像E放大或缩小后进行显示的控制。即，如果由用户10移动便携电话20，例如缩短距离ro，则显示控制部41进行控制使得如图8示出的显示图像E1所示放大图像来进行显示。另一方面，例如，如果距离ro变长，则显示控制部41进行控制使得如图8示出的显示图像E2所示缩小图像来进行显示。此外，显示控制部41通过由朝向计算部39计算的角度θc，Фc，控制放大或缩小显示图像E时的中心位置。
图9是用于说明显示方向的变化显示的控制的图。这里，假设在显示部44上首先显示显示图像E。显示控制部41根据由方向计算部35计算的角度θo，Фo，进行改变图9中所示的显示图像E的显示方向来显示的控制。即，如果由用户10移动便携电话20，例如向右移动(角度θo为正方向)，则显示控制部41进行控制使得如图9中示出的显示图像E3那样显示从右方看见的图像。另一方面，例如当向左(角度θo为负方向)，则显示控制部41进行控制使得如显示图像E4那样显示从左方看见的图像。此外，例如如果向上方移动(角度Фo为正方向)，则显示控制部41进行控制使得如显示图像E5那样显示从下看见的图像。另一方面，例如如果向下(角度Фo为负方向)移动，则显示控制部41进行控制使得如显示图像E6那样显示从上看见的图像。
此外，如上所述由用户10从初始位置移动便携电话20，显示控制部41根据从该初始位置起的移动量(相对值)控制着显示图像的显示，但是并不局限于此。例如，显示控制部41也可以根据由距离计算部34计算出的距离ro、由方向计算部35计算出的角度θo、Фo、以及由朝向计算部39计算出的角度θc、Фc的原样的值(绝对值)，控制显示图像的显示。
此外，虽然显示控制部41将存储在图像存储部43的图像显示到显示部44，但是也可以不只是便携电话20所具备的图像存储部43中存储的图像，而是对如在线购物的图像等通过互联网等网络取得的图像的显示进行控制。
此外，显示控制部41在控制显示图像的显示时，也可以不使用摄影的方向或大小不同的多个图像，而是通过将一个图像存储在存储器42中，并对该图像进行图像处理来对显示图像的显示进行控制。
图10是表示位置朝向检测电路的其它结构的方框图。在本实施方式中，为了在以用户10为旋转中心的旋转座标系中记述便携电话20的位置，如图6中说明的，便携电话20的方向的检测优选使用由对方侧摄像机22拍摄的第二图像IM2。从这个观点来看，与图4的结构相比，图10的结构大幅度削减电路规模。
即，在图10的位置朝向检测电路30A中，根据对方侧摄像机22摄像的第二图像IM2，利用位置比较部37b和方向计算部35A检测角度θo，Фo。由于对于朝向θc，Фc，标记图形的位置不同通过位置比较部37b计算，所以利用此方法，通过朝向计算部39A检测。另一方面，由于从脸部图像提取标记是稳定的，所以利用自身侧摄像机21摄像的第一图像IM1检测距离ro。
图11是表示位置朝向检测电路的其它结构的方框图。作为检测的关键的标记，与任意的被摄体相比，可以更高精度地检测特定的对象物。因此，在图11的结构中，通过使从脸部图像提取标记的处理优先，与图4的结构相比，大幅度削减电路规模。
即，在图11的位置检测电路30B中，根据由对方侧摄像机22摄像的第二图像IM2，利用位置比较部37b和方向计算部35执行角度θo，Фo的检测。另一方面，距离ro和朝向θc、Фc，是根据自身侧摄像机21摄像的第一图像IM1，利用大小比较部32a、距离计算部34A以及朝向计算部39B检测脸部图像作为标记图形。
还有，在本实施方式中，虽然针对用户10用手移动便携电话20的情况为例进行的说明，但是设备的移动方法是任意的，本发明对此没有限制。
此外，虽然两个摄像机的位置严格来讲是不同的，但是通常由于摄像机是小型的，所以可以忽视该不同。假设即使在不能忽视的情况下，也可以通过两个摄像机的几何位置换算来修正即可，也可以有采用两个摄像机位置的平均值的情况。
还有，在本实施方式中，自身侧摄像机21和对方侧摄像机22的光轴是一致的。当光轴一致时，两个摄像机21，22是几何学上最简单的位置关系。即，这是使两个摄像机21，22间的几何变换简单化的构想。但是，在本发明中，两个摄像机的光轴不必是一致的，只要几何关系是已知的，两个摄像机可以是任意的位置关系。
此外，在本实施方式中，虽然使用的是两个摄像机，但是例如也可以通过一台广角摄像机，覆盖大视野地摄像。即，两个摄像的图像中，其中一个含有图像特征已知的对象物即可。
产业上的可利用性
本发明由于可通过两个摄像机这样的简单结构实现，所以可以容易地导入便携型设备中。通过逐个将对应检测出的设备位置或朝向的影像显示在显示器中，即使在显示器的显示面积小的情况下，由于用户以显示器为窗口，看见被摄体的全部，或者通过基于手的感觉可真实地观察被摄体，所以例如可以大幅度提高在线购物的实用性。此外，本发明也可以用于实际拍摄和计算机图形并用时有效的医疗用途或数字档案等的博物馆用途。

Claims (8)

1、一种显示控制方法，根据安装有几何关系已知的第一和第二摄像机的设备的位置，控制显示图像的显示，其特征在于：
上述第一摄像机对含有图像特征已知的对象物的第一图像进行摄像；
上述第二摄像机对含有上述对象物周围的情景的第二图像进行摄像；
从上述第一图像提取上述对象物的图像特征；
将提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算从上述对象物到上述设备的距离；
从上述第二图像提取上述第二图像的图像特征；
使用从上述第一图像提取出的上述对象物的图像特征和从上述第二图像提取出的上述第二图像的图像特征中的至少任意一个，计算从上述对象物看到的上述设备的方向；
根据计算出的从上述对象物到上述设备的距离、以及上述设备的方向，控制上述显示图像的显示。
2、根据权利要求1所述的显示控制方法，其特征在于：
上述对象物是利用上述设备的用户的脸。
3、根据权利要求1所述的显示控制方法，其特征在于：
在计算上述设备的方向时，将从上述第二图像提取出的上述第二图像的图像特征与从由上述第二摄像机拍摄的过去的图像中提取出的图像特征进行比较，以计算上述设备的方向。
4、根据权利要求1所述的显示控制方法，其特征在于：
在计算上述设备的方向时，将从上述第一图像提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算上述设备的方向。
5、根据权利要求1所述的显示控制方法，其特征在于：
上述显示控制方法还使用从上述第一图像提取出的上述对象物的图像特征和从上述第二图像提取出的上述第二图像的图像特征中的至少任意一个，计算上述设备相对于上述对象物的朝向；
在控制上述显示图像的显示时，根据计算出的从上述对象物到上述设备的距离、上述设备的方向以及上述设备的朝向，控制上述显示图像的显示。
6、一种显示控制装置，根据安装有几何关系已知的第一和第二摄像机的设备的位置，控制显示图像的显示，其特征在于，包括：
第一特征提取单元，从由上述第一摄像机摄像的、含有图像特征已知的对象物的第一图像，提取上述对象物的图像特征；
第一计算单元，将由上述第一特征提取单元提取的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算从上述对象物到上述设备的距离；
第二特征提取单元，从由上述第二摄像机摄像的、含有上述对象物周围情景的第二图像，提取上述第二图像的图像特征；以及
第二计算单元，使用由上述第一特征提取单元提取的上述对象物的图像特征和由上述第二特征提取单元提取的上述第二图像的图像特征中的至少任意一个，计算从上述对象物看到的上述设备的方向。
7、一种便携设备，安装有几何关系已知的第一和第二摄像机，其特征在于，包括：
根据该便携设备的位置控制显示图像的显示的权利要求6记载的显示控制装置。
8、一种程序，用于根据安装有几何关系已知的第一和第二摄像机的设备的位置控制显示图像的显示，其特征在于，使计算机执行下列步骤：
从由上述第一摄像机摄像的、含有图像特征已知的对象物的第一图像提取上述对象物的图像特征的步骤；
将提取出的上述对象物的图像特征与已知的上述对象物的图像特征进行比较，以计算从上述对象物到上述上述设备的距离的步骤；
从由上述第二摄像机摄像的、含有上述对象物的周围情景的第二图像提取上述第二图像的图像特征的步骤；以及
使用提取出的上述对象物的图像特征和上述第二图像的图像特征中的至少任意一个，计算从上述对象物看见的上述设备的方向的步骤。
CNB2005800088628A 2004-06-04 2005-05-19 显示控制方法及装置以及便携设备 Expired - Fee Related CN100461212C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP167242/2004 2004-06-04
JP2004167242 2004-06-04

Publications (2)

Publication Number Publication Date
CN1934584A true CN1934584A (zh) 2007-03-21
CN100461212C CN100461212C (zh) 2009-02-11

Family

ID=35463086

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800088628A Expired - Fee Related CN100461212C (zh) 2004-06-04 2005-05-19 显示控制方法及装置以及便携设备

Country Status (4)

Country Link
US (1) US7535486B2 (zh)
JP (1) JP3926837B2 (zh)
CN (1) CN100461212C (zh)
WO (1) WO2005119591A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
CN101489082B (zh) * 2008-01-18 2011-12-28 华硕电脑股份有限公司 电子装置、影像串流的处理模块与处理方法
CN104919515A (zh) * 2013-01-18 2015-09-16 三星电子株式会社 用于控制移动终端的显示的设备和方法
CN105339756A (zh) * 2013-04-08 2016-02-17 希玛吉恩媒体有限公司 使用多个相机设备的距离评估
CN107637076A (zh) * 2015-10-14 2018-01-26 三星电子株式会社 电子设备及其控制方法
CN108154058A (zh) * 2016-12-05 2018-06-12 北京小米移动软件有限公司 图形码展示、位置区域确定方法及装置

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162637A1 (en) 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US6925357B2 (en) 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US7813836B2 (en) 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US20050204438A1 (en) 2004-02-26 2005-09-15 Yulun Wang Graphical interface for a remote presence system
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US9596401B2 (en) 2006-10-02 2017-03-14 Sony Corporation Focusing an image based on a direction of a face of a user
JP4656331B2 (ja) * 2006-12-27 2011-03-23 富士フイルム株式会社 撮像装置および撮像方法
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
WO2008094892A2 (en) * 2007-01-29 2008-08-07 Vergence Media, Inc. Methodology to optimize and provide streaming object rotation using composite images
US20080231726A1 (en) * 2007-03-23 2008-09-25 Motorola, Inc. Apparatus and method for image color correction in a portable device
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
SG150414A1 (en) * 2007-09-05 2009-03-30 Creative Tech Ltd Methods for processing a composite video image with feature indication
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US8179418B2 (en) 2008-04-14 2012-05-15 Intouch Technologies, Inc. Robotic based health care system
US8170241B2 (en) 2008-04-17 2012-05-01 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US8269842B2 (en) * 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
JP2010009502A (ja) * 2008-06-30 2010-01-14 Nec Corp 携帯端末、表示動作制御方法、及び表示制御プログラム
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11399153B2 (en) * 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
JP5448739B2 (ja) * 2009-11-18 2014-03-19 富士フイルム株式会社 画像再生装置、撮像装置、画像再生方法
TW201129084A (en) * 2010-02-02 2011-08-16 Hon Hai Prec Ind Co Ltd Controlling system and method for camera, adjusting apparatus for camera including the same
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
JP5439281B2 (ja) * 2010-05-27 2014-03-12 エヌ・ティ・ティ・コムウェア株式会社 ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
CN102959940B (zh) 2010-08-17 2016-05-18 英派尔科技开发有限公司 控制远程显示设备的方法及设备
EP2447915A1 (en) * 2010-10-27 2012-05-02 Sony Ericsson Mobile Communications AB Real time three-dimensional menu/icon shading
US9264664B2 (en) 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
CN103459099B (zh) 2011-01-28 2015-08-26 英塔茨科技公司 与一个可移动的远程机器人相互交流
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US8754831B2 (en) * 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
WO2013069796A1 (ja) * 2011-11-10 2013-05-16 株式会社ニコン 電子機器、情報システム及びサーバ
US9251313B2 (en) 2012-04-11 2016-02-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US9201495B2 (en) * 2012-04-24 2015-12-01 Mobitv, Inc. Control of perspective in multi-dimensional media
EP2852881A4 (en) 2012-05-22 2016-03-23 Intouch Technologies Inc GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
JP2013061988A (ja) * 2013-01-04 2013-04-04 Fujitsu Ltd 表示制御装置、表示制御方法および表示制御プログラム
JP2014041642A (ja) * 2013-10-16 2014-03-06 Nec Corp 携帯端末、表示動作制御方法、及び表示制御プログラム
CN103795864B (zh) * 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
JP6260366B2 (ja) * 2014-03-11 2018-01-17 沖電気工業株式会社 制御装置、制御方法、プログラムおよび端末
US9807316B2 (en) * 2014-09-04 2017-10-31 Htc Corporation Method for image segmentation
US11200743B2 (en) * 2017-03-30 2021-12-14 Christopher Carmichael Social network access via virtual-reality
DE102017108194A1 (de) * 2017-04-18 2018-10-18 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3626210B2 (ja) 1991-11-14 2005-03-02 中部電力株式会社 動画像に基づくカメラの３次元運動検出方法およびその装置
SE9700066L (sv) 1997-01-13 1998-07-06 Qualisys Ab Metod och anordning för att bestämma positionen av ett objekt
JP4251673B2 (ja) 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
JP4281139B2 (ja) 1999-02-09 2009-06-17 ソニー株式会社 位置認識装置、位置認識方法及び仮想画像立体合成装置
JP2000259856A (ja) * 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
WO2001088681A1 (en) * 2000-05-17 2001-11-22 Koninklijke Philips Electronics N.V. Apparatus and method for indicating a target by image processing without three-dimensional modeling
JP2001356875A (ja) 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
JP2002007027A (ja) * 2000-06-27 2002-01-11 Masanori Idesawa 画像情報表示装置
JP2002164990A (ja) 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
JP4025516B2 (ja) 2001-04-25 2007-12-19 日本電信電話株式会社 マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体
JP2002366272A (ja) 2001-06-05 2002-12-20 Kyocera Corp 携帯端末装置および表示画面のスクロール方法
JP3899241B2 (ja) * 2001-06-13 2007-03-28 シャープ株式会社 画像表示システム、画像表示方法、プログラムおよび記録媒体
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2004021870A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 視線入力機能付携帯電話
JP3851601B2 (ja) 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
WO2004080064A1 (ja) * 2003-03-06 2004-09-16 Fujitsu Limited 情報処理装置、情報処理方法及び情報処理プログラム
JP4053444B2 (ja) * 2003-03-07 2008-02-27 シャープ株式会社 携帯可能な多機能電子機器
JP2004312194A (ja) 2003-04-03 2004-11-04 Konica Minolta Photo Imaging Inc ポインティングデバイス機能付き携帯電話及び携帯電話
US7057620B2 (en) * 2003-08-25 2006-06-06 Ati Technologies Inc. Method and apparatus for graphics rendering on a mobile device
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489082B (zh) * 2008-01-18 2011-12-28 华硕电脑股份有限公司 电子装置、影像串流的处理模块与处理方法
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
CN104919515A (zh) * 2013-01-18 2015-09-16 三星电子株式会社 用于控制移动终端的显示的设备和方法
US10192312B2 (en) 2013-04-08 2019-01-29 C3D Augmented Reality Solutions Ltd Distance estimation using multi-camera device
CN105339756A (zh) * 2013-04-08 2016-02-17 希玛吉恩媒体有限公司 使用多个相机设备的距离评估
US10467492B2 (en) 2013-04-08 2019-11-05 C3D Augmented Reality Solutions Ltd Distance estimation using multi-camera device
CN110440747A (zh) * 2013-04-08 2019-11-12 斯纳普公司 使用多个相机设备的距离评估
US10691967B2 (en) 2013-04-08 2020-06-23 Snap Inc. Distance estimation using multi-camera device
CN110440747B (zh) * 2013-04-08 2021-11-09 斯纳普公司 使用多个相机设备的距离评估
US11879750B2 (en) 2013-04-08 2024-01-23 Snap Inc. Distance estimation using multi-camera device
CN107637076A (zh) * 2015-10-14 2018-01-26 三星电子株式会社 电子设备及其控制方法
US10422996B2 (en) 2015-10-14 2019-09-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
CN108154058A (zh) * 2016-12-05 2018-06-12 北京小米移动软件有限公司 图形码展示、位置区域确定方法及装置

Also Published As

Publication number Publication date
WO2005119591A1 (ja) 2005-12-15
JP3926837B2 (ja) 2007-06-06
JPWO2005119591A1 (ja) 2008-04-03
US20070019000A1 (en) 2007-01-25
US7535486B2 (en) 2009-05-19
CN100461212C (zh) 2009-02-11

Similar Documents

Publication Publication Date Title
CN1934584A (zh) 显示控制方法及装置、程序以及便携设备
US11659074B2 (en) Information processing terminal
CN111034181B (zh) 图像捕获设备、图像显示系统和操作方法
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
EP2720191B1 (en) Display device and method of photographing thereof
KR102106296B1 (ko) 카메라를 포함하는 전자 장치 및 그것의 동작 방법
CN1488093A (zh) 图像信息显示装置
US9743067B2 (en) Methods and devices for generating a stereoscopic image
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JPWO2016038971A1 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
JP2023509137A (ja) パノラマ３次元画像をキャプチャ及び生成するシステム及び方法
CN107925713A (zh) 摄像系统及摄像控制方法
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
KR20220124244A (ko) 이미지 처리 방법, 전자 기기 및 컴퓨터 판독 가능 저장 매체
JP2013207344A (ja) 検出装置、撮像装置、及びプログラム
KR20150087681A (ko) 이동 단말기 거치대 및 이를 이용한 이동 단말기의 방향 변환 방법
JP2013097773A (ja) 情報処理装置、情報処理方法、及びプログラム
EP2717581A1 (en) Methods and devices for generating a stereoscopic image
CN109804408B (zh) 一致的球面照片和视频朝向校正
CN105635580A (zh) 一种图像获取方法及图像获取装置
JP7146944B2 (ja) 表示装置
KR20150108561A (ko) 이동 단말기 및 그 제어방법
JP2020096353A (ja) 中継装置、通信システム、通信方法、及びプログラム
JP2010045520A (ja) 携帯端末装置及び外部機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090211

Termination date: 20190519