CN101599267A - 显示处理设备、显示处理方法和程序及移动终端设备 - Google Patents

显示处理设备、显示处理方法和程序及移动终端设备 Download PDF

Info

Publication number
CN101599267A
CN101599267A CNA2009102031431A CN200910203143A CN101599267A CN 101599267 A CN101599267 A CN 101599267A CN A2009102031431 A CNA2009102031431 A CN A2009102031431A CN 200910203143 A CN200910203143 A CN 200910203143A CN 101599267 A CN101599267 A CN 101599267A
Authority
CN
China
Prior art keywords
unit
image
face
display
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009102031431A
Other languages
English (en)
Other versions
CN101599267B (zh
Inventor
高塚进
石田明宽
今井秀明
花见伊登子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Ericsson Mobile Communictions AB
Original Assignee
Sony Ericsson Mobile Communications Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications Japan Inc filed Critical Sony Ericsson Mobile Communications Japan Inc
Publication of CN101599267A publication Critical patent/CN101599267A/zh
Application granted granted Critical
Publication of CN101599267B publication Critical patent/CN101599267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Abstract

本发明提供了显示处理设备、显示处理方法和程序及移动终端设备。该显示处理设备包括：脸部图像检测单元，基于从设在壳体上的相机单元输出的成像数据来检测用户脸部图像；位置/角度变化检测单元，检测用户脸部图像的位置的变化和脸部角度的变化；以及显示控制单元，在显示单元上显示预定的图像，根据检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来移动显示图像的位置，基于Z轴方向上的位置变化来执行放大/缩小处理，根据脸部角度的变化来执行旋转处理以获得从脸部角度观看的显示图像，并且在显示单元上显示所获得的图像。

Description

显示处理设备、显示处理方法和程序及移动终端设备
技术领域
本发明涉及可用于设有相机功能的终端设备的显示处理设备、显示处理方法、显示处理程序以及移动终端设备，其中该终端设备包括例如移动电话、个人手持电话系统(PHS)电话、个人数字助理(PDA)设备、移动游戏机、笔记本型和/或桌面型个人计算机装置等等，本发明尤其涉及以下显示处理设备、显示处理方法、显示处理程序和移动终端设备：其能够基于通过相机单元摄取的用户脸部的图像来检测例如用户脸部的朝向和/或位置的变化，并且实时执行与检测结果相对应的显示处理，该显示处理例如包括改变显示单元上显示的图像的显示方向和/或显示尺寸。
背景技术
日本未实审专利申请公开No.7-181939公开了一种显示设备，其通过检测某人无意识执行的动作来自动放大显示画面图像的一部分和/或显示整个图像，而无需机械地操作鼠标等等。
根据上述显示设备，通过传感器来测量用户和液晶显示器之间的距离。当测得值表明用户和液晶显示器之间的距离较大时，存储器中存储的图像数据以缩小图像的形式被显示在液晶显示器上。如果测得值表明该距离较小，则存储器中存储的图像数据以放大图像的形式被显示在液晶显示器上。
发明内容
但是，日本未实审专利申请公开No.7-181939中公开的显示设备设有专门设计来测量用户和液晶显示器之间的距离的传感器。因此，显示设备本身可能变成大尺寸的设备。
因此，本发明提供了这样一种显示处理设备、显示处理方法、显示处理程序和移动终端设备，其能够在无需使用专门设计的传感器的情况下，通过小型结构，基于用户脸部的位置和/或角度的变化来改变显示单元上显示的图像的显示方向和/或显示尺寸并且显示该图像。
因此，根据本发明实施例的一种显示处理设备包括：脸部图像检测单元，被配置为基于从设在壳体上的相机单元发送来的成像输出数据来检测用户脸部的图像；位置/角度变化检测单元，被配置为检测通过脸部图像检测单元检测到的用户脸部图像的位置的变化和通过脸部图像检测单元检测到的用户脸部图像的脸部角度的变化；以及显示控制单元，被配置为在显示单元上显示预定的显示图像，根据通过位置/角度变化检测单元检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对显示单元上显示的显示图像执行显示位置移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从脸部角度观看的显示图像，并且在显示单元上显示所获得的显示图像。
根据本发明的实施例，基于从设在壳体上的相机单元输出的摄取数据来检测用户脸部的图像。另外，基于所检测到的用户脸部图像在X轴方向和Y轴方向上的位置变化来对脸部图像的显示位置执行移动处理，并将脸部图像显示在显示单元上。另外，基于Z轴方向上的位置变化来执行放大/缩小处理，并且基于用户脸部图像的角度变化来对脸部图像执行旋转处理以获得从上述脸部角度观看的显示图像，并且将显示图像显示在上述显示单元上。
根据本发明的实施例，对通过设在壳体上的相机单元摄取的用户脸部的图像进行分析以检测用户脸部的位置和/或角度的变化。另外，可以基于检测到的用户脸部的位置和/或角度的变化来改变显示单元上显示的图像的显示方向和/或显示尺寸，并且可以显示脸部图像。使用设在壳体上的相机单元使得可以通过小型结构来实现上述处理，而无需使用专门设计的传感器。
附图说明
图1是根据本发明实施例的移动电话的框图；
图2A示出了上述移动电话的外部视图；
图2B示出了上述移动电话的另一外部视图；
图3是示出了上述移动电话中基于正面相机图像(front cameraimage)对显示图像执行的显示处理操作的流程的流程图；
图4是示出上述移动电话的示例性使用的示意图；
图5是示出基于通过上述移动电话获得的正面相机图像对备用图像执行的放大/缩小处理的示意图；
图6是示出基于通过上述移动电话获得的正面相机图像对备用图像执行的移动显示处理的示意图；
图7A是示出基于通过上述移动电话获得的正面相机图像对备用图像执行的旋转显示处理的示意图；
图7B是示出基于通过上述移动电话获得的正面相机图像对备用图像执行的旋转显示处理的另一示意图；
图7C是示出基于通过上述移动电话获得的正面相机图像对备用图像执行的旋转显示处理的另一示意图；
图8A是示出在上述移动电话中基于正面相机图像对备用图像执行的其他显示处理的另一示意图；
图8B是示出在上述移动电话中基于正面相机图像对备用图像执行的其他显示处理的另一示意图；
图9是示出在主相机单元的使用期间在上述移动电话中执行的变焦控制操作的流程的流程图。
具体实施方式
本发明可用于移动电话。
[移动电话的电学配置]
首先，图1示出了根据本发明一个实施例的移动电话的框图。如图1所示，上述的移动电话包括天线1和通信电路2、扬声器单元3、麦克风单元4、显示单元5、操作单元6以及发光二极管(LED)单元7，其中，该天线1和通信电路2在基站和移动电话之间执行无线通信，所述无线通信包括语音会话、TV电话会话、电子邮件传输、万维网(Web)数据等等，扬声器单元3被配置为发送所接收到的语音数据等数据，麦克风单元4被配置为收集例如用于发送的语音数据，显示单元5被配置为显示操作菜单、电子邮件、图像(静止图像和视频)等等，操作单元6设有包括十字键、输入键、数字键等在内的多个操作键，LED单元7被配置为以光的方式将例如呼入和/或呼出通知给用户。
另外，上述的移动电话包括所谓的自拍正面相机单元8、主相机单元9、振动单元10、计时器11以及所谓的三轴加速度传感器12，其中，该正面相机单元8用来摄取例如移动电话的用户的静止图像和/或视频，主相机单元9被配置为摄取适当主体的静止图像和/或视频，振动单元10被配置为通过使移动电话壳体振动来将例如呼入和/或呼出通知给用户，计时器11被配置为计数时间，并且加速度传感器12被配置为检测三个轴方向(即，X轴方向、Y轴方向和Z轴方向)上的加速度。
另外，上述的移动电话包括存储器13和控制单元14，其中，存储器13存储有用来经由上述基站进行无线通信处理的通信程序和/或各类应用程序以及上述应用程序所处理的各类数据项(内容)等等，控制单元14被配置为控制整个移动电话的操作。
除了上述的通信程序之外，存储器13还存储脸部识别处理程序、显示处理程序以及相机控制程序，其中，该脸部识别处理程序用来对主要由正面相机单元8摄取的图像中显示的用户脸部图像执行识别处理，该显示处理程序用来根据基于脸部识别处理程序识别出的用户脸部的位置的变化来改变显示单元5上显示的图像的显示方向和/或显示尺寸，该相机控制程序控制正面相机单元8和/或主相机单元9的成像，并且具有对被摄取的静止图像和/或视频的查看功能。
另外，存储器13存储电子邮件管理程序、日程簿管理程序、Web浏览程序、电话簿管理程序以及音乐播放器程序，其中，该电子邮件管理程序用来控制电子邮件的生成和/或接发，日程簿管理程序用来管理记录有用户日程的日程簿数据，Web浏览程序用来浏览设在预定网络(包括通信网络、因特网等等)上的服务器设备所发表的网页，电话簿管理程序用来管理电话簿数据，音乐播放器程序用来再现音乐内容。
另外，存储器13存储记录有用户预定的日程数据的日程簿数据；用来登记用户姓名数据(包括用户的熟人、朋友等等的姓名)、静止图像(脸部的照片等等)的数据、地址数据、电话号码数据、电子邮件地址数据、生日数据等等的电话簿数据；基于音乐播放器程序再现的音乐内容；基于相机控制程序的查看功能被再现的静止图像内容和视频内容；发送和接收的电子邮件内容；以及电话呼叫和电子邮件的传入和传出历史的数据，等等。
[移动电话的外部构造]
图2A和2B是上述移动电话的正视图和后视图。如图2A和2B所示，上述的移动电话例如具有所谓的直板(直棒)形状。
如图2A所示，上述的显示单元5被设置在与壳体21的正面部分21a的上半部分大致对应的区域上，并且上述的操作单元6被设置在与正面部分21a的下半部分大致对应的区域上。在正面部分21a上，上述的扬声器单元3被配置为输出所接收的语音数据，并且上述的自拍正面相机单元8被设置在显示单元5的上端部5a和壳体21的上端部21b之间。
另外，上述的用来收集例如用于发送的语音数据的麦克风单元4被设置在操作单元6的下端部6a和壳体21的下端部21c之间。另外，如图2B所示，用于为预定主体摄像的主相机单元9被设置在壳体21的背面部分21d上靠近壳体21的上端部21b的位置处。
[基于正面相机图像对显示图像数据执行的显示处理操作]
上述的移动电话根据通过自拍正面相机单元8摄取的用户脸部图像的位置和/或角度的变化来改变显示单元5上显示的图像的显示方向和/或显示尺寸，并且显示图像。图3是示出为了根据用户脸部的位置和/或角度的变化来改变显示单元5上显示的备用图像的显示方向和/或显示尺寸而执行的显示处理操作的流程的流程图。
首先，控制单元14基于存储在存储器13中的显示处理程序来充当显示控制单元，以便从存储器13中读取绘图对象信息，绘图对象信息包括要绘制的对象的多边形数据、顶点坐标数据、顶点颜色数据以及纹理坐标数据、放置在多边形表面上的纹理数据、关于施加到对象的光的强度、方向等各种信息。然后，控制单元14基于绘图对象信息对作为预定的三维图像而提供的备用图像数据执行绘图处理，并且在显示单元5上显示备用图像，从而图3的流程图所示的处理过程被启动。
在步骤S0，控制单元14判断键当前是否被用户锁定(判断锁键功能被开启还是被关闭)。如果确定锁键功能被关闭，则控制单元14使处理前进到步骤S1。
即，当设置在例如上述的移动电话的壳体的侧面部分上的锁键按钮被操作时，对移动电话上设置的键中的一部分和/或全部执行的操作被取消，也就是说，锁键功能被开启。因此，在步骤S0，控制单元14在执行下述的处理过程之前判断锁键功能是被开启还是关闭。然后，如果确定锁键功能被关闭，则控制单元14使处理前进到步骤S1。
接下来，在步骤S1，控制单元14通过监视从图1所示的加速度传感器12输出的传感器数据来判断移动电话的壳体21是否被移动。然后，控制单元14使处理前进到步骤S2，以便在检测到壳体21的移动时启动正面相机单元8。
即，在等待通过移动电话传输的电话呼入和/或传入电子邮件的同时，用户经常将移动电话放置在桌面上、充电器上等等。在这种情况下，移动电话进入静止状态。如果在静止状态期间启动正面相机单元8来基于正面相机图像对显示图像执行显示处理(下文将描述)，则会浪费电能。
另外，当基于正面相机图像对显示图像执行显示处理(下文将描述)时，用户用他的手握住并举起移动电话，从而他的脸部的图像通过正面相机单元8被摄取，如图4所示。结果，壳体21发生移动。因此，在步骤S1，控制单元14基于从加速度传感器12输出的传感器数据来判断是否由于用户握住并举起移动电话而发生了壳体移动。如果检测到壳体移动，则在步骤S2启动正面相机单元8。因而可以防止在移动电话处于静止状态时启动正面相机单元8，从而防止了浪费电能。
另外，即使正面相机单元8已被启动，控制单元14也间歇地和/或连续地监视从加速度传感器12输出的传感器数据。然后，当在一段预定时间中连续检测到从加速度传感器12输出的传感器数据项并且该传感器数据项表明移动电话的壳体21处于静止状态时，执行控制以便停止已被启动的正面相机单元8。
当在正面相机单元8已被启动的情况下，在预定的时间段中连续检测到从加速度传感器12输出的传感器数据项并且该传感器数据项表明移动电话处于静止状态时，很有可能移动电话被放置在了桌子、充电器上等等。因此，在这种情况下，很有可能无用地启动了正面相机单元8。因此，当在一段预定时间中连续从加速度传感器12检测到表明移动电话的壳体21处于静止状态的传感器输出数据项时，控制单元14执行控制，使得已启动的正面相机单元8被停止。从而可以防止浪费电能。
接下来，当正面相机单元8被启动时，控制单元14使处理前进到步骤S3，并且基于存储在存储器13中的脸部识别处理程序来充当脸部图像检测单元。然后，控制单元14检测通过正面相机单元8摄取的图像中显示的用户脸部部分。如果在通过正面相机单元8摄取的图像中显示多个用户的脸部，则控制单元14仅识别最大的用户脸部。
接下来，在步骤S4，控制单元14判断上述的脸部识别处理是否被正确地执行，并且在确定脸部识别处理被正确地执行时使处理前进到步骤S5。在步骤S5，控制单元14临时存储关于识别出的用户脸部的位置、尺寸、角度等等的信息作为初始脸部信息，并使处理前进到步骤S6或之后的步骤。
在步骤S6或之后的步骤，控制单元14基于存储在存储器13中的脸部识别处理程序充当位置变化检测单元。从而，控制单元14基于通过正面相机单元8摄取的图像来检测用户脸部的当前位置、当前尺寸和当前角度的变化，该变化是参照临时存储在存储器13中的初始脸部信息所指示的用户脸部的位置、尺寸和角度来检测的。
例如，控制单元14通过使用例如日本未实审专利申请公开No.2004-133637中公开的技术来检测X轴方向、Y轴方向和Z轴方向上的用户脸部的位置移动，该技术被实现来将包括关于脸部的亮度值分布的信息的模板数据与静止图像数据进行匹配。
更具体而言，首先，准备至少两类图像的数据，该图像数据是通过将通过正面相机单元8摄取的图像(帧图像＝静止图像)的数据缩小而获得的。然后，准备一组脸部亮度分布信息模板的数据，该数据是在用户倾斜头部时获得的。然后，将这些模板依次与上述的图像进行匹配。上述的模板朝着脸部三维矩形坐标系统的X轴、Y轴和Z轴中的每一个倾斜。控制单元14通过将缩小的图像与模板进行匹配来检测静止图像中显示的用户脸部的倾斜度。
另外，当模板一边在二维平面上移动一边与缩小的摄取图像进行匹配并且某个区域与模板匹配时，意味着该区域与显示脸部图像的位置相对应。可基于真实图像数据的缩小率来获得区域尺寸。另外，基于这时使用的模板可获得相对于三个正交轴的旋转角度、偏转(yaw)、俯仰(pitch)以及滚动(roll)。
在通过执行上述的脸部识别处理来检测到用户脸部的移动方向和旋转角度(脸部角度)之后，控制单元14在步骤S6判断用户脸部图像的当前尺寸是否因为用户脸部在靠近正面相机单元8的方向(Z轴方向)上移动而有所增大从而使得该尺寸变得大于初始脸部信息所指示的脸部图像的尺寸。然后，如果确定用户脸部图像的当前尺寸有所增大，则控制单元14使处理前进到步骤S11。
如果处理前进到步骤S11，则控制单元14基于存储在存储器13中的显示处理程序充当显示控制单元。从而，控制单元14执行重绘处理，以便放大显示单元5上显示的备用图像，以使脸部图像具有与存储器13临时存储的初始脸部信息所指示的脸部尺寸与当前脸部尺寸之差相对应的大尺寸。然后，控制单元14在显示单元5上显示放大后的备用图像，并使处理前进到步骤S10。
接下来，如果在上述的步骤S6确定用户脸部的尺寸未被增大，则控制单元14使处理前进到步骤S7，以便判断用户脸部图像的当前尺寸是否因为用户脸部(在Z轴方向上)远离正面相机单元8而有所减小从而使得该尺寸变得小于初始脸部信息所指示的脸部图像的尺寸。然后，如果确定用户脸部图像的当前尺寸有所减小，则控制单元14使处理前进到步骤S12。
当处理前进到步骤S12时，控制单元14基于存储在存储器13中的显示处理程序充当显示控制单元。从而，控制单元14执行重绘处理，以便缩小显示单元5上显示的备用图像，以使脸部图像具有与存储器13临时存储的初始脸部信息所指示的脸部尺寸与当前脸部尺寸之差相对应的小尺寸。然后，控制单元14在显示单元5上显示缩小后的备用图像，并使处理前进到步骤S10。
图5的部分(a)、(b)、(c)、(d)示出了上述的放大/缩小处理的具体例子。图5中的部分(a)和(b)中的每一个示出了用户脸部的图像，该图像是通过正面相机单元8摄取的，图5中的部分(c)和(d)中的每一个示出了显示单元5上显示的备用图像。
当用户如图5的部分(a)和(b)中所示按该顺序使得其脸部靠近正面相机单元8时，控制单元14执行重绘处理，以便如图5的部分(c)和(d)中所示按该顺序放大备用图像，并且将放大后的备用图像显示在显示单元5上。
相反，当用户如图5的部分(b)和(a)中所示按该顺序使得其脸部远离正面相机单元8时，控制单元14执行重绘处理，以便如图5的部分(d)和(c)中所示按该顺序缩小备用图像，并且将缩小后的备用图像显示在显示单元5上。
这样，当用户使脸部靠近和/或远离正面相机单元8时，显示单元5上显示的备用图像被放大和/或缩小来显示。
接下来，如果在上述的步骤S7判定用户脸部图像的尺寸未被减小，则控制单元14使处理前进到步骤S8，以便判断用户脸部图像的当前位置相对于上述初始脸部信息所指示的脸部位置(初始脸部位置)是否由于在不改变用户和正面相机单元8之间的距离的情况下用户在X轴方向和/或Y轴方向上移动而有所改变，所述X轴方向和/或Y轴方向包括向上方向、向下方向、向左方向、向右方向、倾斜方向，等等。如果判定用户脸部图像的位置有所改变，则控制单元14使处理前进到步骤S13。
当处理前进到步骤S13时，控制单元14基于存储在存储器13上的显示处理程序充当显示控制单元。从而，控制单元14基于临时存储在存储器13中的初始脸部信息所指示的初始脸部位置以及当前脸部位置来检测用户脸部的移动方向，并且执行重绘处理，以便通过在与用户脸部的移动方向相对应的方向上移动显示单元5上显示的备用图像来生成一备用图像。然后，控制单元14在显示单元5上显示该备用图像并使处理前进到步骤S10。
图6的部分(a)、(b)、(c)和(d)中的每一个示出了上述的移动处理的具体例子。图6中的部分(a)和(b)中的每一个示出了用户脸部的图像，该图像是通过正面相机单元8摄取的，图6中的部分(c)和(d)中的每一个示出了显示单元5上显示的备用图像。
当用户如图6的部分(a)和(b)中所示按该顺序在向右方向上移动脸部时，控制单元14执行重绘处理，以便获得通过如图6的部分(c)和(d)中所示按该顺序在向右方向上移动显示单元5上显示的备用图像而生成的备用图像，并且将所获得的备用图像显示在显示单元5上。
相反，当用户如图6的部分(b)和(a)中所示按该顺序在向左方向上移动脸部时，控制单元14执行重绘处理，以便获得通过如图6的部分(d)和(c)中所示按该顺序在向左方向上移动显示单元5上显示的备用图像而生成的备用图像，并且将所获得的备用图像显示在显示单元5上。
根据图6的部分(a)至(d)，用户示例性地在向右方向和/或向左方向上移动脸部。但是，即使用户在向上方向、向下方向和倾斜方向上移动脸部，控制单元14也会执行重绘处理以便获得通过在与用户脸部的移动方向相对应的方向上移动备用图像而生成的备用图像，并将所获得的备用图像显示在显示单元5上，这与上述实施例的情况一样。
从而，当用户相对于正面相机单元8在垂直方向、水平方向和倾斜方向上移动其脸部时，显示单元5上显示的备用图像在垂直方向、水平方向和倾斜方向上被移动以进行显示。
接下来，如果在上述的步骤S8判定用户脸部的位置未被改变，则控制单元14使处理前进到步骤S9，并且判断用户脸部的角度是否有所改变(＝脸部朝向是否有所改变)。如果判定用户脸部图像的角度有所改变，则控制单元14使处理前进到步骤S14。
当处理前进到步骤S14时，控制单元14基于存储在存储器13上的显示处理程序充当显示控制单元。从而，控制单元14检测临时存储在存储器13中的初始脸部信息所指示的脸部角度以及当前脸部角度之间的差异，并且执行重绘处理以获得从与检测到的差异相对应的脸部角度观看的备用图像。然后，控制单元14将该备用图像显示在显示单元5上，并且使处理前进到步骤S10。
图7A、7B和7C中的每一个示出了根据上述的脸部角度执行的显示处理的例子。图7A示出了用户在向左方向上旋转其脸部的例子。在该情况下，控制单元14执行重绘处理，以便获得通过在向右方向上旋转显示单元5上显示的备用图像而生成的备用图像，从而执行重绘处理来获得显示上述备用图像的对象的备用图像，其中该对象是从左侧倾斜方向上观看的，并且控制单元14将所获得的备用图像显示在显示单元5上。
图7B示出了用户在向下方向上旋转脸部的例子。在该情况下，控制单元14执行重绘处理，以便获得通过在向下方向上旋转显示单元5上显示的备用图像而生成的备用图像，从而执行重绘处理来获得显示上述备用图像的对象的备用图像，其中该对象是从上方倾斜方向上观看的，并且控制单元14将所获得的备用图像显示在显示单元5上。
图7C示出了用户在左上倾斜方向上旋转脸部的例子。在该情况下，控制单元14执行重绘处理，以便获得通过在右上倾斜方向上旋转显示单元5上显示的备用图像而生成的备用图像，从而执行重绘处理来获得显示上述备用图像的对象的备用图像，其中该对象是从左下倾斜方向上观看的，并且控制单元14将所获得的备用图像显示在显示单元5上。
从而，当用户在垂直方向和水平方向或者向上倾斜方向和向下倾斜方向上移动脸部时，重绘处理被执行，以使得显示单元5上显示的备用图像成为从用户脸部的旋转方向上观看的备用图像，并且该备用图像被显示在显示单元5上。
接下来，当通过执行上述重绘处理而使处理前进到步骤S10时，控制单元14监视操作单元6的操作状态，以便判断用户是否决定终止用来基于正面相机图像对显示图像执行显示处理的应用程序。然后，随着用户脸部图像的位置被移动，上述的备用图像被反复绘制，直到检测到终止该应用程序的决定为止。在检测到终止该应用程序的决定时，图3的流程图中所示的整个处理结束。
在上述实施例中，基于用户脸部的移动位置、旋转方向等等来重绘三维备用图像以进行显示。但是，如图8A和8B所示，可以预先准备与用户脸部的移动位置、旋转方向等等相对应的多个备用图像。另外，可以从这多个备用图像中选择与实际检测到的用户脸部的移动位置和/或旋转方向相对应的备用图像来显示。
[在主相机单元的使用期间执行的变焦控制操作]
当根据上述实施例的移动电话使用设有变焦功能的主相机单元9来进行成像时，控制单元14实时地在显示单元5上显示当前通过主相机单元9摄取的图像。用户实时地一边查看显示单元5上显示的摄取图像一边确定时间，并且在期望的时间按压和操作快门按钮，从而使得适当的静止图像被摄取。当通过使用上述的主相机单元9来进行成像时，控制单元14基于主相机单元9和用户脸部之间的距离来对主相机单元9的变焦功能执行拉近(zoom-up)/推远(zoom-down)控制。
图9是示出在主相机单元9的使用期间执行的变焦控制操作的流程的流程图。在用户执行操作来指定使用主相机单元9进行成像时，控制单元14进行控制，从而使主相机单元9被启动。同时，控制单元14基于存储器13中存储的显示处理程序来启动图9的流程图中示出的处理。
首先，控制单元14启动正面相机单元8并使处理前进到步骤S21。在步骤S21，控制单元14基于存储在存储器13中的脸部识别处理程序充当脸部图像检测单元。然后，控制单元14检测通过正面相机单元8摄取的图像中示出的用户脸部部分。如果在通过正面相机单元8摄取的图像中示出了多个用户的脸部，则控制单元14如上所述仅识别最大的用户脸部。
接下来，在步骤S23，控制单元14判断上述脸部识别处理是否被正确地执行，并且在判定脸部识别处理被正确执行的情况下使处理前进到S24。在步骤S24，控制单元14将包括有关所识别的用户脸部的位置、尺寸、角度等的信息在内的初始脸部信息临时存储在存储器13中，并使处理前进到步骤S25。
在步骤S25，控制单元14基于存储在存储器13中的脸部识别处理程序充当位置变化检测单元。从而，控制单元14判断通过正面相机单元8摄取的用户脸部图像的尺寸相对于存储器13中临时存储的初始脸部信息所指示的用户脸部尺寸是否由于用户使其脸部靠近正面相机单元8而有所增大。如果判定用户脸部图像的尺寸有所增大，则控制单元14使处理前进到步骤S28。
如果处理前进到步骤S28，则控制单元14对主相机单元9执行拉近控制，以便实现与存储器13中临时存储的初始脸部信息所指示的脸部尺寸和当前脸部尺寸之间的差异相对应的放大率，并且使处理前进到步骤S27。因而，当用户使其脸部靠近正面相机单元8时，通过主相机单元9摄取的对象图像被放大并摄取。
接下来，如果在上述的步骤S25判定用户脸部图像的尺寸未被增大，则控制单元14使处理前进到步骤S26，以便判断通过正面相机单元8摄取的用户脸部图像的尺寸相对于存储器13中临时存储的初始脸部信息所指示的用户脸部图像的尺寸是否由于用户脸部远离正面相机单元8移动而有所减小。如果判定用户脸部图像的尺寸有所减小，则控制单元14使处理前进到步骤S29。
如果处理前进到步骤S29，则控制单元14对主相机单元9执行推远控制，以便实现与存储器13中临时存储的初始脸部信息所指示的脸部尺寸和当前脸部尺寸之间的差异相对应的缩小率，并且使处理前进到步骤S27。从而，当用户使其脸部远离正面相机单元8时，通过主相机单元9摄取的对象图像被缩小并摄取。
接下来，当对主相机单元9执行上述拉近/推远控制从而使处理前进到步骤S27时，控制单元14通过监视操作单元6的操作状态来判断用户是否执行了用于指定终止通过使用主相机单元9执行的成像的操作。然后，控制单元14根据用户脸部和正面相机单元8之间的距离的变化反复对主相机单元9执行拉近/推远控制，直至检测到为指定终止通过主相机单元9执行的成像而执行的操作为止。然后，在检测到为指定终止通过主相机单元9执行的成像而执行的操作时，控制单元14终止图9的流程图所示的整个流程。
由于控制单元14如上所述基于用户脸部和正面相机单元8之间的距离来对主相机单元9执行拉近/推远控制，因此用户可通过使其脸部靠近和/或远离正面相机单元8来对主相机单元9执行拉近操作和/或推远操作。当通过操作按钮来执行拉近操作和/或推远操作时，可能由于按钮操作而发生相机抖动。但是，根据上述实施例的移动电话可以减少上述相机抖动的发生。
[实施例的优点]
从上述描述清楚可见，上述实施例的移动电话通过设在壳体21上的自拍正面相机单元8来摄取用户脸部的图像。控制单元14基于通过正面相机单元8摄取的用户脸部图像来检测用户脸部位置的移动和/或脸部角度的变化。然后，控制单元14基于脸部的移动位置和/或脸部角度的变化来使诸如备用图像之类的预定图像数据经受包括放大、缩小、水平和垂直移动、旋转等在内的处理，并且显示该预定图像数据。从而，显示单元5上显示的上述备用图像等可被改变成从用户脸部的位置观看的备用图像并被显示。
另外，使用设置于壳体21上的正面相机单元8使得可以在无需使用专门设计的传感器的情况下通过小型结构来实现上述实施例。
另外，由于基于正面相机单元8和用户脸部之间的距离来对主相机单元9执行拉近/推远控制，用户可以通过使其脸部靠近和/或远离正面相机单元8来对主相机单元9执行拉近操作/推远操作。因此，可以不通过操作按钮来执行拉近操作/推远操作，这防止了按钮操作导致的相机抖动。
[示例性的修改]
虽然移动电话被用于实现本发明的上述实施例，但是包括PHS电话、PDA设备、移动游戏机、笔记本型和/或桌面型个人计算机装置等在内的终端设备也可被使用。使用任何上述设备都可获得相同优点。
本发明包含与2008年6月2日向日本专利局提交的日本专利申请JP 2008-145044中公开的内容相关的主题，特此通过引用将该申请的全部内容并入。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，而不限于上述实施例，只要它们处于所附权利要求或其等同物的范围之内。

Claims (6)

1.一种显示处理设备，包括：
脸部图像检测单元，被配置为基于从设在壳体上的相机单元发送来的成像输出数据来检测用户脸部的图像；
位置/角度变化检测单元，被配置为检测通过所述脸部图像检测单元检测到的用户脸部图像的位置的变化和通过所述脸部图像检测单元检测到的用户脸部图像的脸部角度的变化；以及
显示控制单元，被配置为在显示单元上显示预定的显示图像，根据通过所述位置/角度变化检测单元检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显示图像。
2.根据权利要求1所述的显示处理设备，还包括：
移动检测单元，被配置为检测所述壳体的移动；以及
控制单元，被配置为执行控制以便停止至少所述脸部图像检测单元和所述位置/角度变化检测单元直到所述移动检测单元检测到所述壳体的移动为止，控制所述脸部图像检测单元和所述位置/角度变化检测单元以便在通过所述移动检测单元检测到所述壳体的移动时启动对所述脸部图像的检测以及对所述脸部图像的位置和所述脸部角度中每一个的变化的检测，并且执行控制以便在从通过所述移动检测单元检测到所述壳体的静止状态起经过预定的时间时停止所述脸部图像检测单元和所述位置/角度变化检测单元。
3.根据权利要求1所述的显示处理设备，还包括：用作所述相机单元的、用于摄取用户脸部图像的正面相机单元和用于摄取适当的主体的图像的、设有变焦功能的主相机单元，
其中，所述显示控制单元实时地在所述显示单元上显示通过所述主相机单元摄取的摄取图像，
还包括控制单元，该控制单元被配置为控制所述主相机单元的变焦功能，以便当检测到基于通过所述正面相机单元摄取的用户脸部图像通过所述位置/角度变化检测单元检测到的Z轴方向上的至少一个位置变化中的发生在靠近所述正面相机单元的方向上的位置变化时，根据所述发生在靠近所述正面相机单元的方向上的位置变化来对通过所述主相机单元摄取的主体图像执行拉近，并且被配置为控制所述主相机单元的变焦功能，以便当检测到基于通过所述正面相机单元摄取的用户脸部图像通过所述位置/角度变化检测单元检测到的Z轴方向上的至少一个位置变化中的发生在远离所述正面相机单元的方向上的位置变化时，根据所述发生在远离所述正面相机单元的方向上的位置变化来对通过所述主相机单元摄取的主体图像执行推远。
4.一种显示处理方法，包括以下步骤：
通过脸部图像检测单元基于从设在壳体上的相机单元发送来的成像输出数据来检测用户脸部的图像；
通过位置/角度变化检测单元检测在上述步骤中检测到的用户脸部图像的位置的变化和在上述步骤中检测到的用户脸部图像的脸部角度的变化；以及
通过显示控制单元在显示单元上显示预定的显示图像，根据在上述步骤中检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显示图像。
5.一种显示处理程序，
用来使计算机充当脸部图像检测单元，该脸部图像检测单元被配置为基于从设在壳体上的相机单元发送来的成像输出数据来检测用户脸部的图像；
用来使所述计算机充当位置/角度变化检测单元，该位置/角度变化检测单元被配置为检测通过使所述计算机充当所述脸部图像检测单元而检测到的用户脸部图像的位置的变化和通过使所述计算机充当所述脸部图像检测单元而检测到的用户脸部图像的脸部角度的变化；以及
用来使所述计算机充当显示控制单元，该显示控制单元被配置为在显示单元上显示预定的显示图像，根据通过使所述计算机充当所述位置/角度变化检测单元而检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显示图像。
6.一种移动终端设备，包括：
设在壳体上的相机单元；
脸部图像检测单元，被配置为基于从所述相机单元发送来的成像输出数据来检测用户脸部的图像；
位置/角度变化检测单元，被配置为检测通过所述脸部图像检测单元检测到的用户脸部图像的位置的变化和通过所述脸部图像检测单元检测到的用户脸部图像的脸部角度的变化；
显示单元，被配置为显示预定的显示图像；以及
显示控制单元，被配置为在所述显示单元上显示所述预定的显示图像，根据通过所述位置/角度变化检测单元检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显示图像。
CN2009102031431A 2008-06-02 2009-06-02 显示处理设备、显示处理方法和程序及移动终端设备 Active CN101599267B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008145044 2008-06-02
JP2008145044A JP2009294728A (ja) 2008-06-02 2008-06-02 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
JP2008-145044 2008-06-02

Publications (2)

Publication Number Publication Date
CN101599267A true CN101599267A (zh) 2009-12-09
CN101599267B CN101599267B (zh) 2012-06-20

Family

ID=40831289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102031431A Active CN101599267B (zh) 2008-06-02 2009-06-02 显示处理设备、显示处理方法和程序及移动终端设备

Country Status (4)

Country Link
US (1) US9152229B2 (zh)
EP (1) EP2131266A3 (zh)
JP (1) JP2009294728A (zh)
CN (1) CN101599267B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893933A (zh) * 2010-06-17 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种移动终端的显示方法、移动终端及系统
CN102063887A (zh) * 2010-11-19 2011-05-18 天津三星电子显示器有限公司 一种自动调节显示器可视范围的方法及其显示器
CN102104647A (zh) * 2010-12-30 2011-06-22 上海华勤通讯技术有限公司 角度测量手机及其实现角度测量的方法
CN102314855A (zh) * 2010-07-06 2012-01-11 鸿富锦精密工业（深圳）有限公司 影像处理系统、显示装置及影像显示方法
CN102376295A (zh) * 2010-08-10 2012-03-14 联想（新加坡）私人有限公司 辅助缩放
CN103037185A (zh) * 2011-09-30 2013-04-10 卡西欧计算机株式会社 显示装置、及显示控制方法
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
CN103377014A (zh) * 2012-04-12 2013-10-30 李帜 一种显示控制方法
WO2014000123A1 (en) * 2012-06-29 2014-01-03 Intel Corporation Camera based auto screen rotation
CN103535024A (zh) * 2011-05-23 2014-01-22 索尼公司 信息处理设备、信息处理方法和计算机程序
CN103765878A (zh) * 2011-09-12 2014-04-30 英特尔公司 使用移动视差从2d图像创建3d感知
CN103929583A (zh) * 2013-01-15 2014-07-16 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
CN104094193A (zh) * 2011-12-27 2014-10-08 英特尔公司 移动设备上的全3d交互
CN104145233A (zh) * 2012-02-23 2014-11-12 英特尔公司 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质
CN104240679A (zh) * 2013-06-19 2014-12-24 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
CN104427123A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN104464579A (zh) * 2013-09-12 2015-03-25 中兴通讯股份有限公司 数据显示方法、装置及终端、显示控制方法及装置
CN104503541A (zh) * 2010-09-08 2015-04-08 苹果公司 基于摄像头的从纵向到横向的朝向固定
US9235262B2 (en) 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
CN105700786A (zh) * 2015-12-30 2016-06-22 联想(北京)有限公司 信息处理方法、装置及电子设备
CN106125940A (zh) * 2016-07-05 2016-11-16 乐视控股（北京）有限公司 虚拟现实交互界面管理方法和装置
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US11587494B2 (en) 2019-01-22 2023-02-21 Samsung Electronics Co., Ltd. Method and electronic device for controlling display direction of content

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474022B1 (ko) * 2008-10-27 2014-12-26 삼성전자주식회사 이동 통신 단말에서 표시부의 축 변화에 따라 어플리케이션을 자동으로 실행하기 위한 방법 및 그 이동 통신 단말
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
JP5302793B2 (ja) * 2009-06-24 2013-10-02 ソニーモバイルコミュニケーションズ株式会社 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
CN102665561A (zh) * 2009-11-13 2012-09-12 画像诊断株式会社 医用三维图像的显示方向调整装置以及调整程序
TW201123032A (en) * 2009-12-30 2011-07-01 Hon Hai Prec Ind Co Ltd Monitor adjusting system and the method use the same
JP5491217B2 (ja) * 2010-01-27 2014-05-14 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
JP5300777B2 (ja) * 2010-03-31 2013-09-25 株式会社バンダイナムコゲームス プログラム及び画像生成システム
CN102237069A (zh) * 2010-05-05 2011-11-09 中国移动通信集团公司 一种防止屏幕图像抖动的方法及设备
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20120026197A1 (en) * 2010-07-27 2012-02-02 Qualcomm Innovation Center, Inc. Method and Apparatus for Viewing Content on a Mobile Computing Device
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9229527B2 (en) 2011-02-09 2016-01-05 Nec Corporation Image display device, image display method, and program
US10146423B1 (en) 2011-04-07 2018-12-04 Wells Fargo Bank, N.A. System and method for generating a position based user interface
US20130265300A1 (en) * 2011-07-03 2013-10-10 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
KR101818573B1 (ko) 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
US8368723B1 (en) * 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
KR101314679B1 (ko) 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
WO2013069796A1 (ja) * 2011-11-10 2013-05-16 株式会社ニコン 電子機器、情報システム及びサーバ
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US20160210514A9 (en) * 2012-02-14 2016-07-21 Kenneth B. Mitchell Mobile device ball speed tracking
KR101371547B1 (ko) * 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US10032135B2 (en) * 2012-03-19 2018-07-24 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
US9720574B2 (en) 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
US9633186B2 (en) 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
WO2013162564A1 (en) * 2012-04-26 2013-10-31 Hewlett-Packard Development Company, L.P. Altering attributes of content that is provided in a portion of a display area based on detected inputs
EP2680551B1 (en) * 2012-06-27 2014-11-05 BlackBerry Limited Mobile communication device user interface for manipulation of data items in a physical space
KR102044498B1 (ko) * 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
JP2014021676A (ja) * 2012-07-17 2014-02-03 Nikon Corp 電子機器
KR101958255B1 (ko) * 2012-08-20 2019-03-14 삼성전자주식회사 전자장치에서 상황인식에 따라 진동 강도를 제어하기 위한 방법 및 장치
WO2014035372A1 (en) * 2012-08-28 2014-03-06 Rockstar Bidco, LP Face tracking for mute-control
US9245497B2 (en) * 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
EP2743797A1 (en) 2012-12-13 2014-06-18 Tobii Technology AB Rotation of visual content on a display unit
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
KR102169523B1 (ko) * 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP6015590B2 (ja) 2013-08-12 2016-10-26 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6229720B2 (ja) * 2013-08-22 2017-11-15 富士通株式会社 端末装置、撮影部起動方法及び撮影部起動プログラム
JP2017505553A (ja) * 2013-11-29 2017-02-16 インテル・コーポレーション 顔検出によるカメラ制御
US9971412B2 (en) 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
CN103744601B (zh) * 2014-01-27 2017-05-17 华勤通讯技术有限公司 移动终端及显示内容偏转方法
US10228766B2 (en) * 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
EP3023863A1 (en) * 2014-11-20 2016-05-25 Thomson Licensing Device and method for processing visual data, and related computer program product
US9978145B2 (en) * 2014-12-16 2018-05-22 Koninklijke Philips N.V. Assessment of an attentional deficit
TW201624265A (zh) * 2014-12-30 2016-07-01 富智康（香港）有限公司 畫面調整方法及系統
CN105812648A (zh) * 2014-12-30 2016-07-27 深圳富泰宏精密工业有限公司 照片方位校正系统及方法
US10122914B2 (en) * 2015-04-17 2018-11-06 mPerpetuo, Inc. Method of controlling a camera using a touch slider
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
CN106445098A (zh) * 2016-07-29 2017-02-22 北京小米移动软件有限公司 用于头戴设备的控制方法、控制装置及移动设备
JP2018101979A (ja) * 2017-12-26 2018-06-28 オリンパス株式会社 表示装置、表示方法、及び表示プログラム
CN109064674A (zh) * 2018-05-31 2018-12-21 华慧视科技（天津）有限公司 一种基于人脸检测存储柜管理的方法
KR20200050042A (ko) * 2018-10-31 2020-05-11 엔에이치엔 주식회사 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스
EP3910530A1 (en) * 2020-05-12 2021-11-17 Koninklijke Philips N.V. Determining display zoom level
JP2023012066A (ja) * 2021-07-13 2023-01-25 株式会社バンダイ 音出力玩具

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181939A (ja) 1993-12-24 1995-07-21 Rohm Co Ltd 表示装置
US6215471B1 (en) * 1998-04-28 2001-04-10 Deluca Michael Joseph Vision pointer method and apparatus
US6864912B1 (en) * 1999-12-16 2005-03-08 International Business Machines Corp. Computer system providing hands free user input via optical means for navigation or zooming
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
JP3813867B2 (ja) * 2001-12-12 2006-08-23 埼玉日本電気株式会社 携帯機器及び携帯機器の照明制御方法
JP2003195145A (ja) * 2001-12-27 2003-07-09 Olympus Optical Co Ltd カメラ
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
US20040070675A1 (en) 2002-10-11 2004-04-15 Eastman Kodak Company System and method of processing a digital image for intuitive viewing
JP2004318603A (ja) * 2003-04-17 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
JP2006135837A (ja) * 2004-11-09 2006-05-25 Nec Access Technica Ltd テレビ電話
CN101091395A (zh) * 2004-12-23 2007-12-19 诺基亚公司 用于电子设备的多照相机解决方案
JP4375290B2 (ja) * 2005-06-29 2009-12-02 株式会社カシオ日立モバイルコミュニケーションズ 燃料電池内蔵型の携帯端末装置及びプログラム
TWI307835B (en) * 2005-09-14 2009-03-21 Quanta Comp Inc Portable electronic device and method of auto switching power mode
KR100643470B1 (ko) * 2005-09-29 2006-11-10 엘지전자 주식회사 휴대용 단말기의 그래픽 신호 표시장치 및 방법
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
US20070097151A1 (en) * 2006-04-07 2007-05-03 Outland Research, Llc Behind-screen zoom for handheld computing devices
US7742624B2 (en) * 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
JP2007324893A (ja) * 2006-05-31 2007-12-13 Matsushita Electric Ind Co Ltd 画像表示装置及び画像表示方法
TWI313426B (en) * 2006-06-13 2009-08-11 Sunplus Technology Co Ltd Method for screen browsing and portable electronic device using the same
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
WO2008094458A1 (en) * 2007-01-26 2008-08-07 F-Origin, Inc. Viewing images with tilt control on a hand-held device
JP4804398B2 (ja) * 2007-03-30 2011-11-02 三洋電機株式会社 撮像装置及び撮影方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US9235262B2 (en) 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
CN101893933A (zh) * 2010-06-17 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种移动终端的显示方法、移动终端及系统
CN102314855B (zh) * 2010-07-06 2014-12-10 南通新业电子有限公司 影像处理系统、显示装置及影像显示方法
CN102314855A (zh) * 2010-07-06 2012-01-11 鸿富锦精密工业（深圳）有限公司 影像处理系统、显示装置及影像显示方法
CN102376295A (zh) * 2010-08-10 2012-03-14 联想（新加坡）私人有限公司 辅助缩放
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
CN102376295B (zh) * 2010-08-10 2014-12-24 联想（新加坡）私人有限公司 一种辅助缩放装置及方法
CN104503541A (zh) * 2010-09-08 2015-04-08 苹果公司 基于摄像头的从纵向到横向的朝向固定
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN102063887A (zh) * 2010-11-19 2011-05-18 天津三星电子显示器有限公司 一种自动调节显示器可视范围的方法及其显示器
CN102104647B (zh) * 2010-12-30 2013-12-25 上海华勤通讯技术有限公司 角度测量手机及其实现角度测量的方法
CN102104647A (zh) * 2010-12-30 2011-06-22 上海华勤通讯技术有限公司 角度测量手机及其实现角度测量的方法
US11237594B2 (en) 2011-05-10 2022-02-01 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US11947387B2 (en) 2011-05-10 2024-04-02 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN103535024A (zh) * 2011-05-23 2014-01-22 索尼公司 信息处理设备、信息处理方法和计算机程序
CN103765878A (zh) * 2011-09-12 2014-04-30 英特尔公司 使用移动视差从2d图像创建3d感知
CN103037185A (zh) * 2011-09-30 2013-04-10 卡西欧计算机株式会社 显示装置、及显示控制方法
CN103037185B (zh) * 2011-09-30 2016-08-10 卡西欧计算机株式会社 显示装置、及显示控制方法
CN104094193A (zh) * 2011-12-27 2014-10-08 英特尔公司 移动设备上的全3d交互
CN104094193B (zh) * 2011-12-27 2017-11-17 英特尔公司 移动设备上的全3d交互
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
CN104145233A (zh) * 2012-02-23 2014-11-12 英特尔公司 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质
CN104145233B (zh) * 2012-02-23 2017-10-27 英特尔公司 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质
CN103377014A (zh) * 2012-04-12 2013-10-30 李帜 一种显示控制方法
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
WO2014000123A1 (en) * 2012-06-29 2014-01-03 Intel Corporation Camera based auto screen rotation
CN103929583B (zh) * 2013-01-15 2018-08-10 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
CN103929583A (zh) * 2013-01-15 2014-07-16 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
CN104240679B (zh) * 2013-06-19 2017-05-24 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
CN104240679A (zh) * 2013-06-19 2014-12-24 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
CN104427123B (zh) * 2013-09-09 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104427123A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN104464579A (zh) * 2013-09-12 2015-03-25 中兴通讯股份有限公司 数据显示方法、装置及终端、显示控制方法及装置
CN105700786A (zh) * 2015-12-30 2016-06-22 联想(北京)有限公司 信息处理方法、装置及电子设备
CN106125940A (zh) * 2016-07-05 2016-11-16 乐视控股（北京）有限公司 虚拟现实交互界面管理方法和装置
US11587494B2 (en) 2019-01-22 2023-02-21 Samsung Electronics Co., Ltd. Method and electronic device for controlling display direction of content

Also Published As

Publication number Publication date
JP2009294728A (ja) 2009-12-17
EP2131266A2 (en) 2009-12-09
EP2131266A3 (en) 2014-02-12
CN101599267B (zh) 2012-06-20
US9152229B2 (en) 2015-10-06
US20090295832A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
CN101599267B (zh) 显示处理设备、显示处理方法和程序及移动终端设备
CN101655769B (zh) 便携式终端及其驱动方法
US20030076408A1 (en) Method and handheld device for obtaining an image of an object by combining a plurality of images
CN113191117B (zh) 电子文档的编辑方法、装置、设备及存储介质
CN103164155A (zh) 显示处理装置
CN109246360A (zh) 一种提示方法及移动终端
WO2020238562A1 (zh) 显示方法及终端
CN108234894A (zh) 一种曝光调整方法及终端设备
CN108108079A (zh) 一种图标显示处理方法及移动终端
CN109819166A (zh) 一种图像处理方法和电子设备
CN108174081B (zh) 一种拍摄方法及移动终端
CN109005355A (zh) 一种拍摄方法及移动终端
CN109033913A (zh) 一种识别码的识别方法及移动终端
CN108174109A (zh) 一种拍照方法及移动终端
CN108317992A (zh) 一种物距测量方法及终端设备
CN108881721A (zh) 一种显示方法及终端
CN110519503A (zh) 一种扫描图像的获取方法及移动终端
CN108510266A (zh) 一种数字对象唯一标识符识别方法及移动终端
CN113562401B (zh) 控制目标对象传送方法、装置、系统、终端和存储介质
US7941137B2 (en) Mobile terminal and method of visual data processing
CN102411463B (zh) 触控屏幕解锁方法及其具有摄像功能的电子装置
CN109325219B (zh) 一种生成记录文档的方法、装置及系统
CN108509126B (zh) 一种图片处理方法及移动终端
CN108595104A (zh) 一种文件处理方法及终端
KR101965310B1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY ERICSSON MOBILE COMMUNICATIONS CO., LTD.

Free format text: FORMER OWNER: SONY ERICSSON MOBILE COMMUNICATIONS JAPAN CO., LTD.

Effective date: 20100122

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20100122

Address after: Longde, Sweden

Applicant after: Sony Ericsson Mobile Comm AB

Address before: Tokyo, Japan

Applicant before: Sony Ericsson Mobile Communication japan Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant