CN102854979A - 信息处理设备和方法 - Google Patents

信息处理设备和方法 Download PDF

Info

Publication number
CN102854979A
CN102854979A CN2012101851100A CN201210185110A CN102854979A CN 102854979 A CN102854979 A CN 102854979A CN 2012101851100 A CN2012101851100 A CN 2012101851100A CN 201210185110 A CN201210185110 A CN 201210185110A CN 102854979 A CN102854979 A CN 102854979A
Authority
CN
China
Prior art keywords
image
eyes
user
messaging device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101851100A
Other languages
English (en)
Inventor
笠原俊一
梨子田辰志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102854979A publication Critical patent/CN102854979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了信息处理设备和方法。一种信息处理设备包括成像单元、显示器、检测单元和控制器。成像单元被配置用于捕获图像以获取捕获图像。显示器具有朝向与成像单元的成像方向相同的方向的显示表面。检测单元被配置用于对该捕获图像执行图像处理以检测该捕获图像中的用户的眼睛睁开程度。控制器被配置用于基于检测单元的检测结果来控制显示器的表示。

Description

信息处理设备和方法
技术领域
本公开涉及包括成像单元和显示器的信息处理设备、方法以及用于信息处理设备的程序。
背景技术
在诸如PC（个人计算机）等信息处理设备中，用户利用手和手指来操作诸如键盘和鼠标等输入装置以执行输入操作。此外，在近年来已被广泛使用的平板型个人计算机、个人数字助理等中，利用手指或操作器在触摸面板的屏幕上进行输入占主导地位。
此外，近年来已经研发了允许在不接触的情况下进行输入操作的信息处理设备。例如，日本专利申请特开第2010-79662号（第[0017]段，图1）公开了一种信息处理设备，该信息处理设备包括范围传感器，并且允许通过用户的手的手势来执行输入操作。
发明内容
但是，在使用手和手指执行输入操作的情况下，存在对能够同时执行的操作的限制。例如，在用户想要在输入文本的同时滚动屏幕的情况下，用户必须在至少短时间段内暂停输入文本。特别地，在诸如平板型个人计算机和个人数字助理等手持信息处理设备中，在许多情况下用户要利用一只手握住该信息处理设备，因此，如果存在不需要使用手和手指进行处理的输入装置，则方便程度会得以增强。
鉴于上述情况，期望提供一种信息处理设备和程序，其能够执行输入操作，其中用户不使用手。
根据本公开的实施例，提供了一种信息处理设备，该信息处理设备包括成像单元、显示器、检测单元和控制器。
成像单元被配置用于捕获图像以获得捕获图像。
显示器具有朝向与成像单元的成像方向相同的方向的显示表面。
检测单元被配置用于对捕获图像执行图像处理，以检测捕获图像中的用户的眼睛睁开程度。
控制器被配置用于基于检测单元的检测结果来控制显示器的表示。
利用该配置，当用户想要观看显示器时，通过成像单元对用户的面部进行成像（该成像单元具有作为显示表面朝向的方向的成像方向）。检测单元检测捕获图像中所包括的用户的眼睛的睁开程度，并且控制器基于检测单元检测到的眼睛的睁开程度来控制显示器的表示，结果，用户的眼睛的睁开程度被反映在该信息处理设备的控制上。换言之，用户可以基于眼睛睁开程度来操作该信息处理设备。
检测单元可以检测作为捕获图像中的用户面部的区域的面部区域，并设置该面部区域中的被预测为包括用户的眼睛的眼睛搜索区域，以对该眼睛搜索区域执行图像处理。
利用该配置，检测单元可以通过对眼睛搜索区域执行图像处理来检测用户的眼睛，并以高精确度和高速度执行对眼睛睁开程度的检测。应当注意，检测单元可以通过用于检测人脸的算法来检测面部区域，并基于面部区域中的位置关系来设置被预测为包括眼睛的眼睛搜索区域。
控制器可以基于眼睛睁开程度随时间的变化来控制显示器的表示。
利用该配置，用户可以通过随时间改变眼睛睁开程度来控制显示器。
控制器可以基于用户的左眼和右眼之间的眼睛睁开程度的差别来控制显示器的表示。
利用该配置，用户可以基于右眼和左眼的睁开程度来控制显示器。
检测单元可以检测作为用户的眼睛的区域的眼睛区域的面积，作为眼睛睁开程度，并且控制器可以根据面积变化量和眼睛区域的高度变化量之一来控制显示器的表示。
利用该配置，用户可以通过随时间改变眼睛睁开程度来控制显示器。
检测单元可以检测作为用户的眼睛的区域的眼睛区域的面积，作为眼睛睁开程度，并且控制器可以根据该眼睛区域中的用户的左眼和右眼之间的面积比和高度比之一来控制显示器的表示。
利用该配置，用户可以基于右眼和左眼的睁开程度来控制显示器。
控制器可以根据该面积变化量和该高度变化量之一来改变显示目标图像的显示放大倍数，以使显示器显示所述显示目标图像。
利用该配置，用户可以通过随时间改变用户的眼睛睁开程度来改变显示目标图像的显示放大倍数。
当用户执行输入操作时，控制器可以固定显示放大倍数。
利用该配置，当用户改变显示目标图像的显示放大倍数时，显示放大倍数可以被固定为任意的显示放大倍数值。
控制器可以使得显示器在该面积变化量和该高度变化量之一大于或等于预定值时显示所述显示目标图像的特定布局区域。
利用该配置，在包括多个布局区域（包括图像和文本的布局的单位区域）的显示目标图像中，用户可以基于眼睛睁开程度而使显示器的表示在整个显示目标图像和仅其特定布局区域之间切换。
控制器可以使得显示器显示所述显示目标图像的布局区域作为该特定布局区域，该布局区域位于显示器的中心。
利用该配置，用户可以通过改变眼睛睁开程度而使得显示器仅显示位于显示器的中心的显示区域。
当面积比和高度比之一大于或等于预定值时，控制器可以改变用于生成要显示在显示器上的显示图像的应用。
利用该配置，用户可以基于右眼和左眼的眼睛睁开程度而切换到用于生成显示图像的应用，例如在以多任务方式的操作下的应用中的用于生成显示图像的应用。
当用户执行输入操作时，控制器可以固定用于生成显示图像的应用，而不管此后获得的面积比和高度比如何。
利用该配置，用户操作用于生成在该时间点处的显示图像的应用，相应地，可以防止由于此后获得的眼睛睁开程度的变化而发生不想要的应用切换。
当检测单元检测到眼睛睁开程度时，控制器可以使得显示器显示指示该眼睛睁开程度被检测到的表示。
利用该配置，在确认眼睛睁开程度有效之后，用户可以基于该眼睛睁开程度来执行信息处理设备的操作。
控制器可以基于预定时间段内的眼睛睁开程度的最大值来执行对用户的眼睛大小的校准。
利用该配置，控制器可以确定在一定时间点处的眼睛睁开程度相对于用户正常状态下的眼睛睁开程度的比率。
根据本公开的另一实施例，提供了一种包括检测单元和控制器的信息处理设备。
检测单元被配置用于对成像单元捕获的捕获图像执行图像处理，以检测捕获图像中的用户的眼睛睁开程度。
控制器被配置用于基于检测单元的检测结果来控制显示器的表示，该显示器具有朝向与成像单元的成像方向相同的方向的显示表面。
如上所述，根据本公开，可以提供一种信息处理设备和程序，其能够执行其中用户不使用手的输入操作。
如附图所示，从下面对本公开的最佳方式的实施例的详细描述来看，本公开的上述的和其它的目的、特征和优点将变得更加明显。
附图说明
图1是示出根据本公开的实施例的信息处理设备的功能配置的框图；
图2是示出该信息处理设备的硬件配置的框图；
图3是示出该信息处理设备的外观的透视图；
图4是示出该信息处理设备的操作的流程图；
图5A到5C是示出该信息处理设备的操作的示意图；
图6A到6B是示出该信息处理设备的操作的示意图；
图7A到7B是示出该信息处理设备的操作的示意图；
图8A到8D是示出根据该信息处理设备的控制示例的操作的示意图；
图9A到9D是示出根据该信息处理设备的控制示例的操作的示意图；
图10A到10D是示出根据该信息处理设备的控制示例的操作的示意图；以及
图11是示出该信息处理设备中的用于检测眼睛睁开程度的亮度分布的图示。
具体实施方式
将描述根据本公开的实施例的信息处理设备。
<信息处理设备的配置>
图1是示出信息处理设备1的功能配置的框图，图2是示出信息处理设备1的硬件配置的框图。图3是示出信息处理设备1的外观的透视图。在下文中，将使用平板型个人计算机（PC）作为信息处理设备1的特定示例来给出描述，但是信息处理设备1并不限于此。例如，信息处理设备1可以是个人数字助理或者固定型个人计算机。
如图1所示，信息处理设备1包括相机11、检测单元12、控制器13和显示器14，并且这些组件相互连接。
相机11是能够捕获数字图像的相机。相机11可以是能够捕获作为连续的静止图像的运动图像的相机，例如，可以是使用诸如互补金属氧化物半导体（CMOS）或电荷耦合器件（CCD）等成像装置的相机。在下文中，将利用相机11捕获的图像称为“捕获图像”。
检测单元12对捕获图像执行图像处理，并检测捕获图像中的用户的“眼睛睁开程度”。稍后将描述检测单元12的特定检测操作。检测单元12将检测到的“眼睛睁开程度”输出到控制器13。
控制器13基于检测单元12中检测到的眼睛睁开程度来控制显示器14的表示。具体地，控制器13控制用于生成要显示在显示器14上的显示图像的软件。应当注意，该软件的示例包括诸如操作系统（OS）等系统软件和在系统软件上操作的应用软件。稍后将描述控制器13对显示器14的表示的具体控制。
显示器14是能够显示图像的装置。显示器14可以是诸如电致发光（EL）显示器或液晶显示器等直视型显示器（direct-view display），或者可以是诸如投影仪等投影显示器（projection display）。
显示器14具有朝向与相机11的成像方向相同的方向的显示表面（显示屏幕、投影仪的投影表面等等）（见图3）。具体地，显示器14具有与相机11之间的位置关系，其中在用户面对该显示表面的情况下用户的面部落入相机11的成像范围内。
可通过图2所示的硬件配置来实现上述的信息处理设备1的功能配置。如图2所示，除了相机11和显示器14之外，信息处理设备1还包括存储装置15、存储器16、中央处理单元（CPU）17和输入接口（IF）18。上述这些组件通过总线19相互连接。应当注意，这里描述的信息处理设备1的硬件配置为一个示例，并且可以采用能够实现上述信息处理设备1的功能配置的各种配置。
存储装置15是诸如硬盘驱动器（HDD）或固态驱动器（SSD）等存储装置，并存储要经受CPU 17的计算处理的程序、用作稍后将描述“显示图像”的数据等等。
存储器16是诸如动态随机存取存储器（DRAM）等主存储装置，并存储从CPU 17的存储装置15读取的程序、计算处理的结果等等。
CPU 17从存储器16读取程序，并执行计算处理。换言之，信息处理设备1利用作为操作目标的CPU 17来起作用。
输入接口18是信息处理设备1的输入接口，并且可以是诸如触摸面板、键盘和鼠标等输入装置。特别地，在显示器14是直视型显示器的情况下，输入接口18可以是触摸面板。
图3所示的信息处理设备1包括被设置于壳体20的显示器14和相机11。存储装置15、存储器16、CPU 17、输入接口18和总线19被容纳在壳体20中。
<信息处理设备的操作>
现在将给出对信息处理设备1的操作的描述。
图4是示出信息处理设备1的操作的流程图。图5和图6是示出信息处理设备1的操作的示意图。在下文中，将针对图4中所示的流程图的每个步骤（St）来描述信息处理设备1的操作。
首先，相机11在其成像方向上捕获图像，并获取捕获图像（St1）。利用相机11进行的成像可以是连续的（可以捕获作为运动图像的图像），或者可以是间断的（例如每秒可以捕获数个图像）。这里，假设利用相机11捕获了图5A所示的捕获图像S。应当注意，捕获图像S是将在信息处理设备1中内部处理的图像，而不是要在显示器14上显示的图像。相机11将捕获图像S输出至检测单元12。
这里，如上文所示，信息处理设备1的显示器14和相机11具有如下位置关系：其中显示器14的显示表面朝向与相机11的成像方向相同的方向。因此，在用户正在观看显示器14的情况下，除用户正在以严重倾斜的角度来观看显示表面的情况之外，用户的面部落在相机11的成像范围之内，即，捕获图像S中包括用户的面部。
检测单元12执行对捕获图像S中的用户的眼睛的检测处理（St2）。具体地，检测单元12首先检测捕获图像S中的“面部区域”。“面部区域”指的是被检测作为捕获图像S中的用户面部的区域。图5B具体示出了由检测单元12针对图5A中例示的捕获图像S设置的面部区域R1。检测单元12可以通过使用人脸的特征模式（模板）而进行的模板匹配来检测面部区域R1。此外，检测单元12还可以通过除模板匹配之外的其他算法来检测面部区域R1。
接下来，检测单元12设置面部区域R1中的“眼睛搜索区域”。图5B示出了眼睛搜索区域R2。眼睛搜索区域是面部区域R1中的被检测单元12预测为包括眼睛的区域。检测单元12可以基于面部区域R1的尺寸、方位、纵横比等来设置眼睛搜索区域。这是因为，人脸中眼睛的位置通常落在一定的范围内，尽管存在个人之间的差别。
随后，检测单元12对眼睛搜索区域R2中包括的图像区域执行对“特征点”的检测处理。图5C是示出对特征点P的检测结果的示意图。特征点P是关于图像区域中的像素的亮度的特征点。例如，检测单元12可以设置通过边缘检测而检测到的两个边缘的交点作为特征点P。此外，检测单元12可以通过除边缘检测之外的其他各种算法来检测特征点P。
由于检测单元12仅需执行对眼睛搜索区域中所包括的图像区域上的特征点的检测处理，因此，与针对整个图像执行同样的处理的情况相比，检测单元12能够以高精确度和高速度检测到特征点P。
检测单元12可以将被这样检测到的特征点P所包围的区域确定为用户的眼睛区域（在下文中称为“眼区”）。图6A是示出由检测单元12在捕获图像S中检测到的眼区R3的示意图。图6B是示出由检测单元12在与捕获图像S不相同的捕获图像（其中用户闭合一只眼睛）中检测到的眼区R3的示意图。
检测单元12从眼区R3中提取“眼睛睁开程度”。可以基于眼区R3的面积、眼区R3的高度或其组合来定义眼睛睁开程度。图6A和图6B各自示出了眼区R3的高度（右眼区的高度hR和左眼区的高度hL）。检测单元12将眼区R3中的眼睛睁开程度输出至控制器13。
控制器13基于眼睛睁开程度来控制显示器14的表示（St3）。控制器13可以基于用户的眼睛睁开程度，特别是基于眼睛睁开程度随时间的变化以及用户的右眼和左眼之间的眼睛睁开程度的差别，来控制显示器14的表示。眼睛睁开程度随时间的变化可以被获得为眼区R3的面积变化量或高度变化量。此外，用户的右眼和左眼之间的眼睛睁开程度的差别可以被获得为右眼区和左眼区R3的面积比或其高度比。稍后将描述通过控制器13的根据用户的眼睛睁开程度进行控制的特定示例。在上述处理中，该处理从获取捕获图像（St1）起被再次重复。
信息处理设备1如上述地进行操作。应当注意，控制器13可以在上述处理中附加地执行以下操作。
[去除眨眼]
如上文所述，控制器13基于在一定瞬间捕获的捕获图像中检测到的用户的眼睛睁开程度来控制显示器14的表示。然而，存在用户眨眼而并不想要操作信息处理设备1的情况，如果基于在此瞬间捕获的捕获图像中的眼睛睁开程度来控制显示器14的表示，则是不利的。
在此点上，信息处理设备1可以去除这种由用户的眨眼所导致的影响。具体地，在从检测单元12输出的用户的双眼的睁开程度在一定时间段内均按照睁开状态、闭合状态、睁开状态的顺序而变化的情况下，控制器13忽略“闭合”状态，这样，控制器13可以避免将用户的眨眼反映到对显示器14的表示的控制上。
[眼睛尺寸的校准]
尽管在信息处理设备1中根据用户的眼睛睁开程度来执行对显示器14的表示的控制，但是个人之间的眼睛尺寸是不相同的。换言之，在一定的捕获图像中检测到的眼睛睁开程度包括在正常状态下的用户的眼睛睁开程度和在用户眯起他/她的眼睛的状态下的用户的眼睛睁开程度。相应地，需将正常状态下的用户的眼睛尺寸设置为基准。
在此点上，信息处理设备1可以基于正常状态下的用户的眼睛尺寸来执行校准。具体地，控制器13可以保持在预定的时间段期间的表示用户的眼睛尺寸的值，并将其最大值设置为正常状态下用户的眼睛尺寸。此外，在信息处理设备1被多个用户使用的情况下，控制器13可以通过任意的面部识别算法来识别在捕获图像中包括的个体用户，并将该个体用户与眼睛尺寸的最大值相关联。
[眼睛睁开程度的导航]
在上述的对眼睛尺寸的校准中，信息处理设备1可以为用户执行眼睛睁开程度的导航。具体地，信息处理设备1可以在显示器14上显示诸如“将你的眼睛睁开到最大程度”和“眯起你的眼睛”等消息，并且可以使用在此时由此获得的眼睛尺寸用于上述的校准。
[指示利用眼睛的操作有效的表示]
在从检测单元12输出眼睛睁开程度的情况下，即，在用户的面部落入相机11的成像范围内的情况下，控制器13可以在显示器14上显示指示能够利用眼睛进行操作的表示。
图7示出了该表示的特定示例。图7A示出了当检测单元12未检测到用户的眼睛时要在显示器14上显示的显示图像的示例，图7B示出了当检测单元12检测到用户的眼睛时要在显示器14上显示的显示图像的示例。如图7B所示，控制器13可以在显示器的状态条等上显示指示已检测到眼睛的图标C。
利用该表示，用户一眼看到显示器14，既可理解信息处理设备1被允许基于眼睛睁开程度来操作。
[控制器的控制示例]
将描述控制器13根据用户的眼睛睁开程度对显示器14的表示的控制示例。
[控制示例1：切换要显示的应用]
图8是示出了根据控制示例1的信息处理设备1的操作的示意图。假设用户观看显示器14并且捕获图像S1（图8A）被相机11捕获，则如上文所述地，检测单元12将眼睛睁开程度输出到控制器13。控制器13使得显示器14显示正在执行中的第一应用（例如音频文件再现应用）的图像作为显示图像G1（图8B）。
接下来，假设用户闭合一只眼睛并且捕获图像S2（图8c）被相机11捕获，则控制器13基于眼睛睁开程度而确定用户闭合一只眼睛，并使得显示器14显示正在以多任务方式执行的第二应用（例如用于聊天的应用）的图像作为显示图像G2（图8D）。例如，在右眼区和左眼区R3的面积比和高度比大于或等于预定值的情况下，控制器13可以将用于生成显示图像的应用从第一应用切换为第二应用。
换言之，通过在显示器14上正在显示第一应用的情况下闭合一只眼睛，用户可以在不用他/她的手和手指操作信息处理设备1的情况下使得显示器14显示第二应用。例如，用户可以检查聊天中的新消息的有无。
当用户再次睁开眼睛时，控制器13基于从检测单元12输出的眼睛睁开程度而确定用户的双眼均睁开了，并使得显示器14显示显示图像G1。
应当注意，在用户的一只眼睛正闭合的情况下，即，正在显示显示图像G2的情况下，当用户操作触摸面板等时（当用户想要操作第二应用时），控制器13可以固定第二应用而不管此后获得的眼睛睁开程度如何，其中通过该第二应用生成显示图像G2。
在该控制示例中，通过用户闭合一只眼睛，控制器13在第一应用和第二应用之间切换表示。然而，但是控制示例并不限于此，例如，通过用户闭合双眼，控制器13在这些应用之间切换表示。此外，控制器13可以基于用户闭合的是右眼和左眼中的哪一个来切换要显示的应用。
此外，在该控制示例中，控制器13基于眼睛睁开程度而在两个应用之间切换表示，但是控制示例并不限于此。控制器13可以基于眼睛睁开程度而在单个应用中在主要内容和次要内容（例如文档和其书签、或者运动图像和其操作接口）之间切换。此外，控制器13可以基于眼睛睁开程度来控制启动或退出应用。
[控制示例2：显示放大倍数缩放]
图9是示出了根据控制示例2的信息处理设备1的操作的示意图。假设用户观看显示器14并且捕获图像S3（图9A）被相机11捕获，则如上文所述地，检测单元12将捕获图像S3中的眼睛睁开程度输出到控制器13。控制器13使得显示器14以预定的显示放大倍数来显示特定图像（显示目标图像），作为显示图像G3（图9B）。
接下来，假设用户眯起他/她的眼睛并且捕获图像S4（图9c）被相机11捕获，则控制器13使得显示器14显示通过根据眼睛睁开程度来增大显示目标图像的显示放大倍数而获得的图像，作为显示图像G4（图9D）。控制器13可以根据眼睛睁开程度而逐步地或无缝地改变显示目标图像的显示放大倍数。控制器13可以根据例如右眼区和左眼区R3的面积变化量或高度变化量来改变显示放大倍数。
换言之，通过在显示器14上显示任意图像的情况下眯起眼睛，用户可以在不用他/她的手和手指操作信息处理设备1的情况下放大显示图像。
当用户再次将眼睛睁开到较大程度时，控制器13根据从检测单元12输出的眼睛睁开程度而使得显示目标图像的放大倍数返回到初始的放大倍数，并使得显示器14显示显示图像G3。
应当注意，当以预定的显示放大倍数来显示显示图像并且用户操作触摸面板等时，控制器13可以将显示放大倍数固定到该放大倍数，并使得此后将以该放大倍数显示显示图像，而不管眼睛睁开程度如何。
在该控制示例中，当用户眯起他/她的眼睛时，控制器13增大显示放大倍数。然而，另一方面，当用户眯起他/她的眼睛时，控制器13也可以减小显示放大倍数。
[控制示例3：布局区域的放大]
图10是示出了根据控制示例3的信息处理设备1的操作的示意图。假设用户观看显示器14并且捕获图像S5（图10A）被相机11捕获，则如上文所述地，检测单元12将捕获图像S5中的眼睛睁开程度输出到控制器13。
控制器13使得显示器14显示“包括多个布局区域的图像”（显示目标图像），作为显示图像G5（图10B）。布局区域指的是包括图像和文本的布局的单位区域。包括多个布局区域的图像例如是网站上的图像。典型地，新闻站点上的图像对应于包括多个布局区域的图像，并且新闻站点的一篇文章对应于该布局区域。在图10B所示的显示图像G5中，由虚线表示一个布局区域A。
接下来，假设用户眯起他/她的眼睛并且捕获图像S6（图10C）被相机11捕获，则控制器13基于捕获图像S5中的眼睛睁开程度以及捕获图像S6中的眼睛睁开程度而使得显示器14仅显示显示目标图像的特定布局区域作为显示图像G6（图10D）。被设置为显示图像G6的布局区域可以是例如位于最接近显示图像G5中的图像中心并占据该图像的最大部分的布局区域。例如，在右眼区和左眼区R3的面积变化量和高度变化量大于或等于预定值的情况下，控制器13可以使得显示器14显示上述的特定布局区域。
换言之，通过在观看诸如网站等包括多个布局区域的图像的同时眯起眼睛，用户可以在不用他/她的手和手指操作信息处理设备1的情况下使得仅显示预定的布局区域。
当用户再次睁开眼睛到较大程度时，控制器13使得显示器14显示包括多个布局区域的显示目标图像，作为显示图像G5。
如在上述控制示例中描述地，控制器13可以基于从检测单元12输出的眼睛睁开程度来控制显示器14的表示。
<变型例1>
在上述描述中，检测单元12设置特征点以检测眼睛睁开程度。然而，检测单元12也可以利用“亮度分布”来检测眼睛睁开程度。具体地，检测单元12如下操作。
首先，检测单元12通过上述的模板匹配等检测面部区域R1，并基于面部区域R1的尺寸、方位、纵横比等来设置眼睛搜索区域R2（参见图5B）。
随后，检测单元12获取眼睛搜索区域R2中所包括的像素的亮度分布。图11是示出了眼睛搜索区域R2中包括的像素的亮度分布的概念图。如图11所示，当用户睁开他/她的眼睛时，由于眼睛中存在白色和黑色，因此，该亮度分布在“高”部分和“低”部分中具有其峰值。另一方面，当用户闭合他/她的眼睛时，眼睛的白色和黑色不存在，因此该亮度分布在所述“高”部分和所述“低”部分的中点处具有其峰值。此外，在用户眯起他/她的眼睛的情况下，得到两条曲线之间的中间曲线。换言之，检测单元12可以基于峰值的位置来确定眼睛睁开程度。
因此，检测单元12能够利用该亮度分布来检测包括于捕获图像中的用户的眼睛睁开程度，而控制器13能够基于所述眼睛睁开程度来控制显示器14的表示。
<变型例2>
在上面的描述中，检测单元12设置特征点以检测眼睛睁开程度。但是，检测单元12也可以使用“模板匹配”来检测眼睛睁开程度。具体地，检测单元12如下操作。
首先，检测单元12通过上述的模板匹配等检测面部区域R1，并基于面部区域R1的尺寸、方位、纵横比等来设置眼睛搜索区域R2（参见图5B）。应当注意，在该变型例中，对眼睛搜索区域R2的设置并不是必须执行的，但该设置能够缩短用于进行模板匹配的时间。
随后，检测单元12针对眼睛搜索区域R2或整个捕获图像、使用眼睛的模板来执行模板匹配。例如，检测单元12使用具有不同的眼睛睁开程度的多个模板以由此确定眼睛睁开程度。
因此，检测单元12可以利用模板匹配来检测捕获图像中包括的用户的眼睛睁开程度，并且控制器13可以基于该眼睛睁开程度来控制显示器14的表示。
本公开不限于上述实施例，并且可以对本公开进行各种变型，而不背离本公开的要点。
应当注意，本公开可以采用以下配置。
（1）一种信息处理设备，包括：
成像单元，被配置用于捕获图像以获取捕获图像；
显示器，具有显示表面，该显示表面朝向与成像单元的成像方向相同的方向；
检测单元，被配置用于对捕获图像执行图像处理以检测捕获图像中的用户的眼睛睁开程度；以及
控制器，被配置用于基于检测单元的检测结果来控制显示器的表示。
（2）根据第（1）项的信息处理设备，其中：
检测单元检测捕获图像中的作为用户的面部的区域的面部区域，并设置该面部区域中的被预测为包括用户的眼睛的眼睛搜索区域，以对该眼睛搜索区域执行图像处理。
（3）根据第（1）项或第（2）项的信息处理设备，其中：
控制器基于眼睛睁开程度随时间的变换来控制显示器的表示。
（4）根据第（1）至（3）项中任一项的信息处理设备，其中：
控制器基于用户的左眼和右眼之间的眼睛睁开程度的差别来控制显示器的表示。
（5）根据第（1）至（4）项中任一项的信息处理设备，其中：
检测单元检测作为用户的眼睛的区域的眼睛区域的面积，作为该眼睛睁开程度，以及
控制器根据眼睛区域的面积变化量和高度变化量之一来控制显示器的表示。
（6）根据第（1）至（5）项中任一项的信息处理设备，其中：
检测单元检测作为用户的眼睛的区域的眼睛区域的面积，作为该眼睛睁开程度，以及
控制器根据该眼睛区域中的用户的左眼和右眼之间的面积比和高度比之一来控制显示器的表示。
（7）根据第（1）至（6）项中任一项的信息处理设备，其中：
控制器根据该面积变化量和该高度变化量之一来改变显示目标图像的显示放大倍数，以使得显示器显示显示目标图像。
（8）根据第（1）至（7）项中任一项的信息处理设备，其中：
当用户执行输入操作时，控制器固定显示放大倍数。
（9）根据第（1）至（8）项中任一项的信息处理设备，其中：
当该面积变化量和该高度变化量之一大于或等于预定值时，控制器使得显示器显示显示目标图像的特定布局区域。
（10）根据第（1）至（9）项中任一项的信息处理设备，其中：
控制器控制显示器显示显示目标图像的位于显示器中心处的布局区域作为该特定布局区域。
（11）根据第（1）至（10）项中任一项的信息处理设备，其中：
当该面积比和该高度比之一大于或等于预定值时，控制器改变用于生成要显示在显示器上的显示图像的应用。
（12）根据第（1）至（11）项中任一项的信息处理设备，其中：
当用户执行输入操作时，控制器固定用于生成显示器图像的应用，而不管此后将获得的面积比和高度比如何。
（13）根据第（1）至（12）项中任一项的信息处理设备，其中：
当检测单元检测到眼睛睁开程度时，控制器使得显示器显示指示眼睛睁开程度已被检测到的表示。
（14）根据第（1）至（13）项中任一项的信息处理设备，其中：
控制器基于预定时间段内眼睛睁开程度的最大值来执行对用户的眼睛尺寸的校准。
（15）一种程序，使得计算机用作：
检测单元，被配置用于对成像单元所捕获的捕获图像执行图像处理，以检测该捕获图像中的用户的眼睛睁开程度；以及
控制器，被配置用于基于检测单元的检测结果来控制显示器的表示，该显示器具有朝向与成像单元的成像方向相同的方向的显示表面。
本公开包含与2011年6月13日在日本专利局递交的日本在先专利申请JP2011-131120中公开的主题相关的主题，该日本申请的全部内容通过引用合并在此。
本领域的技术人员应当理解，可以根据设计需求和其它因素进行各种变型、组合、子组合和变更，只要所述变型、组合、子组合和变更在所附权利要求或其等同内容的范围之内即可。

Claims (15)

1.一种信息处理设备，包括：
成像单元，被配置用于捕获图像以获取捕获图像；
显示器，具有显示表面，所述显示表面朝向与所述成像单元的成像方向相同的方向；
检测单元，被配置用于对所述捕获图像执行图像处理，以检测所述捕获图像中的用户的眼睛睁开程度；以及
控制器，被配置用于基于所述检测单元的检测结果来控制所述显示器的表示。
2.根据权利要求1所述的信息处理设备，其中：
所述检测单元检测作为所述捕获图像中的所述用户的面部的区域的面部区域，并设置所述面部区域中的被预测为包括所述用户的眼睛的眼睛搜索区域，以对所述眼睛搜索区域执行所述图像处理。
3.根据权利要求1所述的信息处理设备，其中：
所述控制器基于所述眼睛睁开程度随时间的变化来控制所述显示的表示。
4.根据权利要求1所述的信息处理设备，其中：
所述控制器基于所述用户的左眼和右眼之间的眼睛睁开程度的差别来控制所述显示器的表示。
5.根据权利要求3所述的信息处理设备，其中：
所述检测单元检测作为所述用户的眼睛的区域的眼睛区域的面积，作为所述眼睛睁开程度；以及
所述控制器根据所述眼睛区域的面积变化量和高度变化量之一来控制所述显示器的表示。
6.根据权利要求4所述的信息处理设备，其中：
所述检测单元检测作为所述用户的眼睛的区域的眼睛区域的面积，作为所述眼睛睁开程度；以及
所述控制器根据所述眼睛区域中的所述用户的左眼和右眼之间的面积比和高度比之一来控制所述显示器的表示。
7.根据权利要求5所述的信息处理设备，其中：
所述控制器根据所述面积变化量和所述高度变化量之一来改变显示目标图像的显示放大倍数，以使得所述显示器显示所述显示目标图像。
8.根据权利要求7所述的信息处理设备，其中：
所述控制器在所述用户执行输入操作时固定所述显示放大倍数。
9.根据权利要求5所述的信息处理设备，其中：
所述控制器在所述面积变化量和所述高度变化量之一大于或等于预定值时使得所述显示器显示显示目标图像的特定布局区域。
10.根据权利要求9所述的信息处理设备，其中：
所述控制器使得所述显示器显示所述显示目标图像的位于所述显示器中心处的布局区域作为所述特定布局区域。
11.根据权利要求6所述的信息处理设备，其中：
所述控制器在所述面积比和所述高度比之一大于或等于预定值时改变用于生成要显示在所述显示器上的显示图像的应用。
12.根据权利要求11所述的信息处理设备，其中：
所述控制器在所述用户执行输入操作时固定所述用于生成显示图像的应用，而不管此后获得的所述面积比和所述高度比如何。
13.根据权利要求1所述的信息处理设备，其中：
所述控制器在所述检测单元检测到所述眼睛睁开程度时使得所述显示器显示指示所述眼睛睁开程度被检测到的表示。
14.根据权利要求1所述的信息处理设备，其中：
所述控制器基于预定时间段内所述眼睛睁开程度的最大值执行对用户眼睛的尺寸的校准。
15.一种信息处理方法，包括：
对成像单元所捕获的捕获图像执行图像处理，以检测所述捕获图像中的用户的眼睛睁开程度；以及
基于所述检测的结果来控制具有朝向与所述成像单元的成像方向相同的方向的显示表面的显示器的表示。
CN2012101851100A 2011-06-13 2012-06-06 信息处理设备和方法 Pending CN102854979A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-131120 2011-06-13
JP2011131120A JP5915000B2 (ja) 2011-06-13 2011-06-13 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN102854979A true CN102854979A (zh) 2013-01-02

Family

ID=47292853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101851100A Pending CN102854979A (zh) 2011-06-13 2012-06-06 信息处理设备和方法

Country Status (3)

Country Link
US (2) US9182816B2 (zh)
JP (1) JP5915000B2 (zh)
CN (1) CN102854979A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399636A (zh) * 2013-07-30 2013-11-20 深圳市中兴移动通信有限公司 通过眼睛动作调整终端字体大小的方法及装置
CN106557735A (zh) * 2015-09-30 2017-04-05 松下知识产权经营株式会社 状态判定装置、闭眼判定装置、状态判定方法和记录介质
CN106774921A (zh) * 2016-12-28 2017-05-31 深圳天珑无线科技有限公司 背光亮度调节方法、装置及终端
CN110109592A (zh) * 2016-09-23 2019-08-09 苹果公司 头像创建和编辑
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
CN103699213A (zh) * 2012-12-19 2014-04-02 苏州贝腾特电子科技有限公司 虚拟鼠标双击的控制方法
JP2015014938A (ja) * 2013-07-05 2015-01-22 由田新技股▲分▼有限公司 車内アイコントロール方法、およびその方法を実現する電子デバイス
JP6276954B2 (ja) * 2013-09-24 2018-02-07 株式会社日立国際電気 映像監視システム
US9305225B2 (en) 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
US9549118B2 (en) 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
JP2016112358A (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、手術顕微鏡システム及び情報処理方法
JP2017130201A (ja) * 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
JP6514651B2 (ja) * 2016-02-15 2019-05-15 ルネサスエレクトロニクス株式会社 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム
JP6843527B2 (ja) * 2016-06-03 2021-03-17 株式会社ニデック 眼科装置、および眼科装置制御プログラム
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN107818543B (zh) * 2017-11-09 2021-03-30 北京小米移动软件有限公司 图像处理方法及装置
CN109963068A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理方法、系统及终端设备
CN111913561A (zh) * 2019-05-07 2020-11-10 中移(苏州)软件技术有限公司 基于眼睛状态的显示方法及装置、显示设备及存储介质
JP2020038698A (ja) * 2019-11-07 2020-03-12 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法、及びプログラム
WO2023181862A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62186346A (ja) * 1986-02-13 1987-08-14 Casio Comput Co Ltd グラフ表示機能を備えた小型電子式計算機
JPH09160714A (ja) * 1995-12-05 1997-06-20 Seishiro Yoshihara 眼鏡枠等搭載スイッチ
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
JP2004314855A (ja) * 2003-04-17 2004-11-11 Sumitomo Electric Ind Ltd 機器動作制御方法及び機器動作制御システム
CN1193284C (zh) * 1998-09-28 2005-03-16 松下电器产业株式会社 用于分割手势的方法和设备
CN101133438A (zh) * 2005-03-01 2008-02-27 松下电器产业株式会社 电子显示介质和用于电子显示介质的屏幕控制方法
JP2009294740A (ja) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp データ処理装置及びプログラム
US20110102455A1 (en) * 2009-11-05 2011-05-05 Will John Temple Scrolling and zooming of a portable device display with device motion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06308918A (ja) * 1993-04-21 1994-11-04 Fujitsu Ltd 画面表示制御方法及び画面表示制御装置
JP4565200B2 (ja) * 1998-09-28 2010-10-20 パナソニック株式会社 手動作分節方法および装置
JP3531503B2 (ja) * 1998-11-02 2004-05-31 日産自動車株式会社 眼の状態検出装置及び居眠り運転警報装置
JP4201644B2 (ja) * 2003-05-22 2008-12-24 日立情報通信エンジニアリング株式会社 端末装置及び端末装置の制御プログラム
RU2395228C2 (ru) * 2004-04-01 2010-07-27 Уилльям С. ТОРЧ Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
JP2006085334A (ja) * 2004-09-15 2006-03-30 Canon Inc 自動拡大制御装置、自動縮小制御装置、自動拡大縮小制御装置
JP2008003816A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
GB2440966A (en) * 2006-08-15 2008-02-20 Vb Uk Ip Ltd Determining the distance of visual fixation using measurements of the respiratory system and/or from eyelid function
JP2008053856A (ja) * 2006-08-22 2008-03-06 Olympus Imaging Corp 撮像装置
JP2010009502A (ja) * 2008-06-30 2010-01-14 Nec Corp 携帯端末、表示動作制御方法、及び表示制御プログラム
JP5129076B2 (ja) 2008-09-26 2013-01-23 Ｎｅｃパーソナルコンピュータ株式会社 入力装置、情報処理装置、及びプログラム
JP5423339B2 (ja) * 2009-11-18 2014-02-19 船井電機株式会社 映像表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62186346A (ja) * 1986-02-13 1987-08-14 Casio Comput Co Ltd グラフ表示機能を備えた小型電子式計算機
JPH09160714A (ja) * 1995-12-05 1997-06-20 Seishiro Yoshihara 眼鏡枠等搭載スイッチ
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
CN1193284C (zh) * 1998-09-28 2005-03-16 松下电器产业株式会社 用于分割手势的方法和设备
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
JP2004314855A (ja) * 2003-04-17 2004-11-11 Sumitomo Electric Ind Ltd 機器動作制御方法及び機器動作制御システム
CN101133438A (zh) * 2005-03-01 2008-02-27 松下电器产业株式会社 电子显示介质和用于电子显示介质的屏幕控制方法
JP2009294740A (ja) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp データ処理装置及びプログラム
US20110102455A1 (en) * 2009-11-05 2011-05-05 Will John Temple Scrolling and zooming of a portable device display with device motion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于兴玲等: ""驾驶员眼睛疲劳状态检测技术研究"", <<传感器与微系统>> *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11869165B2 (en) 2010-04-07 2024-01-09 Apple Inc. Avatar editing environment
CN103399636A (zh) * 2013-07-30 2013-11-20 深圳市中兴移动通信有限公司 通过眼睛动作调整终端字体大小的方法及装置
CN106557735A (zh) * 2015-09-30 2017-04-05 松下知识产权经营株式会社 状态判定装置、闭眼判定装置、状态判定方法和记录介质
US11681408B2 (en) 2016-06-12 2023-06-20 Apple Inc. User interfaces for retrieving contextually relevant media content
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11941223B2 (en) 2016-06-12 2024-03-26 Apple Inc. User interfaces for retrieving contextually relevant media content
CN110109592A (zh) * 2016-09-23 2019-08-09 苹果公司 头像创建和编辑
CN106774921A (zh) * 2016-12-28 2017-05-31 深圳天珑无线科技有限公司 背光亮度调节方法、装置及终端
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US11822778B2 (en) 2020-05-11 2023-11-21 Apple Inc. User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Also Published As

Publication number Publication date
JP5915000B2 (ja) 2016-05-11
US9933850B2 (en) 2018-04-03
US9182816B2 (en) 2015-11-10
JP2013003647A (ja) 2013-01-07
US20160004307A1 (en) 2016-01-07
US20120314047A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN102854979A (zh) 信息处理设备和方法
US11822761B2 (en) Shared-content session user interfaces
KR102054633B1 (ko) 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US11907605B2 (en) Shared-content session user interfaces
EP3105669B1 (en) Application menu for video system
JP5069723B2 (ja) スクリーン表示範囲分割方法およびスクリーン表示範囲分割システム、コンピュータプログラム
US20090102804A1 (en) Touch-based apparatus and method thereof
CN110574000B (zh) 显示装置
WO2020000971A1 (zh) 切换全局特效的方法、装置、终端设备及存储介质
JP5220157B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
CN106489128A (zh) 分屏显示的方法及电子装置
EP3262581A1 (en) Opening new application window in response to remote resource sharing
JP7000289B2 (ja) プログラム、情報処理装置、および方法
US9990117B2 (en) Zooming and panning within a user interface
WO2015127731A1 (zh) 软键盘布局调整方法及装置
US9791997B2 (en) Information processing apparatus, system, information processing method, and program
EP3316109A1 (en) Computer-implemented method for controlling a remote device with a local device
US9864500B2 (en) Application for controlling auto scroll of content as a function of tilting the device
JP7289208B2 (ja) プログラム、情報処理装置、および方法
JP7087046B2 (ja) プログラム、情報処理装置、および方法
US20240094876A1 (en) Screenshot method, electronic device, and computer program product thereof
WO2022037247A1 (en) Device, method and system for operating device
CN117768693A (zh) 共享内容会话用户界面
JP2020149427A (ja) 表示装置、表示制御プログラムおよび表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130102