CN102830794A - 信息处理装置和程序 - Google Patents

信息处理装置和程序 Download PDF

Info

Publication number
CN102830794A
CN102830794A CN2012101857554A CN201210185755A CN102830794A CN 102830794 A CN102830794 A CN 102830794A CN 2012101857554 A CN2012101857554 A CN 2012101857554A CN 201210185755 A CN201210185755 A CN 201210185755A CN 102830794 A CN102830794 A CN 102830794A
Authority
CN
China
Prior art keywords
image
display
signal conditioning
generation unit
conditioning package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101857554A
Other languages
English (en)
Other versions
CN102830794B (zh
Inventor
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102830794A publication Critical patent/CN102830794A/zh
Application granted granted Critical
Publication of CN102830794B publication Critical patent/CN102830794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

一种信息处理装置,包括成像单元、显示器、检测单元和图像生成单元。成像单元被配置用于捕获图像以获取被捕获图像。显示器具有显示面,该显示面朝向与成像单元的成像方向相同的方向。检测单元被配置用于对被捕获图像执行成像处理以检测面部区域,该面部区域为在被捕获图像中的用户的面部的区域。图像生成单元被配置成基于检测单元的检测的结果生成显示在显示器上的显示图像。

Description

信息处理装置和程序
技术领域
本申请涉及包括成像单元和显示器的信息处理装置,以及用于该信息处理装置的程序。
背景技术
近年来,随着个人数字助理和平板PC(个人计算机)的广泛使用,结合其用户群的扩张,越来越需要改进这样的装置的可用性。具体地,存在如下需要:将用户的必要操作减少至最少,实现用户直观操作等。
例如,日本专利申请公报No.2009-238061([0013]段,图1)(以下称为专利文件1)公开了一种包括用户检测传感器的信息处理装置。当用户检测传感器检测到用户时,信息处理装置自动从省电模式恢复。信息处理装置被设定为在不接收用户的操作的情况下显示预定的界面屏幕。
发明内容
然而,考虑到专利文件1中公开的信息处理装置甚至在用户经过该装置附近时就做出反应。例如,考虑到了如果缩短用户检测传感器的检测距离,就克服了该问题。然而,相反地,出现了该装置直到用户来到非常接近该装置的位置时才做出反应的问题。
鉴于以上描述的情况,期望提供具有高可用性的信息处理装置及用于其的程序。
根据本公开的实施例,提供一种信息处理装置,包括成像单元、显示器、检测单元和图像生成单元。
成像单元被配置用于被捕获图像以获取被捕获图像。
显示器具有显示面,该显示面面向与成像单元的成像方向相同的方向。
检测单元被配置用于对被捕获图像执行成像处理以检测面部区域,该面部区域为在被捕获图像中的用户的面部的区域。
图像生成单元被配置用于基于检测单元的检测的结果生成显示在显示器上的显示图像。
通过这种配置,由于成像单元的成像方向被设定为显示器的显示面所面向的方向,当用户打算看显示面时,用户的面部自然地落入成像单元的成像范围。因此,由于图像生成单元基于检测单元的检测的结果生成显示图像,当用户打算看显示面时,预定的显示图像可被显示。
当检测单元检测到面部区域时,图像生成单元可在被捕获图像上叠加显示对象以生成显示图像。
通过这种配置,生成了通过在被捕获图像上叠加显示对象(显示在显示图像中的图形)而获得的显示图像。由于被捕获图像中包括用户的面部,显示对象与用户的面部图像一起显示在显示图像中。例如,显示信息项目诸如用户的日程表、收到邮件的数量等显示在该显示对象中,结果是当用户看到他/她的面部(将显示器作为镜子使用)时可参考那些显示信息项目。
图像生成单元可布置显示对象以使显示对象不与面部区域重叠。
在显示图像为通过在被捕获图像上叠加显示对象而获得的图像的情况下,显示对象有可能与显示图像中包括的用户的面部重叠,从而用户的面部被遮蔽。这里,当图像生成单元布置显示对象以不与面部区域重叠时,可防止用户的面部被显示对象遮蔽。
图像生成单元可调节显示对象的尺寸以使显示对象不与所述面部区域重叠。
使用这种配置,可避免用户的面部被显示对象遮蔽。
图像生成单元可调节显示对象的位置从而避免显示对象与面部区域重叠。
使用这种配置,可避免用户的面部被显示对象遮蔽。
图像生成单元可生成包括显示信息的显示图像,该显示信息具有根据面部区域的尺寸限定的信息粒度。
如上所述,尽管检测单元用于检测被捕获图像中用户的面部区域,该面部区域的尺寸表示用户和成像单元之间的距离。在用户的面部靠近显示器的情况下,用户可观看显示图像的细节(甚至具有小字符)。然而,在用户的面部远离显示器的情况下,用户难以观看到显示图像的细节。因此,图像生成单元根据面部区域的尺寸限定显示信息的信息粒度(信息细节的细度),因此用户可参考具有对应于显示器和面部之间距离的信息粒度的显示信息。
图像生成单元可参考预先登记的用户的面部的特征来识别被捕获图像中包括的个人用户,并生成包括与该个人用户对应的显示信息的显示图像。
使用这种配置,图像生成单元生成包括针对面对显示器的每个用户的显示信息的显示图像。因此,用户可看到他/她自己的显示信息,并且即使在其它用户面对显示器时也可防止用户不想让其他用户看到的显示信息被显示。这在例如多个用户共享单个信息处理装置的情况下是有效的。
当在所述被捕获图像中检测到多个面部区域时,图像生成单元可生成包括对应于该面部区域的数量的显示信息的显示图像。
使用这种配置,图像生成单元可生成包括显示信息的显示图像,该显示信息对应于检测出的面部区域的数量,即成像单元的成像范围中包括的用户的数量。因此,用户可参考对应于用户的数量的显示信息,而无需单独输入信息处理装置的用户的数量。
图像生成单元可生成包括如下显示信息的显示图像,该显示信息具有根据面部区域的尺寸限定的字符尺寸和字符数量。
使用这种配置,图像生成单元可作为根据面部区域的尺寸限定的信息粒度改变字符尺寸和字符数量。
图像生成单元可生成包括显示信息的显示图像,作为具有根据面部区域的尺寸限定的绘制范围的显示目标图像。
使用这种配置,图像生成单元可改变作为根据面部区域的尺寸限定的信息粒度的显示目标图像的绘制范围。
当在被捕获图像中检测到多个面部区域时,图像生成单元可生成包括对应于个人用户的显示信息之外的显示信息的显示图像。
使用这种配置,在成像单元的成像范围中包括多个用户的情况下,图像生成单元可被配置为不显示对应于个人用户的显示信息,即,被配置为确保用户的私密性和安全性。
根据本公开另一个实施例,提供了一种使计算机用作如下单元的程序:
检测单元,被配置用于对由成像单元捕获的被捕获图像执行成像处理以检测面部区域,该面部区域为在被捕获图像中的用户的面部的区域;以及
图像生成单元,被配置用于基于检测单元的检测结果生成显示在显示器上的显示图像,该显示器面向与成像单元的成像方向相同的方向。
根据本公开的另一个实施例,提供一种包括检测单元和图像生成单元的信息处理装置。
该检测单元被配置用于对由成像单元捕获的被捕获图像执行成像处理以检测面部区域,该面部区域为在被捕获图像中的用户的面部的区域。
该图像生成单元被配置用于基于检测单元的检测结果生成显示在显示器上的显示图像,该显示器面向与成像单元的成像方向相同的方向。
如上所述,根据本公开,有可能提供一种具有高可用性的信息处理装置及用于该装置的程序。
根据以下对在附图中图示的本公开的最佳实施例的详细描述,本公开的这些及其他目的、特征和优点将变得更明显。
附图说明
图1为示出了根据本公开的第一实施例的信息处理装置的功能配置的框图。
图2为示出信息处理装置的硬件配置的框图;
图3为示出信息处理装置的外观的透视图;
图4为示出信息处理装置的操作的流程图;
图5为示出经信息处理装置的操作所成的图像的例子的图;
图6为示出经根据本公开的第二实施例的信息处理装置的操作所成的图像的例子的图;
图7为示出根据经本公开的第三实施例的信息处理装置的操作所成的图像的例子的图;以及
图8为示出经本公开的第四实施例的信息处理装置的操作所成的图像的例子的图。
具体实施方式
根据本发明实施例,提供一种信息处理装置,包括:成像单元,被配置用于捕获图像以获取被捕获图像;显示器,具有显示面,该显示面朝向与所述成像单元的成像方向相同的方向;检测单元,被配置用于对所述被捕获图像执行成像处理以检测面部区域,该面部区域为在所述被捕获图像中用户的面部的区域;图像生成单元,被配置用于基于所述检测单元的检测的结果生成显示在所述显示器上的显示图像。
(第一实施例)
将对根据本公开的第一实施例的信息处理装置进行描述。
<信息处理装置的配置>
图1为示出信息处理装置1的功能配置的框图,且图2为示出信息处理装置1的硬件配置的框图。图3为示出信息处理装置1的外观的透视图。以下将使用平板PC(个人计算机)作为信息处理装置1的具体例子进行描述,但是信息处理装置1不限于此。例如,信息处理装置1可以为个人数字助理或固定式PC。
如图1所示,信息处理装置1包括照相机11、检测单元12、图像生成单元13、以及显示器14,并且这些部件互相连接。
照相机11为可捕获数字图像的照相机。照相机11可以是能够将移动图像作为连续静止图像来捕获的照相机,例如使用诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)的成像设备的照相机。以下,照相机11捕获的图像被称为“被捕获图像”。
检测单元12在被捕获图像上执行图像处理并在被捕获图像中检测用户面部的区域(以下称为面部区域)。随后将描述检测单元12进行的具体检测操作。检测单元12将在被捕获图像中的面部区域的检测结果输出至图像生成单元13。
图像生成单元13基于检测结果生成要在显示器14上显示的显示图像。稍后描述图像生成单元13进行的显示图像的生成。
显示器14是能够显示图像的设备。显示器14可以是诸如EL(电致发光)显示器或液晶显示器的直观式显示器,或者可以是诸如投影仪的投影式显示器。此外,显示器14可以是镜面显示器,其中透过型显示设备布置在镜面上。
显示器14具有朝向与照相机11的成像方向相同的方向的显示面(显示屏,投影仪的投影面,镜面等)(参见图3)。具体地,显示器14与照相机11具有如下位置关系,其中在用户面对显示面的情况下用户的面部落入照相机11的成像范围中。
上述信息处理装置1的功能配置通过图2所示的硬件配置实现。如图2所示,除了照相机11和显示器14,信息处理装置1还包括存储器15、内存16、CPU(中央处理单元)17,以及输入IF(接口)18。上述这些部件通过总线19互相连接。应该注意,这里描述的信息处理装置1的硬件配置为示例,可采用能够实现上述信息处理装置1的功能配置的各种配置。
存储器15为例如HDD(硬盘驱动器)或者SSD(固态驱动器)的辅助存储设备,并存储要经历CPU 17的计算处理的程序、随后描述的用作“显示信息”的数据等。
内存16为例如DRAM(动态随机存取存储器)的主存储设备,存储由CPU 17从存储器15读取的程序、计算处理的结果,等等。
CPU 17从内存16读取程序并执行计算处理。换句话说,信息处理装置1以CPU 17作为操作的主体而发挥功能。
输入IF 18为信息处理装置1的输入接口,且可以是诸如触摸板、键盘和鼠标的输入设备。特别地,在显示器14为直观式显示器的情况下,输入IF 18可以是触摸板。
图3所示的信息处理装置1包括设置到壳体20的显示器14和照相机11。输入IF 18与显示器14一体地形成。存储器15、内存16、CPU 17、输入IF 18和总线19容纳在壳体20中。
<信息处理装置的操作>
现在将描述信息处理装置1的操作。
图4为示出信息处理装置1的操作的流程图。图5为示出经信息处理装置1的操作所成的图像的例子的示意图。以下针对图4所示的流程图的每个步骤(St)来描述信息处理装置1的操作。
首先,照相机11在其成像方向捕获图像并获得被捕获图像(St1)。使用照相机11进行的成像可为连续的(可作为移动图像捕获图像)或者可为间歇的(例如,可每秒捕获若干图像)。这里,假定以照相机11捕获图5A所示的被捕获图像S。应当注意被捕获图像S为要在信息处理装置1内部处理的图像,不是要在显示器14上显示的图像。照相机11将被捕获图像S输出至检测单元12。
检测单元12在被捕获图像S上执行“面部区域”的检测处理(St2)。“面部区域”指的是在检测单元12中识别出是人的面部的区域。检测单元12可通过模板匹配来检测面部区域。
具体地,检测单元12将被捕获图像S二值化,将得到的图像处理成低分辨率的图像,并使用代表人面部特征的模板搜索图像,从而在被捕获图像S中检测面部区域。此外,检测单元12可通过各种算法检测面部图像。
在步骤2中检测到面部区域的情况下(St2:是),图像生成单元13生成显示图像(St3A)。图5B示出图像生成单元13生成的显示图像Ha(Ha1)的例子。
具体地,图像生成单元13可生成显示图像,该显示图像中“显示对象”i被叠加在被捕获图像S上。显示对象分别是显示在显示图像上的图形,且可以是提供给用户的各种显示信息项目,例如包括当前时间、日程表、收到电子邮件的数量等的小项目(附属项目)。进一步地,显示对象的例子包括GUI(图形用户接口),如用户可选择的图标以及通过预定应用生成的图形。
如图5B所示,图像生成单元13可通过在被捕获图像S上叠加显示对象i来生成显示图像Ha1。由于显示图像Ha1是在被捕获图像S中包括用户面部(St2:是)的情况下生成的图像,显示图像Ha1包括用户的面部和显示对象i。
在步骤2中没有检测到面部区域的情况下(St2:否),图像生成单元13可生成不包括显示信息项目的显示图像(St3B)。图5C示出由图像生成单元13生成的显示图像Hb的例子。显示图像Hb可以是例如存储在存储器15中的屏保或者照片图像。
图像生成单元13将步骤3A或3B中生成的显示图像Ha或者显示图像Hb输出至显示器14。显示器14显示从图像生成单元13输出的显示图像Ha或者显示图像Hb(St4)。之后,从获取被捕获图像(St1)开始再次重复处理。
以下将连同用户操作一起描述信息处理装置1的以上操作。在用户没有靠近信息处理装置1的情况下,在利用照相机11获取的被捕获图像中没有检测到面部区域(St2:否),因此显示图像Hb被显示。此时,信息处理装置1被假定用作例如数字相框。
当用户靠近信息处理装置1并将面部转向显示器14时,用户的面部落入照相机11的成像范围,结果在被捕获图像中检测到面部区域(St2:是)。于是,生成显示图像Ha并将其显示在显示器14上。换句话说,仅当用户在一定的距离范围内将面部转向显示器14时,可将显示图像Ha显示在显示器14上。
根据本实施例的信息处理装置1执行如上所述的操作。通过信息处理装置1,用户可不执行任何操作就显示显示图像Ha。另一方面,当用户从信息处理装置移开并将面部转向其它方向,显示图像Ha的显示可自动结束。
应当注意,在本实施例中,图像生成单元13在被捕获图像S上叠加显示对象i以生成显示图像Ha,但是不限于此。例如,在显示器14为镜面显示器的情况下,用户的面部反映在镜中。因此,图像生成单元13可仅生成显示对象i作为显示图像。另外,图像生成单元13可在与被捕获图像S无关联的图像上叠加显示对象i以由此生成显示图像。
进一步地,本实施例中,在步骤2中没有检测到面部区域的情况下,图像生成单元13生成显示图像Hb,但是图像生成单元13可被配置为不生成任何图像。在这种情况中,只要没有检测到用户的面部,信息处理装置1就不显示图像(显示器14关闭)。
(第二实施例)
将针对根据本公开的第二实施例的信息处理装置进行描述。在第二实施例中,将省略对与第一实施例相同的配置和操作的描述。根据该实施例的信息处理装置包括与根据第一实施例的信息处理装置1相同的功能配置和硬件配置。
在第一实施例中,在被捕获图像S中检测到面部区域的情况下,图像生成单元13生成通过在被捕获图像S上叠加显示对象i获得的显示图像Ha。根据本实施例的信息处理装置1用于基于面部区域在被捕获图像中的位置调节显示对象i的布局。
<信息处理装置的操作>
将对根据本实施例的信息处理装置1的操作进行描述。
图6为示出通过根据本实施例的信息处理装置1的操作所成的图像的例子的图。以下针对图4所示的流程图的每个步骤(St)来描述信息处理装置的操作。
首先,照相机11在其成像方向上捕获图像并获取被捕获图像(未示出)(St1)。照相机11将被捕获图像输出至检测单元12。
检测单元12在被捕获图像上执行“面部区域”的检测处理(St2)。检测单元12可通过模板匹配检测面部区域。
在步骤2中检测到面部区域的情况下(St2:是),图像生成单元13生成通过在被捕获图像S上叠加显示对象i获得的显示图像(St3A)。图6A、6B、6C和6D示出分别由图像生成单元13生成的显示图像Ha(Ha2、Ha3、Ha4和Ha5)。
图像生成单元13调节显示对象i的布置(布局),从而不与检测单元12检测的面部区域重叠并将显示对象i叠加在被捕获图像上,以由此生成显示图像Ha。
具体地,图像生成单元13可布置显示对象i以不与检测单元12检测的面部区域重叠,如图6A和6B所示。在图6A所示的显示图像Ha2和图6B所示的显示图像Ha3中,显示对象i的位置相对于用户的面部位置而改变。
进一步地,如图6C和6D所示,图像生成单元13可在显示对象i不与面部区域重叠的范围内增加或减小显示对象i的尺寸(包括字符尺寸等)。在图6C所示的显示图像Ha4和图6D所示的显示图像Ha5中,显示对象i的尺寸根据用户面部的尺寸(根据用户和信息处理装置1之间的距离)而变化。
在没有在步骤2中检测到面部区域的情况下(St2:否),图像生成单元13可生成不包括显示信息项目的显示图像Hb(参见图5C)(St3B)。
图像生成单元13将步骤3A或3B中生成的显示图像Ha或显示图像Hb输出至显示器14。显示器14显示从图像生成单元13输出的显示图像Ha或显示图像Hb(St4)。之后,从被捕获图像的获取(St1)开始再次重复处理。
以下将连同用户操作一起描述信息处理装置1的以上操作。在用户没有靠近信息处理装置1的情况下,在使用照相机11获取的被捕获图像中没有检测到面部区域(St2:否),因此显示图像Hb被显示。当用户接近信息处理装置1且将面部转向显示器14时,用户的面部落入照相机11的成像范围中,结果是在被捕获图像中检测到面部区域(St2:是)。于是,生成显示图像Ha并将其显示在显示器14上。换句话说,仅当用户在一定的距离范围内将面部转向显示器14时,才开始显示图像Ha的显示。
进一步地,由于在本实施例中显示对象i被布置为不与用户的面部相重叠,照相机11所成像的用户的面部被显示,而不被显示对象i所遮蔽。进一步地,同样地在用户与照相机11的相对位置变化的情况下,显示对象i的布置根据该变化而调整,且用户的面部被持续显示,而不被显示对象i遮蔽。因此,用户可看到他/她自己的面部,而不被显示对象i阻碍。
(第三实施例)
将对根据本公开第三实施例的信息处理装置进行描述。在第三实施例中,将省略对于与第一实施方式中相同的配置和操作的描述。根据本实施例的信息处理装置包括与根据第一实施例的信息处理装置1相同的功能配置和硬件配置。
在第一实施例中,在被捕获图像S中检测到面部区域的情况下,图像生成单元13生成显示图像Ha。根据本实施例的信息处理装置1用于基于面部区域的尺寸调节显示信息项目的信息粒度。
<信息处理装置的操作>
将对根据本实施例的信息处理装置1的操作进行描述。
图7为示出根据本实施例的信息处理装置1的操作所成的图像的例子的图。以下将针对图4所示的流程图中的每个步骤(St)描述信息处理装置的操作。
首先,照相机11在其成像方向捕获图像,并获取被捕获图像(未示出)(St1)。照相机11将被捕获图像输出至检测单元12。
检测单元12在被捕获图像上执行“面部区域”的检测处理(St2)。检测单元12可通过模板匹配来检测面部区域。
在步骤2中检测到面部区域的情况下(St2:是),图像生成单元13生成通过在被捕获图像上叠加显示对象i获得的显示图像(St3A)。图7A、7B和7C示出分别由图像生成单元13生成的显示图像Ha(Ha6、Ha7和Ha8)。
图像生成单元13基于在被捕获图像中的面部区域的尺寸来限定显示信息项目的“信息粒度”,并生成显示图像Ha,该面部区域是由检测单元12检测的。信息粒度指的是显示信息项目中的细节的细度。具有小信息粒度的信息为详细的信息,具有大信息粒度的信息为简化的信息。具体地,信息粒度可被设为显示信息项目的字符数量和字符尺寸和要显示的图像的绘制范围。
在所检测的面部区域大(用户靠近照相机11)的情况下,图像生成单元13生成包括显示对象i的显示图像,在该显示对象i中显示了具有小信息粒度的显示信息项目。进一步地,在所检测的面部区域小(用户远离照相机11)的情况下,图像生成单元13生成包括显示对象i的显示图像,在该显示对象i中显示具有大信息粒度的显示信息项目。图7A示出在面部区域大的情况下的显示图像Ha6,图7B示出在面部区域小的情况下的显示图像Ha7。
在图7A所示的显示图像Ha6中,显示了包括具有小信息粒度(例如详细的日程表)的显示信息项目的显示对象i。在图7B所示的显示图像Ha7中,显示了包括具有大信息粒度(例如简化的日程表)的显示信息项目的显示对象i。进一步地,类似于第二实施例的情况,如图7C所示,图像生成单元13可将显示对象i布置成不与面部区域重叠,以由此生成显示图像Ha8。
应该注意,在本实施例中,显示信息项目不一定在显示对象i中显示,且在显示器14上仅显示基于面部区域的尺寸限定了信息粒度的显示信息项目。在上面的例子中,日程表作为显示信息项目的示例。然而,大尺寸的地图信息可作为具有小的信息粒度的显示信息项目被设置到显示图像,小尺寸的地图信息可作为具有大的信息粒度的显示信息项目被设置到显示图像。
在步骤2中没有检测到面部区域的情况下(St2:否),图像生成单元13可生成不包括显示信息项目的显示图像Hb(参见图5C)(St3B)。
图像生成单元13将步骤3A或3B中生成的显示图像Ha或显示图像Hb输出至显示器14。显示器14显示从图像生成单元13输出的显示图像Ha或显示图像Hb(St4)。之后,从被捕获图像的获取(St1)开始再次重复处理。
以下将连同用户的操作一起描述信息处理装置1的以上操作。在用户没有靠近信息处理装置1的情况下,在利用照相机11获取的被捕获图像中没有检测到面部区域(St2:否),因此显示图像Hb被显示。当用户靠近信息处理装置1并将面部转向显示器14时,用户的面部落入照相机11的成像范围,结果是在被捕获图像中检测到面部区域(St2:是)。于是,生成显示图像Ha并将其显示在显示器14上。换句话说,仅当用户在一定的距离范围内将面部转向显示器14时,才开始显示图像Ha的显示。
进一步地,在本实施例中,显示信息项目的信息粒度根据被捕获图像中的面部区域的尺寸而改变,即,根据用户与照相机11之间的距离而改变。在与照相机11的距离大的情况下,用户可看到简化(对用户友好)的显示信息项目,在与照相机11的距离短的情况下,用户可看到详细的显示信息项目。换句话说,用户可不直接操作信息处理装置1,而通过使面部靠近或远离照相机11来改变显示信息项目的信息粒度。
(第四实施例)
将对根据本发明第四实施例的信息处理装置进行描述。在第四实施例中,将省略对于与第一实施例中的相同的配置和操作的描述。根据本实施例的信息处理装置包括与根据第一实施例的信息处理装置相同的功能配置和硬件配置。
在第一实施例中,当在被捕获图像中检测到面部区域的情况下,图像生成单元13生成显示图像Ha。根据本实施例的信息处理装置1用于基于所检测的面部区域识别用户并针对每个用户选择显示信息项目。
<信息处理装置的操作>
将对根据本实施例的信息处理装置1的操作进行描述。
图8是示出根据本实施例的信息处理装置1的操作所成的图像的例子的图。以下将针对图4所示的流程图的每个步骤(St)描述信息处理装置的操作。
首先,照相机11在其成像方向捕获图像并获取被捕获图像(St1)。照相机11将被捕获图像输出至检测单元12。
检测单元12对被捕获图像执行“面部区域”的检测处理(St2)。检测单元12可通过模板匹配检测面部区域。
在步骤2中检测到面部区域的情况下(St2:是),图像生成单元13生成包括上述显示信息项目的显示图像(St3A)。图8A和8B分别示出由图像生成单元13生成的显示图像Ha(Ha9和Ha10)。
图像生成单元13对被捕获图像执行用户识别处理。通过比较预先登记的关于用户面部图像的信息和被捕获图像来执行用户识别处理。关于用户面部图像的信息是指在图像中的特征信息,例如用户眼睛的间距。可使用各种算法实现基于面部图像的该用户识别处理。
图像生成单元13根据如上所述识别出的用户选择要显示在显示对象i中的显示信息项目。具体地,例如,可针对每个用户选择个人日程表、电子邮件的到达等。进一步地,即使在识别出用户中的任何一个时,也可选择要在多个用户间共享的显示信息项目。
图8A示出在某个用户被识别的情况下生成的显示图像Ha9,图8B示出在另一个用户被识别的情况下生成的显示图像Ha10。
如在第二和第三实施例中所描述的,图像生成单元13可将显示对象i叠加在被捕获图像上,以不与面部区域重叠,或者可根据面部区域的尺寸改变信息粒度。
应注意,在本实施例中,显示信息项目不一定在显示对象i中显示,且只有根据所识别的用户选择出的显示信息项目才可显示在显示器14上。
在步骤2中没有检测到面部区域的情况下(St2:否),图像生成单元13可生成不包括显示信息项目的显示图像Hb(参见图5C)(St3B)。
图像生成单元13将在步骤3A或3B中生成的显示图像Ha或显示图像Hb输出至显示器14。显示器14显示从图像生成单元13输出的显示图像Ha或显示图像Hb(St4)。之后,从被捕获图像的获取(St1)开始再次重复处理。
以下将连同用户的操作一起描述信息处理装置1的以上操作。在用户不靠近信息处理装置1的情况下,在利用照相机11获取的被捕获图像中没检测到面部区域(St2:否),因此显示图像Hb被显示。当用户靠近信息处理装置1并将面部转向显示器14的情况下,用户的面部落入照相机11的成像范围中,因此在被捕获图像中检测到面部区域(St2:是)。于是,生成包括显示对象i的显示图像Ha并将其显示在显示器14上。换句话说,仅当用户在一定的距离范围内将面部转向显示器14时,才开始显示图像Ha的显示。
进一步地,在本实施例中,根据在被捕获图像中识别的个人用户选择要显示在显示图像Ha中的显示信息项目。例如,在多个用户共享单个信息处理装置1的情况下,每个用户可查阅对他/她来说必要的信息,无需任何用于登录该单个的信息处理装置1的输入。进一步地,一个用户的显示信息项目不对另一个用户显示,这在私密性和安全性方面是有效的。
(第五实施例)
将对根据本公开第五实施例的信息处理装置进行描述。在第五实施例中,将省略对与第一实施例中相同的配置和操作的描述。根据本实施例的信息处理装置包括与根据第一实施例的信息处理装置1相同的功能配置和硬件配置。
在第一实施例中,在被捕获图像中检测到面部区域的情况下,图像生成单元13生成显示图像Ha。根据本实施例的信息处理装置1用于使用所检测的面部区域的数量(用户的数量)选择显示信息项目。
<信息处理装置的操作>
将对根据本实施例的信息处理装置1的操作进行描述。
以下将针对图4所示的流程图中的每个步骤(St)描述信息处理装置的操作。
首先,照相机11在其成像方向捕获图像并获取被捕获图像(St1)。照相机11将被捕获图像输出至检测单元12。
检测单元12在被捕获图像上执行“面部区域”的检测处理(St2)。检测单元12可通过模板匹配检测面部区域。
在步骤2中检测到面部区域的情况下(St2:是),图像生成单元13生成包括上述显示信息项目的显示图像(St3A)。
图像生成单元13根据检测单元12所检测的面部区域的数量、即根据照相机11的成像范围中存在的用户的数量选择要在显示对象i中显示的显示信息项目。具体地,在检测到多个面部区域的情况下,图像生成单元13可生成包括针对一大群人的显示信息项目的显示图像,如游戏的显示图像。
进一步地,生成图像生成单元13也可依照私密性和安全性生成不包括预定的显示信息项目的显示图像。再者,通过使用在第四实施例中描述的用户识别信息,图像生成单元13还可在包括特定用户的情况下生成不包括预定显示信息项目的显示图像,或者在包括特定用户的情况下,生成包括预定显示信息项目的显示图像。
应注意,在本实施例中,显示信息项目不一定显示在显示对象i中,只有根据识别出的用户选择的显示信息项目可显示在显示器14上。
在步骤2中没有检测到面部区域的情况下(St2:否),图像生成单元13可生成不包括显示信息项目的显示图像Hb(参见图5C)(St3B)。
图像生成单元13将步骤3A或3B中生成的显示图像Ha或显示图像Hb输出至显示器14。显示器14显示从图像生成单元13输出的显示图像Ha或显示图像Hb(St4)。之后,从被捕获图像的获取(St1)开始再次重复处理。
以下将连同用户操作一起描述信息处理装置1的以上操作。在用户没有靠近信息处理装置1的情况下,在利用照相机11获取的被捕获图像中没有检测到面部区域(St2:否),因此显示图像Hb被显示。当用户靠近信息处理装置1并将面部转向显示器14时,用户的面部落入照相机11的成像范围中,因此在被捕获图像中检测到面部区域(St2:是)。于是,生成显示图像Ha并将其显示在显示器14上。也就是说,仅当用户在一定的距离范围内将面部转向显示器14时,才开始显示图像Ha的显示。
进一步地,在本实施例中,根据在被捕获图像中检测的面部区域的数量选择要在显示图像Ha中显示的显示信息项目。因此,即使当多个用户同时使用信息处理装置1时,也不需要诸如登记用户数量的操作输入,这是方便的。进一步地,在检测到多个用户的情况下,防止了预定的显示信息项目被显示,这在私密性和安全性方面是有效的。
本公开不限于上面的实施例且可在不脱离本发明的要点的情况下进行各种改进。
应注意,本公开可采用以下配置。
(1)一种信息处理装置,包括:
成像单元,被配置用于捕获图像以获取被捕获图像;
显示器,具有显示面,该显示面朝向与所述成像单元的成像方向相同的方向;
检测单元,被配置用于对所述被捕获图像执行成像处理以检测面部区域,该面部区域为在所述被捕获图像中用户的面部的区域;
图像生成单元,被配置用于基于所述检测单元的检测的结果生成显示在所述显示器上的显示图像。
(2)根据项目(1)的信息处理装置,其中,
当所述检测单元检测到所述面部区域时,所述图像生成单元将显示对象叠加在所述被捕获图像上以生成所述显示图像。
(3)根据项目(1)或(2)的信息处理装置,其中,
所述图像生成单元将所述显示对象布置成使得防止所述显示对象与所述面部区域重叠。
(4)根据项目(1)至(3)中任一项的信息处理装置,其中,
所述图像生成单元将所述显示对象的尺寸调节成使得防止所述显示对象与所述面部区域重叠。
(5)根据项目(1)至(4)中任一项的信息处理装置,其中,
所述图像生成单元将所述显示对象的位置调节成使得防止所述显示对象与所述面部区域重叠。
(6)根据项目(1)至(5)中任一项的信息处理装置,其中,
所述图像生成单元生成包括显示信息的所述显示图像,该显示信息具有根据所述面部区域的尺寸限定的信息粒度。
(7)根据项目(1)至(6)中任一项的信息处理装置,其中,
所述图像生成单元参考预先登记的用户的面部的特征来识别所述被捕获图像中包括的个人用户,并生成包括与所述个人用户对应的显示信息的显示图像。
(8)根据项目(1)至(7)中任一项的信息处理装置,其中,
当在所述被捕获图像中检测到多个面部区域时,所述图像生成单元生成包括对应于所述面部区域的数量的显示信息的显示图像。
(9)根据项目(1)至(8)中任一项的信息处理装置,其中,
所述图像生成单元生成包括具有根据所述面部区域的尺寸限定的字符尺寸和字符数量的显示信息的显示图像。
(10)根据项目(1)至(9)中任一项的信息处理装置,其中,
所述图像生成单元生成包括显示信息的显示图像,作为具有根据所述面部区域的尺寸限定的绘制范围的显示目标图像。
(11)根据项目(1)至(10)中任一项的信息处理装置,其中,
当在所述被捕获图像中检测到多个面部区域时,所述图像生成单元生成包括对应所述个人用户的显示信息之外的显示信息的显示图像。
(12)一种使计算机作为如下单元发挥功能的程序:
检测单元,被配置用于对由成像单元捕获的被捕获图像执行成像处理以检测面部区域,该面部区域为在所述被捕获图像中用户的面部的区域;以及
图像生成单元,被配置用于基于所述检测单元的检测的结果生成显示在显示器上的显示图像,该显示器朝向与所述成像单元的成像方向相同的方向。
本发明包括与2011年6月13日在日本专利局提交的日本在先专利申请JP 2011-131158的公开内容相关的主题,该日本在先专利申请的全部内容通过引用合并于此。
本领域的技术人员应当理解,可根据设计需求和其它因素出现各种改进、组合、子组合和改变,只要其落入权利要求或其等同物的范围内。

Claims (12)

1.一种信息处理装置,包括:
成像单元,被配置用于捕获图像以获取被捕获图像;
显示器,具有显示面,该显示面朝向与所述成像单元的成像方向相同的方向;
检测单元,被配置用于对所述被捕获图像执行成像处理以检测面部区域,该面部区域为在所述被捕获图像中用户的面部的区域;
图像生成单元,被配置用于基于所述检测单元的检测的结果生成显示在所述显示器上的显示图像。
2.根据权利要求1的信息处理装置,其中,
当所述检测单元检测到所述面部区域时,所述图像生成单元将显示对象叠加在所述被捕获图像上以生成所述显示图像。
3.根据权利要求2的信息处理装置,其中,
所述图像生成单元将所述显示对象布置成使得防止所述显示对象与所述面部区域重叠。
4.根据权利要求3的信息处理装置,其中,
所述图像生成单元将所述显示对象的尺寸调节成使得防止所述显示对象与所述面部区域重叠。
5.根据权利要求3的信息处理装置,其中,
所述图像生成单元将所述显示对象的位置调节成使得防止所述显示对象与所述面部区域重叠。
6.根据权利要求1的信息处理装置,其中,
所述图像生成单元生成包括显示信息的所述显示图像,该显示信息具有根据所述面部区域的尺寸限定的信息粒度。
7.根据权利要求1的信息处理装置,其中,
所述图像生成单元参考预先登记的用户的面部的特征来识别所述被捕获图像中包括的个人用户,并生成包括与所述个人用户对应的显示信息的显示图像。
8.根据权利要求1的信息处理装置,其中,
当在所述被捕获图像中检测到多个面部区域时,所述图像生成单元生成包括对应于所述面部区域的数量的显示信息的显示图像。
9.根据权利要求6的信息处理装置,其中,
所述图像生成单元生成包括具有根据所述面部区域的尺寸限定的字符尺寸和字符数量的显示信息的显示图像。
10.根据权利要求6的信息处理装置,其中,
所述图像生成单元生成包括显示信息的显示图像,所述显示信息是具有根据所述面部区域的尺寸限定的绘制范围的显示目标图像。
11.根据权利要求7的信息处理装置,其中,
当在所述被捕获图像中检测到多个面部区域时,所述图像生成单元生成包括对应所述个人用户的显示信息之外的显示信息的显示图像。
12.一种使计算机作为如下单元发挥功能的程序:
检测单元,被配置用于对由成像单元捕获的被捕获图像执行成像处理以检测面部区域,该面部区域为在所述被捕获图像中用户的面部的区域;以及
图像生成单元,被配置用于基于所述检测单元的检测的结果生成显示在显示器上的显示图像,该显示器朝向与所述成像单元的成像方向相同的方向。
CN201210185755.4A 2011-06-13 2012-06-06 信息处理装置和程序 Active CN102830794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011131158A JP5807399B2 (ja) 2011-06-13 2011-06-13 情報処理装置及びプログラム
JP2011-131158 2011-06-13

Publications (2)

Publication Number Publication Date
CN102830794A true CN102830794A (zh) 2012-12-19
CN102830794B CN102830794B (zh) 2017-03-01

Family

ID=47292749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210185755.4A Active CN102830794B (zh) 2011-06-13 2012-06-06 信息处理装置和程序

Country Status (3)

Country Link
US (1) US8860661B2 (zh)
JP (1) JP5807399B2 (zh)
CN (1) CN102830794B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575437A (zh) * 2014-08-26 2017-04-19 索尼公司 信息处理装置、信息处理方法以及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
EP2753074A4 (en) 2011-08-29 2015-08-05 PICTURE DISPLAY DEVICE AND METHOD, PICTURE GENERATING DEVICE AND METHOD AND PROGRAM
JP5880459B2 (ja) * 2013-01-23 2016-03-09 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
JP6149952B2 (ja) * 2016-01-25 2017-06-21 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
CN112307800A (zh) * 2019-07-24 2021-02-02 华为技术有限公司 视频会议中电子铭牌的显示方法和装置
JP7454523B2 (ja) * 2021-04-16 2024-03-22 アフラック生命保険株式会社 ミラー型表示装置及び情報提供システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001645A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
CN101676913A (zh) * 2008-09-16 2010-03-24 奥林巴斯映像株式会社 图像检索装置、数字照相机以及图像检索方法
US20100259473A1 (en) * 2008-09-29 2010-10-14 Kotaro Sakata User interface device, user interface method, and recording medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236013A (ja) * 2005-02-25 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム
JP2008276274A (ja) * 2005-07-04 2008-11-13 Nec Corp 情報処理装置及び情報処理方法
JP4781181B2 (ja) * 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント ユーザインタフェースプログラム、装置および方法、情報処理システム
JP4877762B2 (ja) * 2006-07-19 2012-02-15 株式会社ソニー・コンピュータエンタテインメント 表情誘導装置および表情誘導方法、表情誘導システム
JP2009156948A (ja) * 2007-12-25 2009-07-16 Fujitsu Ltd 表示制御装置、表示制御方法、及び、表示制御プログラム
JP5128991B2 (ja) 2008-03-28 2013-01-23 Necパーソナルコンピュータ株式会社 情報処理装置および入力装置
JP2010067104A (ja) * 2008-09-12 2010-03-25 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP5347549B2 (ja) * 2009-02-13 2013-11-20 ソニー株式会社 情報処理装置および情報処理方法
CA2771274A1 (en) * 2009-09-23 2011-03-31 United Video Properties, Inc. Systems and methods for automatically detecting users within detection regions of media devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001645A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
CN101676913A (zh) * 2008-09-16 2010-03-24 奥林巴斯映像株式会社 图像检索装置、数字照相机以及图像检索方法
US20100259473A1 (en) * 2008-09-29 2010-10-14 Kotaro Sakata User interface device, user interface method, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575437A (zh) * 2014-08-26 2017-04-19 索尼公司 信息处理装置、信息处理方法以及程序
CN106575437B (zh) * 2014-08-26 2020-06-05 索尼公司 信息处理装置、信息处理方法以及程序

Also Published As

Publication number Publication date
US20120313851A1 (en) 2012-12-13
US8860661B2 (en) 2014-10-14
CN102830794B (zh) 2017-03-01
JP2013003650A (ja) 2013-01-07
JP5807399B2 (ja) 2015-11-10

Similar Documents

Publication Publication Date Title
US11102398B2 (en) Distributing processing for imaging processing
CN102830794A (zh) 信息处理装置和程序
US9747428B2 (en) Dynamic keyboard and touchscreen biometrics
EP3885986B1 (en) User terminal apparatus and iris recognition method thereof
EP2701152B1 (en) Media object browsing in a collaborative window, mobile client editing, augmented reality rendering.
JP5872142B2 (ja) Ui提供方法及びこれを適用したディスプレイ装置
CN103197825B (zh) 图像处理装置和显示控制方法
WO2017221741A1 (ja) 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
TWI633499B (zh) 全景影像的顯示方法及其電子裝置
US11386586B2 (en) Method and electronic device for adding virtual item
KR20150099317A (ko) 이미지 처리 방법 및 장치
US10003716B2 (en) Generation of a digest video
EP3617851A1 (en) Information processing device, information processing method, and recording medium
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
TWI634453B (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法,及其相關電腦程式產品
US11689816B2 (en) Imaging apparatus, operation method of imaging apparatus, and program
US20200257396A1 (en) Electronic device and control method therefor
CN114153361B (zh) 界面显示方法、装置、终端及存储介质
US20230026684A1 (en) Biometric authentication system and electronic device for same
JP2013109590A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20230388447A1 (en) Subject-based smart segmentation of video feed on a transmitting device
JP2014238750A (ja) 入力装置、そのプログラム及び画像表示システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant