CN1846227A - 电子设备与电子设备中的响应信息输出方法 - Google Patents

电子设备与电子设备中的响应信息输出方法 Download PDF

Info

Publication number
CN1846227A
CN1846227A CNA2004800250069A CN200480025006A CN1846227A CN 1846227 A CN1846227 A CN 1846227A CN A2004800250069 A CNA2004800250069 A CN A2004800250069A CN 200480025006 A CN200480025006 A CN 200480025006A CN 1846227 A CN1846227 A CN 1846227A
Authority
CN
China
Prior art keywords
information
response message
user
image
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800250069A
Other languages
English (en)
Inventor
山田伸
森田芳
西村真
大西惠加
田代隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1846227A publication Critical patent/CN1846227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种能够模拟虚拟人物的电子设备。非用户的人可以与虚拟人物通信,并且用户可以与其他人一起享用。经由输入部分(5)输入的输入图像信息与在非易失性存储器(4)的注册字典中存储的用户面部图像数据或面部特征数据作比较,并且生成响应信息。注册字典包含相应面部区域上的部分区域图像数据或特征数据,并且根据关于从输入图像信息中提取的面部区域的图像信息与注册字典之间的相似度而生成该响应信息。响应信息被输出到显示部分(6),作为模拟虚拟人物动作的信息。图像信息的输入、与注册字典的比较、响应信息的生成、以及响应信息的输出都由控制部分(1)控制。

Description

电子设备与电子设备中的响应信息输出方法
技术领域
本发明涉及一种基于图像信息作出响应的电子设备、一种在基于图像信息作出响应的同时能够模拟虚拟人物(character)的电子设备、以及一种电子设备中的响应信息输出方法。
背景技术
作为与虚拟人物进行通信的电子设备,人们已经提出了在专利文件1与专利文件2中公开的一些电子设备。
在专利文件1中公开的虚拟宠物装置对诸如语音、图像等外部刺激作出适当的响应。该虚拟宠物装置分析外部刺激,标识输入该刺激的人,并且根据所标识的人及其识别程度而作出响应。另一方面,在专利文件2中公开的用户识别程度增长系统可应用于诸如玩具机器人、游戏机器人、家务机器人、工业机器人等机器人设备、以及诸如导航机器、售货机、自动接收系统等各种交互式机器。该用户识别程度增长系统比较所识别的用户信息与所存储的用户信息,计算用户识别的程度,并且根据所计算的用户识别程度而校正所选择的行为或选择行为的方法。
即,在专利文件1与专利文件2中公开的每种电子设备中,根据已从外部输入语音或图像的人是否是已注册的人,并且当该人为已注册的人时,根据识别的程度(熟悉度),来作出响应。相应地,未注册的人无法与虚拟人物通信。即使他们可以通信,该通信也会限制于简单通信。由此,该电子设备的所有者不能与他/她的朋友一起充分地利用它。另外,不对所输入的语音或图像直接作出响应。因此,响应易被标准化。
(专利文件1)国际公开号00/53281小册子
(专利文件2)日本专利公开号2001-51970
考虑到以上情况开发了本发明。本发明的一个目的在于提供一种电子设备以及一种响应信息输出方法,该电子设备能够模拟虚拟人物,并且其中非用户的人可以与该虚拟人物通信,从而用户能与其他人一起利用该电子设备。本发明的另一目的在于提供一种电子设备以及一种响应信息输出方法,其可对输入图像作出各种响应。
发明内容
根据本发明的电子设备将根据图像信息作出响应。该电子设备包含:图像输入部件,用来输入图像信息;已注册字典存储部件,用来存储包含用户的面部图像数据或者面部特征数据的已注册字典;响应信息生成部件,用来利用通过图像输入部件输入的输入图像信息、以及已注册字典,而生成响应信息;以及输出部件,用来基于响应信息输出,其中已注册字典包含每个面部部分的部分区域图像数据或者特征数据,以及响应信息生成部件基于从输入图像信息中提取的每个面部部分的图像信息与已注册字典之间的相似度而生成响应信息。根据本发明,根据从输入图像信息中提取的每个面部部分的图像信息生成响应信息。因此,可以对输入图像作出有变化的响应。
根据本发明的电子设备还包含:人物模拟部件,用来模拟虚拟人物,其中该人物模拟部件生成用来根据响应信息模拟所述人物的行为的模拟响应信息,以及输出部件基于模拟响应信息而输出。根据本发明,作出模拟虚拟人物的响应。因此,用户可以享受与该人物的通信。
根据本发明的电子设备包含一种电子设备,其中该响应信息生成部件将已注册字典与输入图像信息相互比较,确定输入图像信息是否指明用户的图像,并且生成根据该确定结果而变化的响应信息。根据本发明,非用户的人可以与虚拟人物通信。因此,用户可以与其他人一起使用该电子设备。
根据本发明的电子设备包含一种电子设备,其中当推断出该输入图像信息指明用户的图像时,基于输入图像数据,而更新包含在已注册字典中的用户的面部图像数据或者面部特征数据。根据本发明,只要用户使用该电子设备,就在考虑最近面部图像数据的情况下更新已注册字典。因此,可以作出更适当的响应。
根据本发明的电子设备包含一种电子设备,其中当推断出该输入图像信息指明用户的图像时,该响应信息包含关于输入图像信息与用户的每个面部部分的部分区域图像数据或者特征数据之间的相似度低的面部部分的信息。根据本发明,对用户作出关于与用户一般面部的部分不同的部分的响应。因此,用户可以享受该响应。
根据本发明的电子设备包含一种电子设备,其中当推断出输入图像信息不指明用户的图像时,该响应信息包含关于输入图像信息的每个面部部分的部分区域图像数据或者特征数据与在已注册字典中包含的每个面部部分的部分区域图像数据或者特征数据之间的相似度高的面部部分的信息。根据本发明,可以对非用户的人的图像输入作出关于与用户部分相像的人或者与用户相像的部分的响应。因此,用户可以与其他人一起使用该电子设备。当非用户的人或者用户周围的人的图像数据或特征数据存储为已注册字典时,用户可以更好地享受该响应。
根据本发明的电子设备包含一种电子设备,其中已注册字典包含通过网络从数据提供服务器下载的图像数据或者特征数据。根据本发明,包含演艺者、名人等等的大量人的面部图像可以容易地存储为已注册字典。
根据本发明的电子设备包含一种电子设备,其中该响应信息生成部件使用通过网络从数据提供服务器下载的信息来生成响应信息。根据本发明,可以适当地选择响应信息生成算法。因此,用户可以享受更多变的响应。
根据本发明的电子设备包含一种电子设备,其中可以更新利用下载信息生成的响应信息。根据本发明,可以定期或者根据用户希望而改变响应信息生成算法。因此,用户可以享受更多变的响应。
根据本发明的电子设备包含一种电子设备,其中图像输入部件包含图像拾取部件。根据本发明,可以容易地输入图像信息。例如,当面部进入诸如相机等图像拾取部件的视野时,可以自动输入所拍摄的图像,并且可以根据所输入的图像信息输出响应。由此,多个用户可以一起享用该电子设备。
根据本发明的电子设备包含一种电子设备,其中该输出部件包含图像显示部件。根据本发明,可以容易地输出响应。
根据本发明的响应信息输出方法为一种在基于图像信息作出响应的电子设备中的响应信息输出方法。该响应信息输出方法包含:图像输入步骤,用来输入图像信息;已注册字典存储步骤,用来存储包含用户的面部图像数据或者面部特征数据的已注册字典;响应信息生成步骤,用来利用在图像输入步骤中输入的输入图像信息、以及包含用户的面部图像数据或者面部特征数据的已注册字典,而生成响应信息;以及输出步骤,用来基于在响应信息生成步骤中生成的响应信息而输出,其中已注册字典包含每个面部部分的部分区域图像数据或者特征数据,以及该响应信息生成步骤基于从输入图像信息中提取的每个面部部分的图像信息与已注册字典之间的相似度,而生成响应信息。
根据本发明的响应信息输出方法包含一种响应信息输出方法,其中所述电子设备包含人物模拟部件,用来模拟虚拟人物,该响应信息输出方法还包含:模拟响应信息生成步骤,用来使人物模拟部件生成模拟响应信息,用来根据在响应信息生成步骤中生成的响应信息模拟所述人物的行为,以及输出步骤基于模拟响应信息而输出。
根据本发明的响应信息输出方法包含一种响应信息输出方法,其中响应信息生成步骤将已注册字典与输入图像信息相互比较,确定输入图像信息是否指明用户的图像,并且生成根据该确定结果而变化的响应信息。
根据本发明的响应信息输出方法还包含以下步骤:当推断出该输入图像信息指明用户的图像时,基于输入图像数据,而更新包含在已注册字典中的用户的面部图像数据或者面部特征数据。
根据本发明的程序为一种用来通过利用计算机来执行上述响应信息输出方法的相应步骤的程序。
根据本发明,可以提供一种电子设备与一种响应信息输出方法,其中非用户的人可以与虚拟人物通信,从而用户可以与其他人一起使用该电子设备。另外,可以提供一种电子设备与一种响应信息输出方法,其可以对输入图像作出变化的响应。
附图说明
图1为显示根据本发明的实施方式的配备有相机的手机的示意配置的图。
图2为显示根据本发明的实施方式的、作为例子的、在配备有相机的手机的用户的面部信息数据库中注册的用户面部信息的项目的图。
图3为显示根据本发明的实施方式的、作为例子的、配备有相机的手机的任意(discretionary)面部信息数据库的配置的图。
图4为显示根据本发明的实施方式的、作为例子的、在配备有相机的手机的人属性表中存储的项目的图。
图5为在根据本发明的实施方式的配备有相机的手机中、当根据输入图像信息作出响应时的示意性操作流程图。
图6为显示在根据本发明的实施方式的配备有相机的手机中、当根据输入图像信息作出响应时的显示部分的显示例子的视图。
图7为显示在根据本发明的实施方式的配备有相机的手机的响应数据库中存储的信息的例子的图。
顺便提及,图中的附图标记1表示控制部分、2表示ROM、3表示RAM、4表示非易失性存储器、5表示图像拾取部分、6表示显示部分、7表示操作部分、10表示内部总线、20表示通信部分、21表示天线、30表示语音处理部分、31表示麦克风、32表示扬声器、以及100表示配备有相机的手机。
具体实施方式
以下将参照附图描述本发明的实施方式。在该实施方式中,适用的电子设备为配备有相机的手机。然而,适用的对象不限于配备有相机的手机。
图1为显示根据本发明的实施方式的作为电子设备的配备有相机的手机的示意配置的图。图1中的配备有相机的手机100包含:控制部分1、ROM 2、RAM 3、非易失性存储器4、图像拾取部分5、显示部分6、操作部分7、内部总线10、通信部分20、天线21、语音处理部分30、麦克风31、以及扬声器32。
控制部分1作为一个整体控制手机100的操作。控制部分1主要由处理器(未显示)构成,用来执行预定程序。控制部分1控制数据与命令通过内部总线10而在手机100的相应组件之间相互传送。另外,控制部分1还具有以下功能:利用所输入的图像信息以及在非易失性存储器4中存储的上述字典图像数据,而生成响应信息,这将在以后进行描述。另外,控制部分1还具有以下功能:模拟虚拟人物。当输出模拟该人物行为的图像时,通过显示部分6输出该图像。当输出模拟该人物行为的语音时,通过语音处理部分30与扬声器32输出该语音。
ROM 2存储要由构成控制部分1的处理器执行的程序或者要在手机100中使用的各种数据。RAM 3为用来暂时存储数据的存储器。当控制部分1执行各种处理时,RAM 3还被用做工作存储器。非易失性存储器4包含(例如)EEPROM。非易失性存储器4存储以后将描述的已注册字典与响应信息摸板,同时当用户使用该配备有相机的手机100时充当各种数据文件。
图像拾取部分5包含透镜等光学系统、图像拾取装置、图像处理部分(也未显示)等等。图像拾取部分5基于所拍摄的图像信号而输出数字图像数据。图像拾取部分5类似于在相关技术的配备有相机的手机中已提供的图像拾取部分。正常拍照模式下的图像拾取部分5的操作也与相关技术的配备有相机的手机中的图像拾取部分的操作类似。即,在拍照模式下,在显示部分6上显示直通图像(through image)。当操作操作部分7的快门按钮时,此时基于所拍摄的图像信号的数字图像数据被暂时保存在RAM 3中。当从操作部分7给出保存该数据的指令时,该数据被存储在非易失性存储器4中。顺便提及,进行此类拍照操作的配备有相机的手机是公知的。因此,将省略其详细描述。
图像拾取部分5用作图像输入部件,用来在游戏模式下输入图像信息,在该模式下,基于图像信息作出响应,这将在下面进行描述。在该模式下,用户经常在察看显示部分6的显示屏幕的同时操作图像拾取部分5。因此,优选地是,将图像拾取部分5的镜头对准(trained)显示部分6的显示表面一侧。该配置可以通过以下达到。即,当配备多个图像拾取部分5时,一个图像拾取部分5用于拍摄显示部分6的显示表面一侧。可替换地,在游戏模式下,当使图像拾取部分5的拍摄方向可变时,将拍摄方向设置在显示部分6的显示表面一侧上。
显示部分6显示手机100的各种信息。显示部分6由在其上进行显示的液晶显示板、以及驱动该液晶显示板的显示控制电路(也未显示)构成。
操作部分7用来允许用户输入操作手机100的命令或数据。操作部分7包含:十键键盘,用来输入电话号码或者各种数据;各种功能键等等。这些键具有根据操作模式而变化的功能。如下所述,这些键还具有以下功能:在正常拍照模式下为快门按钮或者缩放按钮,在游戏模式下为拍摄图像输入指令键。另外,这些键还用于数据输入,以与由控制部分1所模拟的虚拟人物进行通信。
连接到天线21的通信部分20与外界进行无线通信。通信部分20从天线21发送载波上的发送数据,并且对从天线21接收的接收数据进行解码。当所解码的数据为语音数据时,该数据被发出到语音处理部分30。当所解码的数据为其他数据时,在控制部分1的控制下,通过内部总线10将该数据发出到控制部分1、RAM 3、非易失性存储器4等等。另一方面,发送数据直接从语音处理部分30输入、或者通过内部总线10从另一组件输入。
语音处理部分30将从麦克风31输入的音频信号转换为数字数据,并且将该数字数据输出到通信部分20作为发送数据。另外,语音处理部分30将从通信部分20输出的接收数据(语音数据)转换为模拟音频信号,并且将模拟音频信号输出到扬声器32。另外,语音处理部分30还可以将基于来自麦克风31的音频信号的数字数据通过内部总线10发出到控制部分1等等,同时将通过内部总线10输入的数字数据转换为音频信号,并且将音频信号输出到扬声器32。
接着,将对图1的配备有相机的手机100的操作进行描述。该手机100不仅具有利用语音进行呼叫的功能,而且具有使用图像拾取部分5的相机功能,使用通信部分20的数据通信功能,以及游戏功能。这些功能可以通过操作操作部分7的预定键而有选择地激活。顺便提及,所述语音呼叫功能、相机功能以及数据通信功能与现有技术中的那些功能类似,因此省略其描述。
游戏功能包含利用基于输入图像信息的响应为用户提供娱乐的功能。所述响应由模拟虚拟人物行为的输出来实现。预先在非易失性存储器4中存储的已注册字典用来生成响应信息。因此,将首先描述已注册字典。
已注册字典包括用户的面部信息数据库以及任意面部信息数据库。用户的面部信息数据库用来存储手机100的用户的面部信息,包括用户面部每个部分的部分区域图像数据、或者用户面部每个部分的特征数据。图2显示在用户的面部信息数据库中注册的用户面部信息项目。在这些项目中注册的数据通过分析预先输入的用户面部图像而生成。对于诸如眼睛、鼻子、嘴巴、耳朵、眉毛等项目,这些项目的顶点坐标可以用做用户的面部信息。对于轮廓,轮廓线上多个点的坐标可以用做用户的面部信息。对于发型,其中二元地区分毛发区域与其他区域的数据可以用做用户的面部信息。另外,对于组件布局数据,注册诸如眼睛、鼻子、嘴巴等代表性组件的相对位置数据。顺便提及,对于眼睛、鼻子、嘴巴、耳朵、眉毛等项目,可以将其缩略图像而非其顶点坐标用做用户的面部信息。例如,对于眼睛,可以将切割出来包含眼睛的、然后缩减的、围绕眼睛的图像用做用户的面部信息。
顺便提及,假定用户将其面部图像数据或面部特征数据已被注册的一人或多人预先指定为用户。该面部图像数据或面部特征数据通过以下注册:输入由图像拾取部分5拍摄的用户的面部图像数据,并且由控制部分1分析所输入的数据。优选地是,利用多条面部图像数据作为要注册的数据。为此,可以如下所述使用当使用游戏功能时标识为用户的图像数据的分析结果。当使用多条面部图像数据时,可以使用这些数据的平均值,或者可以注册其分布。
任意面部信息数据库存储任意面部信息。该任意面部信息包括一个人的面部或者多个人的面部的每一部分的图像数据或特征数据。图3显示任意面部信息数据库的配置的例子。在该任意面部信息数据库中注册的人是任意的。例如,用户熟人的面部图像或者诸如演艺者等名人的面部图像可以用做要注册的人。另外,可以包含用户的面部图像。任意面部信息数据库可以利用由图像拾取部分5拍摄的用户面部图像数据来创建,或者可以利用从未显示的数据提供服务器下载的面部图像数据来创建。可替换地,任意面部信息数据库本身可被下载。为了下载,预先使手机100可由数据提供服务器通过网络访问。
在任意面部信息数据库中注册的每条任意面部信息都与对应人的ID相关联地存储,从而可以标识任意面部信息的原始图像所指示的人。另外,在非易失性存储器4中提供用于存储人的属性数据的人的属性表,以与该人的ID相关联。图4显示在人的属性表中存储的项目,作为例子。如下所述,人的属性表的数据可以用来生成基于输入图像信息的响应信息。顺便提及,与任意面部信息数据库的注册相呼应地存储人的属性表的数据。当从数据提供服务器下载要注册的面部图像数据时,优选地是一起下载人的属性数据。另外,在数据提供服务器中,可以与人的ID相关联地存储以后将描述的响应数据库。在这种情况下,当提供要注册的任意面部图像信息数据库的数据时,优选地是一起下载响应数据库。
随后,将描述当在游戏模式下根据输入图像信息作出响应时的操作。图5是当根据输入图像信息执行响应时的示意操作流程图。图5中的操作由控制部分1的程序控制。
在步骤S501将手机100设置为游戏模式之后,通过使用图像拾取部分5对面部图像拍照,并且输入所拍摄的图像信息(步骤S502)。当手机100的控制部分1具有模拟虚拟人物的功能时,在显示部分6上显示图6(a)与6(b)所示的图像,以提示用户操作。在图6的例子中,由控制部分1模拟的人物为猫。在将手机100设置为游戏模式之前,显示图6(a)所示的正在睡觉或者自由玩耍的猫的图像。然后,一旦在步骤S501将手机100设置为游戏模式,该猫就面对前方,并且问问题,如图6(b)所示。在这种状态下,图像拾取部分5可以拍照,同时在显示部分6上显示来自图像拾取部分5的直通图像。在这之后,操作操作部分7的快门按钮,以允许图像拾取部分5拍照。所获得的图像信息被输入,并且被存储在RAM 3中。
顺便提及,由控制部分1模拟的人物可以是对诸如猫等实际有生命对象的模拟、对虚拟有生命对象的模拟、或者是对诸如机器人等无生命对象的模拟。在各种游戏机中已经公知此类用于显示模拟人物的图像的技术。因此将省略对该技术的描述。另外,来自该人物的消息不仅可以通过书写的文字来显示,而且可以通过语音输出。简直可以说,可以只显示书写的文字以提示图像输入,而不使用模拟人物的技术。
当输入图像信息时,从所输入的图像信息中提取面部的每一面部部分的图像信息(步骤S503)。将所提取的图像信息与用户面部信息数据库的用户面部信息作比较(步骤S504),并且确定所输入的图像信息是否指明用户(步骤S505)。作为该确定方法,可以使用各种方法。例如,获得每个面部部分的相似度以及主要组件的布局的相似度,并且可以使用这些相似度的分数(预先适当地定义权重)。
当所输入的图像信息指明用户时,根据需要在步骤S506更新用户面部信息数据库。该更新处理可以被跳过,或者只有当相似度高时才执行。
在步骤S507,生成响应信息。此处,根据从所输入的图像信息中提取的每一面部部分的图像信息与用户面部信息数据库的用户面部信息之间的单独比较的结果而获得该响应信息。可以通过使用在图7所示响应数据库中存储的信息,来生成根据该比较结果的响应信息。根据在响应数据库中存储的响应信息,当使用关于在所输入的图像信息与用户面部信息之间具有低相似度的面部部分的信息时,指明与用户普通面部的差别。由此,该响应可以为用户提供娱乐。
顺便提及,预先在非易失性存储器中存储响应数据库。从数据供应服务器下载的信息可以用做在响应数据库中存储的数据。另外,当定期改变由数据提供服务器提供的信息时,更富于变化的响应可以为用户提供娱乐。
在步骤S507中生成的响应信息被输出到显示部分6作为图像数据(步骤S508)。图6(c)显示其例子。这一例子是尽管推断所输入的图像信息指明用户,但是具体的发型相似度低时的响应例子。顺便提及,对于基于所输入的图像信息的响应信息的输出,该响应信息可以不仅使用模拟虚拟人物的图像输出,而且可以与语音信息一起输出。另外,当手机100没有模拟虚拟人物的功能时,该响应信息可以简单地在显示部分6上显示为文本信息,或者可以语音形式输出到扬声器32。另外,当生成关于面部每个部分的信息时,可以存储该面部的拍摄日期或者拍摄地点的信息。然后,可以输出诸如“您的脸与三个月前相似”等响应。
在输出响应信息之后,确定是否还要继续游戏(步骤S509)。当应该继续游戏时,处理程序返回到步骤S502,在其中输入图像信息。
当在步骤S505推断所输入的图像信息不指明用户时,从所输入的图像信息中提取的每一面部部分的图像信息与任意面部信息数据库的任意面部信息作比较(步骤S510)。然后,在步骤S507生成根据该比较结果的响应信息。在这种情况下,通过选择作为比较的结果的相似度高的任意面部信息、并且利用与对应面部部分以及对应人相关联的信息,来生成响应信息。
具体地,当提取与所输入图像相似度高的任意面部信息时,通过利用人的ID,并参照图4所示的人的属性表,而获取对应于与该任意面部信息对应的人的ID的人的属性。然后,利用关于面部部分与人的属性的信息,生成响应信息。例如,假定所提取的任意面部信息包含在眼睛图像数据库中,并且属于演艺者A的眼睛图像数据。在这种情况下,生成“您的眼睛与A的相像”的响应句子。当用户与多条用户面部信息的相似度高时,生成例如“您与X(用户名称)先生相像。您是X先生的亲戚吗?”的响应句子。预先在响应数据库中准备好生成响应句子的模板。顺便提及,可以准备方言响应数据库,以生成方言响应句子。另外,可以准备模拟演艺者或卡通人物讲话方式的响应数据库。
另外,可以保持作为与任意面部信息对应的人的属性的拍摄日期与小时的信息,以作出诸如“您的眼睛与x年前的演艺者A的眼睛相像”或者“您的嘴巴与x年前您母亲的嘴巴相像”等响应。
虽然已经参照其特定实施方式详细地描述了本发明,但是本领域技术人员应该理解,在不脱离本发明的精神与范围的前提下可以对本发明进行各种改变或修改。
本申请基于2003年9月1日提交的日本专利申请第2003-308617号,其内容通过引用而合并其中。
工业实用性
本发明适用于基于图像信息作出响应的电子设备、以及能够在基于图像信息作出响应的同时模拟虚拟人物的电子设备等等。

Claims (16)

1.一种基于图像信息作出响应的电子设备,包含:
图像输入部件,用来输入图像信息;
已注册字典存储部件,用来存储包含用户的面部图像数据或者面部特征数据的已注册字典;
响应信息生成部件,用来利用通过图像输入部件输入的输入图像信息以及已注册字典,而生成响应信息;以及
输出部件,用来基于响应信息输出,
其中该已注册字典包含每个面部部分的部分区域图像数据或者特征数据,以及
其中该响应信息生成部件基于从输入图像信息中提取的每个面部部分的图像信息与已注册字典之间的相似度,而生成响应信息。
2.如权利要求1所述的电子设备,还包含:
人物模拟部件,用来模拟虚拟人物,
其中该人物模拟部件生成用来根据响应信息模拟所述人物的行为的模拟响应信息,以及
其中该输出部件基于该模拟响应信息而输出。
3.如权利要求1或2所述的电子设备,
其中该响应信息生成部件将已注册字典与输入图像信息相互比较,确定输入图像信息是否指明用户的图像,并且生成根据该确定结果而变化的响应信息。
4.如权利要求3所述的电子设备,
其中当推断出输入图像信息指明用户的图像时,基于输入图像数据,而更新包含在已注册字典中的用户的面部图像数据或者面部特征数据。
5.如权利要求3或4所述的电子设备,
其中当推断出输入图像信息指明用户的图像时,该响应信息包含关于输入图像信息与用户的每个面部部分的部分区域图像数据或者特征数据之间的相似度低的面部部分的信息。
6.如权利要求3至5中的任一项所述的电子设备,
其中当推断出输入图像信息不指明用户的图像时,该响应信息包含关于输入图像信息的每个面部部分的部分区域图像数据或者特征数据与在已注册字典中包含的每个面部部分的部分区域图像数据或者特征数据之间的相似度高的面部部分的信息。
7.如权利要求1至6中的任一项所述的电子设备,
其中该已注册字典包含通过网络从数据提供服务器下载的图像数据或者特征数据。
8.如权利要求1至7中的任一项所述的电子设备,
其中该响应信息生成部件使用通过网络从数据提供服务器下载的信息来生成响应信息。
9.如权利要求8所述的电子设备,
其中可以更新利用下载信息所生成的响应信息。
10.如权利要求1至9中的任一项所述的电子设备,
其中该图像输入部件包含图像拾取部件。
11.如权利要求1至10中的任一项所述的电子设备,
其中该输出部件包含图像显示部件。
12.一种在基于图像信息作出响应的电子设备中的响应信息输出方法,包含:
图像输入步骤,用来输入图像信息;
已注册字典存储步骤,用来存储包含用户的面部图像数据或者面部特征数据的已注册字典;
响应信息生成步骤,用来利用在图像输入步骤中输入的输入图像信息、以及包含用户的面部图像数据或者面部特征数据的已注册字典,而生成响应信息;以及
输出步骤,用来基于在响应信息生成步骤中生成的响应信息而输出,
其中已注册字典包含每个面部部分的部分区域图像数据或者特征数据,以及
其中该响应信息生成步骤基于从输入图像信息中提取的每个面部部分的图像信息与已注册字典之间的相似度,而生成响应信息。
13.如权利要求12所述的响应信息输出方法,
其中所述电子设备包含人物模拟部件,用来模拟虚拟人物,其中
该响应信息输出方法还包含:模拟响应信息生成步骤,用来使人物模拟部件生成模拟响应信息,用来根据在响应信息生成步骤中生成的响应信息模拟所述人物的行为,以及
其中该输出步骤基于模拟响应信息而输出。
14.如权利要求12或13所述的响应信息输出方法,
其中该响应信息生成步骤将已注册字典与输入图像信息相互比较,确定输入图像信息是否指明用户的图像,并且生成根据该确定结果而变化的响应信息。
15.如权利要求14所述的响应信息输出方法,还包含以下步骤:
当推断出该输入图像信息指明用户的图像时,基于输入图像数据,而更新包含在已注册字典中的用户的面部图像数据或者面部特征数据。
16.一种用来通过利用计算机来执行如权利要求12到15的任一个所述方法中包含的相应步骤的程序。
CNA2004800250069A 2003-09-01 2004-08-30 电子设备与电子设备中的响应信息输出方法 Pending CN1846227A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003308617A JP2005078413A (ja) 2003-09-01 2003-09-01 電子機器及び電子機器における応答情報出力方法
JP308617/2003 2003-09-01

Publications (1)

Publication Number Publication Date
CN1846227A true CN1846227A (zh) 2006-10-11

Family

ID=34269520

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800250069A Pending CN1846227A (zh) 2003-09-01 2004-08-30 电子设备与电子设备中的响应信息输出方法

Country Status (5)

Country Link
US (1) US20070003140A1 (zh)
EP (1) EP1662437A1 (zh)
JP (1) JP2005078413A (zh)
CN (1) CN1846227A (zh)
WO (1) WO2005022461A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4544026B2 (ja) * 2005-05-11 2010-09-15 オムロン株式会社 撮像装置、携帯端末
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8300953B2 (en) * 2008-06-05 2012-10-30 Apple Inc. Categorization of digital media based on media characteristics
JP2010134910A (ja) * 2008-11-07 2010-06-17 Fujifilm Corp ペット画像検出システムおよびその動作制御方法
JP5956860B2 (ja) * 2012-07-09 2016-07-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US10671837B2 (en) 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
JP6433928B2 (ja) * 2016-02-15 2018-12-05 株式会社東芝 検索装置、検索方法および検索システム
US20240096130A1 (en) * 2021-04-09 2024-03-21 Nec Corporation Authentication system, processing method, and non-transitory storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173092A (ja) * 1997-08-28 1999-03-16 Omron Corp 仮想ペット飼育装置、方法及びプログラム記録媒体
JP3425092B2 (ja) * 1998-11-04 2003-07-07 株式会社エヌ・ティ・ティ・データ パターン認識方式
JP3622586B2 (ja) * 1999-08-17 2005-02-23 日本電気株式会社 画像入力装置とその制御方法、画像表示装置、画像表示方法、及びプログラム供給媒体
JP2001266151A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 個人識別装置および個人識別方法
JP4553526B2 (ja) * 2001-08-15 2010-09-29 セコム株式会社 個人照合装置
JP2003271934A (ja) * 2002-03-18 2003-09-26 Toshiba Corp 顔画像認識システム及び顔画像認識方法
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP2004178163A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置

Also Published As

Publication number Publication date
WO2005022461A1 (ja) 2005-03-10
JP2005078413A (ja) 2005-03-24
EP1662437A1 (en) 2006-05-31
US20070003140A1 (en) 2007-01-04

Similar Documents

Publication Publication Date Title
CN108197602A (zh) 一种卷积神经网络生成方法及表情识别方法
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
KR20180054407A (ko) 로봇 시스템
CN110620884B (zh) 基于表情驱动的虚拟视频合成方法、装置及存储介质
CN109859770A (zh) 音乐分离方法、装置及计算机可读存储介质
CN111273953B (zh) 模型处理方法、装置、终端及存储介质
CN107943811A (zh) 内容的发布方法和装置
CN111242273A (zh) 一种神经网络模型训练方法及电子设备
CN114049892A (zh) 语音控制方法、装置以及电子设备
CN112669422A (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
CN112669846A (zh) 交互系统、方法、装置、电子设备及存储介质
CN1846227A (zh) 电子设备与电子设备中的响应信息输出方法
CN109815462A (zh) 一种文本生成方法及终端设备
CN111399798A (zh) 车载语音助理个性化实现方法、系统、介质及车载设备
WO2018211602A1 (ja) 学習装置、推定装置、学習方法及びプログラム
CN110415318B (zh) 图像处理方法和装置
CN1846228A (zh) 带有用户验证功能的电子设备
CN108960200A (zh) 一种基于智能交互的数据处理方法及电子设备
CN111310701B (zh) 手势识别方法、装置、设备及存储介质
CN114462580A (zh) 文本识别模型的训练方法、文本识别方法、装置和设备
CN108009280B (zh) 图片处理方法、装置、终端及存储介质
CN109064416B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication