CN110116413A - 通信设备及其控制程序 - Google Patents
通信设备及其控制程序 Download PDFInfo
- Publication number
- CN110116413A CN110116413A CN201910091023.0A CN201910091023A CN110116413A CN 110116413 A CN110116413 A CN 110116413A CN 201910091023 A CN201910091023 A CN 201910091023A CN 110116413 A CN110116413 A CN 110116413A
- Authority
- CN
- China
- Prior art keywords
- image data
- motion image
- frame
- motion
- reproduce
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 188
- 230000036651 mood Effects 0.000 claims abstract description 42
- 210000005252 bulbus oculi Anatomy 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 10
- 241001269238 Data Species 0.000 claims description 4
- 238000010009 beating Methods 0.000 claims 1
- 230000014509 gene expression Effects 0.000 description 101
- 210000001508 eye Anatomy 0.000 description 75
- 230000008859 change Effects 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 235000012489 doughnuts Nutrition 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 206010024642 Listless Diseases 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/365—Details; Accessories allowing a choice of facial features, e.g. to change the facial expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/04—Display device controller operating with a plurality of display units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
- Toys (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Abstract
提供了通信设备及其控制程序。在该通信设备中，在由用于表达情绪的多个帧图像组成的运动图像数据从第一运动图像数据切换到要在显示单元上再现并显示的第二运动图像数据时，显示控制单元从第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示第二运动图像数据：紧接在切换之前再现并显示的第一运动图像数据的帧图像的下一个帧图像变得相似于紧接在切换之后要再现并显示的第二运动图像数据的帧图像。
Description
技术领域
本公开内容涉及通信设备及其控制程序。
背景技术
已知根据例如来自外部的信息通过动画在显示单元上表达情绪的通信机器人(参见例如日本未审查专利申请公布第2016-193466号)。
发明内容
表达表情的动画运动图像通常通过多个连续的帧图像在一个周期中描述表情的变化。因此，在通信机器人连续地表达某一表情时，其重复地再现与该表情相对应的动画运动图像。为了改变要表达的表情，通信机器人将动画运动图像切换成与下一个表情相对应的动画运动图像，并且再现该图像。这时，根据现有技术的通信机器人终止在再现中途正在再现的运动图像，并且开始再现下一个运动图像，或者根据现有技术的通信机器人在完成正在再现的运动图像的一个周期的再现之后开始再现下一个运动图像。当在再现中途正在再现的运动图像被终止并且然后从头开始再现下一个运动图像时，失去了表情的连续性，从而造成了在活的人和动物中不可能的不自然和非连续的表情变化。在完成正在再现的运动图像的一个周期并且然后开始下一个运动图像的再现时，例如，在与用户的对话中产生情绪的转折点的延迟，这成为阻碍顺畅通信的因素。
本公开内容提供一种通信设备，该通信设备考虑在切换时间处的表达的连续性，以在合适的时刻切换要表达的情绪并且从而减少给用户的不自然印象。
根据本公开内容的第一示例性方面的通信设备包括：显示单元；获取单元，其被配置成从数据库获取由用于表达情绪的多个帧图像组成的运动图像数据；显示控制单元，其被配置成在显示单元上再现并显示由获取单元获取的运动图像数据；以及确定单元，其被配置成确定在显示单元上再现并显示的运动图像数据从当前正在再现并显示的第一运动图像数据向接下来要再现并显示的第二运动数据的切换。在确定单元确定将要在显示单元上再现并显示的运动图像数据从第一运动图像数据切换至第二运动图像数据时，显示控制单元从第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示第二运动图像数据：紧接在切换之前再现并显示的第一运动图像数据的帧图像的下一个帧图像变得相似于紧接在切换之后要再现并显示的第二运动图像数据的帧图像。
在执行这样的显示控制时，可以确保在切换时间处再现图像的连续性，因为在再现并显示第一运动图像数据时的表情变化的流(flow)可以被接替(take over)，以开始再现并显示第二运动图像数据。此外，由于无需等待完成第一运动图像数据的一个周期的再现就可以开始第二运动图像数据的再现，因此可以在表情应该被切换的时刻切换表情。
在上面的通信设备中，显示单元可以被设置为显示用于表达眼球部分的变化的运动图像数据，并且显示控制单元可以从第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示第二运动图像数据：紧接在切换之前再现并显示的第一运动图像数据的帧图像的下一个帧图像的眼球部分的黑睛的开合程度变得相似于紧接在切换之后要再现并显示的第二运动图像数据的帧图像的眼球部分的黑睛的开合程度。黑睛的开合程度极大地促成对表情的印象，并且在黑睛的开合程度在切换的时间不连续的情况下，会给用户强烈的不自然的印象。因此，在基于黑睛的开合程度来选择切换时间处的帧图像的情况下，可以在表情的转变方面给用户顺畅的印象。
在这样的通信设备中，运动图像数据可以包括有关每个帧图像的开合程度的信息作为附加信息，并且显示控制单元可以参考该附加信息从第二运动图像数据中选择用以开始再现的帧图像。在预先准备这样的信息时，可以在不执行帧图像的图像分析等的情况下选择合适的帧图像，使得可以利用较少的计算更早地开始第二运动图像数据的再现和显示。
此外，运动图像数据包括有关以下周期的周期信息作为附加信息：从黑睛的打开状态，然后到黑睛的闭合状态，然后再次到黑睛的打开状态的周期，并且显示控制单元参考该附加信息从第二运动图像数据中选择用以开始再现的帧图像。在运动图像数据包括周期信息时，可以根据黑睛的状态是从打开状态向闭合状态变化还是从闭合状态向打开状态变化，来从第二运动图像数据中选择合适的帧图像数据。也就是说，不但帧图像之间的接合点之前和之后的帧图像是相似的，而且可以使在接合点上再现的运动图像的流顺畅。
在运动图像数据中，每个帧图像可以包括多个层，并且多个层可以包括表达黑睛的黑睛层，显示控制单元可以根据要表达的视线方向来调整显示单元上黑睛层的显示位置，并且固定除了黑睛层之外的层被显示的位置。帧图像的这种层结构使得能够稳定地表达表情，并且使得能够通过简单的计算来调整视线方向。用户通过与机器人的眼睛接触可以感到通信的真实。
根据第二示例性方面的控制程序是通信设备的控制程序，该通信设备用于在显示单元上再现并显示由用于表达情绪的多个帧图像组成的运动图像数据。控制程序使计算机执行：在显示单元上再现并显示运动图像数据的第一运动图像数据；确定要在显示单元上再现并显示的运动图像数据从第一运动图像数据向第二运动图像数据的切换；以及在所述确定步骤确定将运动图像数据切换至第二运动图像数据时，从第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示第二运动图像数据：紧接在切换之前再现并显示的第一运动图像数据的帧图像的下一个帧图像变得相似于紧接在切换之后要再现并显示的第二运动图像数据的帧图像。
在顺序地执行这样的处理时，可以确保切换时间处再现图像的连续性，因为在再现并显示第一运动图像数据时的表情变化的流可以被接替，以开始再现并显示第二运动图像数据。此外，由于无需等待完成第一运动图像数据的一个周期的再现就可以开始第二运动图像数据的再现，因此可以在应该切换表情的时刻切换表情。
根据本公开内容，可以提供以下通信设备：该通信设备通过考虑切换时间处表情的连续性来在合适的时刻切换要表达的情绪，从而减少给用户的不自然的印象。
根据下文中给出的详细描述和仅作为示例给出的附图将更全面地理解本公开内容的上面的和其它的目的、特征和优点，因此它们不被认为限制本公开内容。
附图说明
图1是根据第一实施方式的机器人的示意图；
图2是机器人的系统配置图；
图3是示出右眼的结构的透视图；
图4是示出机器人的表情与罗素环形模型(Russell’s circumplex model)之间的关系的图；
图5是用于描述运动图像数据的再现的图；
图6是用于描述运动图像数据的头(header)信息的图；
图7是用于描述从第一运动图像数据向第二运动图像数据切换再现的图；
图8是用于描述从第一运动图像数据向第二运动图像数据切换再现的图；
图9是用于描述从第一运动图像数据向第二运动图像数据切换再现的图；
图10是用于描述帧图像的层结构的图；
图11是示出操作处理的程序的流程图；
图12是根据第二实施方式的运输机器人的示意图；以及
图13是根据第三实施方式的平板终端的示意图。
具体实施方式
图1是根据本公开内容的第一实施方式的机器人100的示意图。机器人100是作为通信设备的机器人，其与作为用户的人类进行语音对话。机器人100是体现角色的角色设备。机器人100的眼睛的表情根据对话而变化。
机器人100的外观模仿动物，并且包括面部部分120。在面部部分120中，眼球部分122(右眼122a和左眼122b)被设置在用户可以将其识别为眼睛的位置处。稍后将详细描述眼球部分122的结构。显示面板106例如是液晶面板或有机EL面板，并被安装至右眼122a和左眼122b之后。
摄像机102被难以察觉地设置在机器人100的鼻子的位置处。摄像机102包括例如CMOS传感器，并且充当捕获用于识别外部环境的图像的成像单元。扬声器109被以隐蔽的方式设置在机器人100的嘴巴的位置处。扬声器109充当输出由机器人100生成的声音的话语输出单元。通过来自嘴巴位置的声音输出，用户感到好像机器人100正在讲话。麦克风101被以隐蔽的方式设置在面部部分120的任何位置处。麦克风101具有收集用户的话语语音等功能。
图2是机器人100的系统配置图。机器人100的主要系统部件包括麦克风101、摄像机102、显示面板106、扬声器109、控制单元200、回应语音DB 310和回应表情DB 320。控制单元200由例如CPU组成，并且还充当执行每个功能的功能执行单元。控制单元200主要起到话语识别单元201、面部识别单元202、表达表情确定单元203、表情获取单元204、视线判定单元205、语音选择单元206、话语控制单元207和显示控制单元210的作用。
麦克风101的主要功能是收集作为与机器人100对话的伙伴的用户的话语语音。麦克风101将已经收集的用户的话语语音转换成语音信号，并且将语音信号传递至话语识别单元201。
话语识别单元201分析从麦克风101接收的语音信号，并且识别用户的话语。话语识别单元201和麦克风101彼此合作以充当获取与机器人100谈话的用户话语的话语获取单元。具体地，话语识别单元201通过常见的语音识别技术来识别用户的话语内容。话语识别单元201将识别的话语内容传递至语音选择单元206。
语音选择单元206针对由话语识别单元201识别的用户的话语内容选择适合作为交谈的句子，从回应语音DB 310中收集与选择的句子相对应的话语数据，并且将话语数据传递至话语控制单元207。回应语音DB 310是连接至语音选择单元206的回应语音的数据库，并且由例如硬盘驱动器的记录介质组成。回应语音DB 310被组织为例如语料库(corpus)。回应语音DB 310中的每一项存储有可再现的话语数据。
话语控制单元207将接收的话语数据转换为语音信号，并且将该语音信号传递至扬声器109。语音选择单元206和话语控制单元207彼此合作以充当基于用户的话语内容来生成回应语音的语音生成单元。扬声器109接收由话语控制单元207转换的语音信号，并且将回应语音作为声音输出。
话语识别单元201分析接收的语音信号的韵律。在将话语作为声波而捕获的情况下，韵律表示声波的物理特性。话语识别单元201计算例如由用户发出的一组声波的中心频率、频带、以及幅度的最大值和平均值作为物理特性。话语识别单元201将分析的韵律传递至表达表情确定单元203。另外，话语识别单元201根据接收的语音信号分析语音的来源方向，并且将分析的来源方向传递至视线判定单元205。
摄像机102的主要功能是拍摄与机器人100通信的用户。摄像机102将拍摄的图像转换成图像信号，并将图像信号传递至面部识别单元202。
面部识别单元202分析从摄像机102接收的图像信号，并且识别与机器人100通信的用户的面部。面部识别单元202将识别的面部区域的图像信号传递至表达表情确定单元203。另外，面部识别单元202将面部区域的代表性坐标值传递至视线判定单元205。代表性坐标值例如是识别的面部的眼睛之间的中间坐标。
表达表情确定单元203使用从面部识别单元202接收的面部区域的图像信号和从话语识别单元201接收的韵律来估计用户的情绪。具体地，表达表情确定单元203通过常见的面部识别技术从用户的面部图像中提取特征点，并且计算表情特征量(例如特征点的位置、连接相邻特征点的线段的倾角、和特征点的数量)。然后，例如瞳孔的尺寸、眼睛向下的程度、嘴角提起的程度、用户是否出汗、起皱纹程度被从表情特征量中提取，并且用作估计用户的情绪的材料。此外，表达表情确定单元203从韵律中例如提取句尾处的语调和幅度程度的变化，并且使用它们作为用于估计用户的情绪的材料。表达表情确定单元203全面地评价这些材料并且估计用户的情绪。
表达表情确定单元203确定与估计的用户情绪相对应的要由机器人100表达的移情情绪(empathic emotion)。表达表情确定单元203将确定的移情情绪传递至表情获取单元204。表情获取单元204从回应表情DB320中获取与接收的移情情绪相对应的运动图像数据以用于在显示面板106上显示。
回应表情DB 320是连接至表情获取单元204的回应表情的数据库，并且由例如硬盘驱动器的记录介质组成。根据例如罗素环形模型来组织回应表情DB 320。回应表情DB320存储与表情所表示的情绪相关联的特定眼睛表情的运动图像数据。该运动图像数据由表示眼球部分的变化的多个帧图像组成，并且通过绘制这些帧图像以及通过图中的变化来表达情绪。表情获取单元204具有获取单元的功能，该获取单元从作为数据库的回应表达DB中获取这样的运动图像数据。表情获取单元204将获取的运动图像数据传递至显示控制单元210。
视线判定单元205使用从话语识别单元201接收的语音的来源方向和从面部识别单元202接收的面部区域的代表性坐标值中的至少一个来计算与机器人100通信的用户的方向。然后，视线判定单元205判定该方向是机器人100应该面对的视线方向。视线判定单元205将目标视线方向传递至显示控制单元210。
显示控制单元210扩展从表情获取单元204接收的运动图像数据，调整黑睛(blackeyes)的显示位置，以实现从视线判定单元205接收的视线方向，以及在显示面板106上再现并显示眼睛。在显示控制单元210从表情获取单元204接收新的运动图像数据时，其开始再现并显示新的运动图像数据。稍后将描述细节。
图3是示出右眼122a的结构的透视图。左眼122b具有与右眼122a的结构相同的结构。显示控制单元210控制每一个显示面板106的显示。
右眼122a主要由半透明盖131、光纤束132和显示面板106组成。半透明盖131例如由透明聚碳酸酯模制而成，并且起到面部部分120的外部材料的作用。对模仿动物或人类的机器人的眼睛表面而言，弯曲是自然的，这容易被用户接受。因此，在根据该实施方式的机器人100中，将与眼睛的表面相对应的半透明盖131形成为朝向外侧的凸状弯曲表面。
用于显示右眼图像161a的显示面板106被安装在右眼122a的后侧，右眼图像161a是右眼的黑睛等的设计符号。此外，显示表面具有容纳半透明盖131的外边缘的尺寸。在图中，右眼图像161a显示在偏离白睛(white eye)的位置处，该白睛具有与半透明盖131的外边缘相对应的尺寸。
尽管该实施方式中显示的黑睛是与包括虹膜和瞳孔的角膜相对应的部分(在机器人是活人的情况下)。然而，由于该实施方式中显示的黑睛是被设计并显示的，因此活人的眼睛可以被部分省略或夸大。可以以活人中不可能的方式来修饰黑睛。在任何情况下，该实施方式中显示的黑睛可以是使与机器人100通信的用户能够将其识别为眼睛表情的符号。
半透明盖131的内部弯曲表面和显示面板106的表面通过光纤束132连接。光纤束132将显示面板106上显示的右眼图像161a传输至半透明盖131。光纤束132是与显示面板106的像素一一对应的光纤132a的集合。尽管光纤束132在图中被示为从显示面板106的表面浮起以便对其进行描述，但是每个光纤132a的一端通过导光粘合剂被连结至显示面板106的表面。光纤132a的集合的外周表面覆盖有覆层(coating)以被捆扎。以这种方式，半透明盖131、光纤束132和显示面板106彼此连接并集成。
显示面板106上显示的右眼图像161a的光通量从光纤132a的一端进入，并且从光纤132a的另一端发射。光纤132a的另一端的集合——其是发射表面——形成沿着半透明盖131的内部弯曲表面的虚拟屏幕。因此，显示面板106上显示的右眼图像161a在该虚拟屏幕上被用户观察到。
图4是示出由机器人100表达的表情与罗素环形模型之间的关系。尽管面部部分120的状态在图中被并排示出，但是根据该实施方式的机器人100控制着用户通过显示平面106上再现并显示的右眼运动图像和左眼运动图像而从整个面部部分120接收的印象。因此，与回应表情DB 320中的下面描述的情绪相关联地存储的运动图像数据是与右眼运动图像数据和左眼运动图像数据相对应的一组运动图像数据。
心理学领域中提出的罗素环形模型是所有情绪被环形排列在平面上的模型，该平面具有“愉快-不愉快”和“惊讶-不活跃”的轴。存在着关于如何排列特定情绪的各种观点。在该实施方式中，如图中所示，从“惊讶”、“警觉”、“激动”、“兴奋”、“快乐”、“愉快”、“满足”、“安详”、“轻松”、“平静”、“不活跃”、“疲乏”、“无精打采”、“沮丧”、“伤心”、“不愉快”、“烦恼”、“有压力”、“紧张”和“焦虑”顺时针排列的20个情绪被布置成围绕圆周彼此均匀地间隔。在示出的罗素环形模型中，彼此相邻的情绪是相似的情绪。因此，彼此相邻的情绪的表情是相似的。利用这种关系预先创建与情绪相关联的运动图像数据的符号。
接下来，将描述运动图像数据的结构和显示控制。如上面所描述的，利用一组右眼运动图像数据和左眼运动图像数据来管理运动图像数据。下文中，描述了右眼运动图像数据，并且除非另有说明，省略了关于左眼运动图像数据的相同描述。
图5是用于描述右眼运动图像数据的再现的图。如图中所示，右眼运动图像数据由多个连续的帧图像组成。在每一帧中绘制有右眼的状态。在图中示出的示例中，右眼运动图像数据由从帧F01至帧F05的五个帧组成。在按数字次序顺序地再现这些帧时，从黑睛打开的状态到变化至黑睛闭合的状态，然后返回至黑睛再次打开的状态的变化可以表示为动画。此外，可以通过从帧F05返回到帧F01以再现这些帧来反复表达某一表情。显示控制单元210在右眼122a的显示面板106上以例如大约6帧每秒的速度再现并显示右眼运动图像数据。
图6是用于描述右眼运动图像数据的头信息的图。头信息是添加至右眼运动图像数据的附加信息，并且在头区域中描述。
头信息主要包括“情绪类别”、“帧数”、“开合周期”和“开合程度”，作为有关表情显示的信息。“情绪类别”是指示运动图像数据表达什么情绪的信息。由上面的罗素环形模型示出的一个情绪与情绪类别相关联。在附图的示例中，“轻松”被描述为“情绪类别”。表情获取单元204参考“情绪类别”的信息来搜索指定的移情情绪的运动图像数据。
“帧数”指示运动图像数据由多少个帧图像组成。在图中示出的示例中，运动图像数据由五个帧图像组成。在一个情绪被连续表达时，显示控制单元210参考“帧数”的信息顺畅地执行重复再现。
“开合周期”指示从绘制打开状态的帧，然后到绘制关闭状态的帧，直到返回至绘制打开状态的帧的帧数。在图的示例中，“开合周期”是5，这与“帧数”相同，构成一个周期。“开合程度”是指示每一帧中绘制的右眼打开程度的值。针对每一帧确定“开合程度”的值。这里，以从“P0”至“P3”的四个阶段表示开合程度。最大打开状态是“P0”，闭合状态是“P3”，它们之间的中间状态是“P1”(轻微打开)和“P2”(轻微闭合)。在图中，例如，为帧F04定义P2。
在根据现有技术的通信机器人中，为了改变要表达的表情，终止在再现中途正在再现的运动图像，并且然后从头开始再现下一个运动图像，或者完成正在再现的运动图像的一个周期，并且然后开始下一个运动图像的再现。当终止在再现中途正在再现的运动图像，并且然后从头开始再现下一个运动图像时，丧失了表情的连续性，造成活的人或动物中不可能的不自然和不连续的表情变化。在完成正在再现的运动图像的一个周期，并且然后开始下一个运动图像的再现时，在与用户的交谈中产生情绪转折点的延迟，这成为阻碍顺畅通信的因素。
因此，在根据该实施方式的机器人100中，考虑到表情的连续性，在合适的时刻切换要表达的情绪，并且为了减少给用户的不自然印象，在从第一运动图像数据向第二运动图像数据切换再现方面进行改善。下面将描述在切换再现的时间处的各种显示控制方法。
图7是用于描述将再现和显示从当前正显示的第一运动图像数据切换至接下来要显示的第二运动图像数据的第一控制示例。在当前时间正在再现并显示的第一运动图像数据是表达“轻松”的运动图像数据。在该运动图像数据正被再现并显示时的某一时刻处，表达表情确定单元203确定要再现表达“满足”的运动图像数据。
在显示控制单元210接收到“满足”运动图像数据时，其判定切换显示的时刻。在图中示出的示例中，切换显示的时刻是在第一运动图像数据的帧F03的显示结束时的时刻。也就是说，第一运动图像数据的帧F03是紧接在切换之前要再现并显示的第一运动图像数据的帧图像。优选的是，切换显示的时刻尽可能接近由表达表情确定单元203确定的切换移情情绪的时刻。实际上，通过考虑表情获取单元204从回应表情DB 320中读取运动图像数据花费的时间、显示控制单元210执行计算处理所需的时间等来判定切换显示的时刻。
显示控制单元210使用第一运动图像数据的帧F03作为当前再现的帧图像，并且将作为帧F03的下一个帧图像的帧F04定义为比较参考帧图像。然后，显示控制单元210在头信息中搜索作为比较参考帧图像的帧F04的开合程度P。在显示控制单元210找到帧F04的开合程度是P2时，显示控制单元210从组成第二运动图像数据的帧图像中提取具有开合程度P2的帧图像。在图中示出的示例中，第二运动图像数据的帧F02和F04被定义为具有开合程度P2。
在比较参考帧图像的开合程度与切换之后首先被显示的切换之后的开始帧图像的开合程度相同时，可以说比较参考帧图像的眼睛的图与切换之后的开始帧图像的眼睛的图相对相似。因此，在利用当前再现的帧图像完成第一运动图像数据的再现和显示、并且然后从这个切换之后的开始帧图像开始第二运动图像数据的再现和显示时，可以在不给用户不自然印象的情况下顺畅地连接两个图像数据的再现和显示。此外，由于不需要等待直到第一运动图像数据的最后一帧被再现，因此极大地减小了不自然的感觉，即切换情绪的时间处的延迟。
切换之后的开始帧图像可以是具有开合程度P2的帧F02或帧F03之一。然而，在该实施方式中，也使用开合周期信息来判定切换之后的开始帧图像。也就是说，由于比较参考帧图像是帧F04并且第一运动图像数据的开合周期是5，因此可以理解的是当前时间的右眼图像的变化是从闭合状态向打开状态转变。因此，选择与该变化相对应的切换之后的开始帧图像。显示控制单元210读取第二运动图像数据的开合周期，并且使用与比较参考帧图像的F04相对应的周期的后半部的帧图像作为切换之后的开始帧图像的候选。
在上面描述的方式中，显示控制单元210参考开合周期判定第二运动图像数据的帧F04是切换之后的开始帧图像。也就是说，在显示控制单元210进行显示直到第一运动图像数据的帧F03时，其将显示切换至第二运动图像数据的帧F04，并且从该帧开始再现并显示第二运动图像数据。通过以该方式连接第一图像数据和第二图像数据的再现和显示，切换之前和之后的变化可以连续，使得关于要表达的情绪的切换，可以给用户更顺畅的印象。
图8是用于描述将再现和显示从当前正显示的第一运动图像数据切换至接下来要显示的第二运动图像数据的第二控制示例的图。当前时间正被再现并显示的第一运动图像数据是表达“轻松”的运动图像数据。在表达“轻松”的运动图像数据正被再现并显示时的某一时刻处，表达表情确定单元203确定要再现表达“惊讶”的运动图像数据。
作为表达“惊讶”的运动图像数据的第二运动图像数据具有帧数4和开合周期2。帧F01是第一周期中的第一帧(c1f1)，帧F02是第一周期中的第二帧(c1f2)，帧F03是第二周期中的第一帧(c2f1)，以及帧F04是第二周期中的第二帧(c1f2)。在每一个第一帧中绘制的右眼处于打开状态或与其接近的状态，并且在每一个第二帧中绘制的右眼处于闭合状态或与其接近的状态。
与第一控制示例中相似，第一运动图像数据的帧F03被用作当前再现的帧图像，并且帧F04被用作比较参考帧图像。由于第一运动图像数据的开合周期是5，因此作为比较参考帧图像的帧F04是周期的后半部的帧图像。因此，显示控制单元210确定第二运动图像数据中每一个周期的第一帧相似于比较参考帧图像，并且遵循变化的流(flow of change)。由于比较参考帧图像是第一运动图像数据的周期的后半部的帧图像，因此从第二周期(其作为第二运动图像数据的开合周期的后半部)中选择第一帧(c2f1)，并且将其判定为切换之后的开始帧图像。
也就是说，在显示控制单元210进行显示直到第一运动图像数据的帧F03时，其将显示切换至第二运动图像数据的帧F03，并且开始从该帧再现并显示第二运动图像数据。在该方式中，取决于感兴趣的运动图像，可以在不使用开合程度的信息的情况下根据周期信息来判定切换之后的开始帧图像。如目前所描述的，即使在判定切换之后的开始帧图像时，也可以在不给用户不自然印象的情况下顺畅地连接第一图像数据和第二图像数据的再现和显示。
图9是用于描述将再现和显示从当前正在显示的第一运动图像数据切换至接下来要显示的第二运动图像数据的第三控制示例的图。在当前时间正被再现并显示的第一运动图像数据是表达“无精打采”的运动图像数据。在该运动图像数据正被再现并显示时的某一时刻处，表达表情确定单元203确定再现表达“平静”的运动图像数据。
作为表达“无精打采”的运动图像数据的第一运动图像数据由五个帧图像组成。这些帧图像中的右眼被绘制为处于打开的状态(P0)。作为表达“平静”的运动图像数据的第二运动图像数据也由五个帧图像组成。这些帧图像中的右眼被绘制为处于闭合的状态(P3)。例如，即使在显示控制单元210使用第一运动图像数据的帧F03作为当前再现的帧图像，并且判定帧F04是比较参考帧图像时，也不能从第二运动图像数据中提取具有与帧F04的开合程度相同的开合程度(P0)的帧图像。
在这种情况下，显示控制单元210判定第二运动图像数据的帧F01是切换之后的开始帧图像。以这种方式，在组成第一运动图像数据的每一个帧中绘制的右眼的状态与组成第二运动图像数据的每一个帧中绘制的右眼的状态彼此显著不同的情况下，优选的是在切换运动图像数据时帧图像是不连续的，因为这给用户带来冲击。
接下来，将描述该实施方式中采用的运动图像数据的帧图像。图10是用于描述帧图像的层结构的图。例如，假设如图的左上部示出的，表达“疲乏”的运动图像数据的某一帧图像被再现并显示。右眼图像161a由三个元素组成：表示眼睑的元素、表示黑睛的元素和表示包括毛细血管的白睛的元素。在帧图像中，这些元素被分别保持在每一层中。
也就是说，如图中所示，眼睑的图被保持在层1中，黑睛的图被保持在层2中，并且包括毛细血管的白睛的图被保持在图3中。换言之，每一个帧图像具有三层结构。显示控制单元210在显示面板106的预定位置处显示这些层之中的层1和层3。另一方面，调整层2(黑睛层)所表示的黑睛在显示面板106上的显示位置，以实现从视线判定单元205接收的视线方向。也就是说，将黑睛的参考位置移动至实现所接收的视线方向的坐标。
以该方式，在除了黑睛的元素之外的元素被固定的同时通过仅移动黑睛的元素来调整视线方向的情况下，视线方向的变化可以给人更自然的印象。此外，以该方式，除了黑睛的元素之外的元素不移动，使得整张脸不会给人不自然的印象。
接下来，将描述由控制单元200执行的关于表情调整的操作处理的程序。下面描述的操作处理由控制单元200来执行，该控制单元200执行从系统存储器中读取的控制程序。图11是示出操作处理的程序的流程图。流程在机器人100通电时开始。注意的是，除了与表情调整相关的处理之外的处理的描述被省略。
在步骤S101中，面部识别单元202获取来自摄像机102的图像信号，并且识别与机器人100通信的用户的面部区域。此外，话语识别单元201获取来自麦克风101的语音信号并且识别用户的话语。在步骤S102中，视线判定单元205使用这些信息来确定眼球部分122的视线方向。
在步骤S103中，表达表情确定单元203使用来自面部识别单元202的信息和来自话语识别单元201的信息来确定要在面部部分120上表达的表情。然后，在步骤S104中，表达表情确定单元203确定要表达的表情是否已经从已表达的表情改变。在要表达的表情已经改变时，处理继续进行至步骤S105以切换显示面板106的再现和显示。否则，不存在切换再现和显示的需求，所以处理继续进行至步骤S107。
在步骤S105中，表情获取单元204从回应表情DB 320中获取与表达表情确定单元203所确定的、表情要被切换至的移情情绪相对应的运动图像数据，并且将运动图像数据传递至显示控制单元210。在步骤S106中，如参照图7至图9所描述的，显示控制单元210根据从表情获取单元204接收的运动图像数据(第二运动图像数据)的帧图像来判定切换之后的开始帧图像。
在步骤S107中，如参照图10所描述的，表情获取单元204通过移动目标帧图像中黑睛的参考位置来调整视线方向。在运动图像数据被切换时(在处理从步骤S106继续进行至步骤S107时)，目标帧图像是切换之后的开始帧图像，而在运动图像数据未被切换时(在处理从步骤S104继续进行至步骤S107时)，目标帧图像是要连续再现并显示的下一个帧图像。在步骤S108中，显示控制单元210在显示面板106上显示如此调整的帧图像。
在步骤S109中，例如在已经经过了非交谈状态下的一定时间段时，控制单元200确定与用户的通信是否已经结束。在控制单元200确定与用户的通信尚未结束时，处理返回至步骤S101。在控制单元200确定与用户的通信已经结束时，一系列处理结束。
上面已经描述了根据第一实施方式的机器人100。然而，在关于表情调整要执行的操作处理中存在变化。在上面的示例中，已经描述了针对再现并显示为右眼的运动图像数据来判定切换之后的开始帧图像的示例。可以对再现并显示为左眼的运动图像数据来单独地执行与对右眼执行的处理类似的处理，或者可以与切换右眼的时刻同步地执行切换处理。明显的是，基于再现并显示为左眼的运动图像数据，切换右眼的时刻可以与切换左眼的时刻同步。此外，还可以根据正在再现的运动图像数据的图的内容来判定是右眼的运动图像数据经历确定还是左眼的运动图像数据经历确定。
在上面的实施方式中，使用在头中描述的周期信息和针对每一帧的黑睛的开合程度来确定比较参考帧图像和切换之后的开始帧图像之间的相似性。这样的确定能够使得更容易地确定相似性，以使得再现和显示的切换时刻可以成功地接近情绪变化的时刻。然而，在显示控制单元等具有高计算能力的情况下，或者在这样的信息没有预先在头信息中准备时，显示控制单元可以通过对比较参考帧图像的图和第二运动图像数据的每一个帧图像的图进行图像分析来确定相似性的程度。
接下来，将描述本公开内容的第二实施方式。图12是根据第二实施方式的机器人400的示意图。根据第一实施方式的机器人100是体现角色的通信机器人。根据第二实施方式的机器人400也是通信机器人，其进一步包括作为运输机器人的功能，该运输机器人握持运输物体并且自主地移动。近来存在着越来越多的与人类共享工作空间的运输机器人，并且还已知在与人类进行通信的同时执行工作的机器人。机器人400是能够像机器人100一样执行通信的运输机器人。
与机器人400的通信功能相关的配置几乎与机器人100的配置相同，因此将主要描述机器人100和机器人400之间的不同。在像运输机器人的功能机器人中，面部部分和身体部分不需要模仿人类或动物的形式。如图中所示，机器人400的面部部分420几乎仅由显示面板406组成。包括眼睛图像461和嘴巴图像462的面部图像在显示面板406上显示。
类似于机器人100，以该方式配置的机器人400通过图像的变化示出移情情绪。具体地，与每一个情绪相对应的运动图像数据被制备为眼睛图像461以及与眼睛图像461的运动图像数据相对应的嘴巴图像462。为了改变表情，以上面描述的方法判定在每一个运动图像数据中要切换的帧图像。然后，可以在不给用户不自然印象的情况下顺畅地改变表情。因此，即使在机器人400具有远不同于人类或动物的形式的外观时，与机器人400一起工作的用户也可以像他/她与机器人100通信一样地进行通信。
然后，将描述本公开内容的第三实施方式。图13是根据第三实施方式的平板终端500的示意图。在第一和第二实施方式中，机器人是与用户进行对话的伙伴。然而，在第三实施方式中，与用户进行对话的伙伴是平板终端500上显示的视频角色600。在角色被实体化为机器人的情况下，用户可以感到机器人像宠物并且可以更依恋它。平板终端500可以更容易地表达角色。
与平板终端500的通信功能相关的配置几乎与机器人100的配置相同，因此将主要描述机器人100与平板终端500之间的不同。平板终端500包括麦克风501、摄像机502、显示面板506和扬声器509。显示面板506例如是液晶面板并且显示视频角色600。
视频角色600的面部部分620通过改变眼睛图像661和嘴巴图像662来表达移情情绪。具体地，与每一个情绪相对应的运动图像数据被制备为眼睛图像661，并且对应于眼睛图像661的运动图像数据，与每一个情绪相对应的运动图像数据还被制备为嘴巴图像662。为了改变表情，以上面描述的方式判定在每一个运动图像数据中要切换的帧图像。然后，可以在不给用户不自然印象的情况下顺畅地改变表情。因此，即使在视频角色600被显示在平板终端500上时，视频角色600也可以像机器人100一样通信。
尽管已经通过第一至第三实施方式描述了本公开内容，但是通信设备的各方面不限于这些实施方式。例如，环境传感器和数据库可以被设置在外部设备中。在这种情况下，通信设备可以包括用于与这样的外部设备通信的通信IF。
在上面的实施方式中，已经描述了包括左眼和右眼的面部部分。然而，角色可以包括单眼眼球部分或三个或更多个眼球部分。此外，在上面的示例中，已经描述了其中包括有光纤束132的眼球部分122，但是可以采用弯曲的显示面板作为眼球部分122，而不包括光纤束132等。可替选地，为了简单，可以采用平的显示面板作为眼球部分122。
可以使用任何类型的非暂态计算机可读介质来存储程序并向计算机提供程序。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(例如，软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM(压缩盘只读存储器)、CD-R(可记录压缩盘)、CD-R/W(可重写压缩盘)和半导体存储器(例如，掩模ROM、PROM(可编程ROM)、EPROM(可擦写PROM)、闪速ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂态计算机可读介质来向计算机提供程序。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如，电线和光纤)或者无线通信线路来向计算机提供程序。
根据这样描述的公开内容，明显的是，本公开内容的实施方式可以以多种方式变化。这样的变化不被认为是脱离本公开内容的精神和范围，并且对本领域技术人员而言明显的所有这样的修改旨在包括在所附权利要求书的范围内。
Claims (6)
1.一种通信设备，包括：
显示单元；
获取单元，其被配置成从数据库获取由用于表达情绪的多个帧图像组成的运动图像数据；
显示控制单元，其被配置成在所述显示单元上再现并显示由所述获取单元获取的所述运动图像数据；以及
确定单元，其被配置成确定在所述显示单元上再现并显示的运动图像数据从当前正在再现并显示的第一运动图像数据向接下来要再现并显示的第二运动图像数据的切换，其中，
在所述确定单元确定将要在所述显示单元上再现并显示的运动图像数据从所述第一运动图像数据切换至所述第二运动图像数据时，所述显示控制单元从所述第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示所述第二运动图像数据：紧接在所述切换之前再现并显示的所述第一运动图像数据的帧图像的下一个帧图像变得相似于紧接在所述切换之后要再现并显示的所述第二运动图像数据的帧图像。
2.根据权利要求1所述的通信设备，其中
所述显示单元被设置为显示用于表达眼球部分的变化的运动图像数据，并且
所述显示控制单元从所述第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示所述第二运动图像数据：紧接在所述切换之前再现并显示的所述第一运动图像数据的帧图像的下一个帧图像的眼球部分的黑睛的开合程度变得相似于紧接在所述切换之后要再现并显示的所述第二运动图像数据的帧图像的眼球部分的黑睛的开合程度。
3.根据权利要求2所述的通信设备，其中
所述运动图像数据包括有关每个帧图像的开合程度的信息作为附加信息，并且
所述显示控制单元参考所述附加信息从所述第二运动图像数据中选择用以开始再现的帧图像。
4.根据权利要求2或3所述的通信设备，其中
所述运动图像数据包括有关以下周期的周期信息作为所述附加信息：从所述黑睛的打开状态，然后到所述黑睛的闭合状态，然后再次到所述黑睛的打开状态的周期，并且
所述显示控制单元参考所述附加信息从所述第二运动图像数据中选择用以开始再现的帧图像。
5.根据权利要求2至4中任一项所述的通信设备，其中
在所述运动图像数据中，每个帧图像包括多个层，并且所述多个层包括表达所述黑睛的黑睛层，并且
所述显示控制单元根据要表达的视线方向来调整所述黑睛层在所述显示单元上的显示位置，并且固定除了所述黑睛层之外的层被显示的位置。
6.一种存储通信设备的控制程序的计算机可读介质，所述通信设备用于在显示单元上再现并显示由用于表达情绪的多个帧图像组成的运动图像数据，所述控制程序使计算机执行：
在所述显示单元上再现并显示所述运动图像数据的第一运动图像数据；
确定要在所述显示单元上再现并显示的运动图像数据从所述第一运动图像数据向所述第二运动图像数据的切换；以及
在所述确定步骤确定将所述运动图像数据切换至所述第二运动图像数据时，从所述第二运动图像数据中选择用以开始再现的帧图像，以便以下述方式再现并显示所述第二运动图像数据：紧接在所述切换之前再现并显示的所述第一运动图像数据的帧图像的下一个帧图像变得相似于紧接在所述切换之后要再现并显示的所述第二运动图像数据的帧图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-020119 | 2018-02-07 | ||
| JP2018020119A JP7020159B2 (ja) | 2018-02-07 | 2018-02-07 | コミュニケーション装置およびその制御プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110116413A true CN110116413A (zh) | 2019-08-13 |
Family
ID=64901444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910091023.0A Pending CN110116413A (zh) | 2018-02-07 | 2019-01-30 | 通信设备及其控制程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190240588A1 (zh) |
| EP (1) | EP3525199A1 (zh) |
| JP (1) | JP7020159B2 (zh) |
| KR (1) | KR20190100853A (zh) |
| CN (1) | CN110116413A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111050105A (zh) * | 2019-12-14 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 视频播放方法、装置、玩具机器人及可读存储介质 |
| WO2020233253A1 (zh) * | 2019-05-17 | 2020-11-26 | 网易（杭州）网络有限公司 | 虚拟角色的表情实现方法、装置及存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD898761S1 (en) * | 2018-04-26 | 2020-10-13 | Lg Electronics Inc. | Display screen with graphical user interface |
| JP7399740B2 (ja) | 2020-02-20 | 2023-12-18 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット、制御プログラムおよび制御方法 |
| USD980864S1 (en) * | 2020-07-16 | 2023-03-14 | Lg Electronics Inc. | Display screen or a portion thereof with graphical user interface |
| US20240037828A1 (en) * | 2022-07-29 | 2024-02-01 | Ncr Corporation | Secondary display to a primary display with an animated feedback interface |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR9500314A (pt) * | 1994-01-25 | 1995-11-07 | Nintendo Co Ltd | Aparelho para conversão de sinal de jogo |
| JPH11219445A (ja) * | 1998-02-03 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 画像表示装置、画像表示方法、および画像表示プログラム記録媒体 |
| AU9748501A (en) * | 2001-04-18 | 2002-10-24 | Samsung Gwangju Electronics Co., Ltd. | Robot cleaning system using mobile communication network |
| CN101092031A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 工业机器人离线编程系统 |
| CN106113041A (zh) * | 2016-07-20 | 2016-11-16 | 徐州木牛流马机器人科技有限公司 | 一种基于总线舵机控制的智能机器人控制系统 |
| JP2016193466A (ja) * | 2015-03-31 | 2016-11-17 | シャープ株式会社 | ロボット |
| US20170103601A1 (en) * | 2003-02-24 | 2017-04-13 | Aristocrat Technologies Australia Pty Limited | Systems and methods of gaming machine image transitions |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11478A (ja) * | 1997-06-11 | 1999-01-06 | Fumiko Moriya | 模型動物の動く瞳の構造 |
| JP3891413B2 (ja) * | 2002-06-14 | 2007-03-14 | 日本ビクター株式会社 | ロボット装置 |
| JP4812426B2 (ja) * | 2005-12-27 | 2011-11-09 | 富士通株式会社 | ロボット制御装置 |
| US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
| JP2018008318A (ja) * | 2016-07-11 | 2018-01-18 | 森本 高広 | ロボット用薄型弾性表皮 |
| JP6467674B2 (ja) * | 2016-07-20 | 2019-02-13 | Ｇｒｏｏｖｅ Ｘ株式会社 | スキンシップを理解する自律行動型ロボット |
-
2018
- 2018-02-07 JP JP2018020119A patent/JP7020159B2/ja active Active
- 2018-12-31 EP EP18215930.1A patent/EP3525199A1/en not_active Withdrawn
-
2019
- 2019-01-30 CN CN201910091023.0A patent/CN110116413A/zh active Pending
- 2019-01-30 KR KR1020190011937A patent/KR20190100853A/ko not_active IP Right Cessation
- 2019-02-04 US US16/266,650 patent/US20190240588A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR9500314A (pt) * | 1994-01-25 | 1995-11-07 | Nintendo Co Ltd | Aparelho para conversão de sinal de jogo |
| JPH11219445A (ja) * | 1998-02-03 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 画像表示装置、画像表示方法、および画像表示プログラム記録媒体 |
| AU9748501A (en) * | 2001-04-18 | 2002-10-24 | Samsung Gwangju Electronics Co., Ltd. | Robot cleaning system using mobile communication network |
| US20170103601A1 (en) * | 2003-02-24 | 2017-04-13 | Aristocrat Technologies Australia Pty Limited | Systems and methods of gaming machine image transitions |
| CN101092031A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 工业机器人离线编程系统 |
| JP2016193466A (ja) * | 2015-03-31 | 2016-11-17 | シャープ株式会社 | ロボット |
| CN106113041A (zh) * | 2016-07-20 | 2016-11-16 | 徐州木牛流马机器人科技有限公司 | 一种基于总线舵机控制的智能机器人控制系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233253A1 (zh) * | 2019-05-17 | 2020-11-26 | 网易（杭州）网络有限公司 | 虚拟角色的表情实现方法、装置及存储介质 |
| US11837020B2 (en) | 2019-05-17 | 2023-12-05 | Netease (Hangzhou) Network Co., Ltd. | Expression realization method and device for virtual character, and storage medium |
| CN111050105A (zh) * | 2019-12-14 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 视频播放方法、装置、玩具机器人及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190240588A1 (en) | 2019-08-08 |
| JP7020159B2 (ja) | 2022-02-16 |
| KR20190100853A (ko) | 2019-08-29 |
| EP3525199A1 (en) | 2019-08-14 |
| JP2019136797A (ja) | 2019-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110116413A (zh) | 通信设备及其控制程序 | |
| KR102355911B1 (ko) | 커뮤니케이션 장치, 커뮤니케이션 로봇 및 컴퓨터가 판독 가능한 기록 매체 | |
| CN111145282B (zh) | 虚拟形象合成方法、装置、电子设备和存储介质 | |
| US20220148271A1 (en) | Immersive story creation | |
| EP3381175B1 (en) | Apparatus and method for operating personal agent | |
| CN111045582B (zh) | 一种个性化虚拟人像活化互动系统及方法 | |
| US8730231B2 (en) | Systems and methods for creating personalized media content having multiple content layers | |
| CN110022954B (zh) | 动画角色头部系统和方法 | |
| KR102180576B1 (ko) | 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치 | |
| CA3128047A1 (en) | Real-time generation of speech animation | |
| US20210312167A1 (en) | Server device, terminal device, and display method for controlling facial expressions of a virtual character | |
| CN114787759A (zh) | 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序 | |
| US20190232501A1 (en) | Communication robot and control program therefor | |
| CN110139021B (zh) | 辅助拍摄方法及终端设备 | |
| EP1964066B1 (en) | Method for controlling animations in real time | |
| CN110166844A (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
| CA3044108C (en) | Animated character head systems and methods | |
| Kumar et al. | Multi modal adaptive normalization for audio to video generation | |
| CN116977030A (zh) | 一种基于人工智能的虚拟现实人体模型生成及交互方法 | |
| WO2023187730A1 (en) | Conversational digital character blending and generation | |
| JP2003196677A (ja) | ３次元モデル変形方法およびコンピュータプログラム | |
| Gurbuz et al. | Biologically valid jaw movements for talking humanoid robots | |
| Yaofeng et al. | An Intelligent Robot Based on Emotion Decision Model | |
| Czap et al. | Improving Naturalness of Visual Speech Synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190813 |