CN110014431B - 通信装置 - Google Patents

通信装置 Download PDF

Info

Publication number
CN110014431B
CN110014431B CN201811416695.6A CN201811416695A CN110014431B CN 110014431 B CN110014431 B CN 110014431B CN 201811416695 A CN201811416695 A CN 201811416695A CN 110014431 B CN110014431 B CN 110014431B
Authority
CN
China
Prior art keywords
display
communication apparatus
user
communication
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811416695.6A
Other languages
English (en)
Other versions
CN110014431A (zh
Inventor
舩造美奈
加来航
吉泽真太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110014431A publication Critical patent/CN110014431A/zh
Application granted granted Critical
Publication of CN110014431B publication Critical patent/CN110014431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Toys (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种可以改善通信质量的通信装置。通信装置包括用于实现通过机械移动或显示来模拟右眼和左眼的配置的面部单元。通信装置包括：检测单元，其被配置成检测距通信伙伴的距离和通信伙伴的方向；以及控制单元，其被配成控制该配置的机械移动或显示使得右眼和左眼的视点指向由检测单元检测到的距离和方向。

Description

通信装置
技术领域
本公开内容涉及通信装置。特别地，本公开内容涉及包括面部单元的通信装置。
背景技术
近年来，已经逐渐开发了与用户进行通信的通信装置。已知的相关技术之一是在通信装置中设置面部单元的技术。
例如，日本专利第5186723号公开了包括与面部单元中的右眼和左眼相对应的配置的通信装置(机器人)。在日本专利第5186723号中公开的通信装置中，右眼和左眼中的每一个被配置成能够向上、向下、向左和向右移动。在日本专利第5186723号中公开的通信装置使用传感器来检测装置的前方方向与通信伙伴的方向之间的偏移角度，并且基于检测到的偏移角度朝通信伙伴的方向移动右眼和左眼二者的视线。
因此，在日本专利第5186723号中公开的通信装置利用视线指向通信伙伴可以与通信伙伴进行通信。
发明内容
然而，在日本专利第5186723号中公开的通信装置中右眼和左眼的视线二者都移动偏移角度的情况下，在例如通信伙伴靠近通信装置(例如，在通信装置前方)时，他/她可能会有右眼和左眼二者的视点都不指向他/ 她的不自然的印象。因此，在日本专利第5186723号中公开的通信装置具有改善通信质量的空间。
鉴于上述情况做出了本公开内容。本公开内容的目的是提供一种可以改善通信质量的通信装置。
本公开内容的示例方面是一种通信装置，其包括面部单元，该面部单元用于实现通过机械移动或显示来模拟右眼和左眼的配置。该通信装置包括：
检测单元，其被配置成检测距通信伙伴的距离和通信伙伴的方向；以及
控制单元，其被配成控制配置的机械移动或显示使得右眼和左眼的视点指向由检测单元检测到的距离和方向。
本公开内容的上述示例方面可以提供可以改善通信质量的通信装置。
从在下文中给出的详细描述和附图将更全面地理解本公开内容的以上和其他目的、特征和优点，附图仅以说明的方式给出，并且因此不被认为限制本公开内容。
附图说明
图1是示出根据第一实施方式的通信装置的外部配置的示例的前视图；
图2是示出在根据第一实施方式的通信装置中视线方向为右时右眼和左眼的显示示例的图；
图3是示出根据第一实施方式的通信装置的硬件配置的示例的框图；
图4是示出根据第一实施方式的通信装置的软件配置的示例的框图；
图5是示出用户与通信装置之间的位置关系的示例的图；
图6是示出用户与通信装置之间的位置关系的示例的图；
图7A是示出用于使用摄像机图像上的用户的面部图像大小来估计用户与通信装置之间的距离的方法的示例的图；
图7B是示出用于使用摄像机图像上的用户的面部图像大小来估计用户与通信装置之间的距离的方法的示例的图；
图8是示出利用模拟右眼和左眼的眼球的执行器实现右眼和左眼的通信装置的配置的示例的图；
图9是示出根据第一实施方式的通过在显示器上显示模拟右眼和左眼的眼球的配置来实现右眼和左眼的通信装置的配置的示例的图；
图10是示出用于计算根据第一实施方式的通信装置中的显示器上的右眼的坐标的方法的示例的图；
图11是示出摄像机图像坐标系的示例的图；
图12是示出传感器坐标系的示例的图；
图13是示出传感器坐标系的示例的图；
图14是示出用于使用摄像机图像上的用户的面部图像大小来估计用户与通信装置之间的距离的方法的图；
图15是示出显示图像坐标系的示例的图；
图16是示出根据第二实施方式的通信装置的软件配置的示例的框图；以及
图17是示出在根据第二实施方式的通信装置中视线方向为右并且情绪为消极时的右眼和左眼的显示示例的图。
具体实施方式
在下文中，将参照附图描述本公开内容的实施方式。
[第一实施方式]
图1是示出根据第一实施方式的通信装置1的外部配置的示例的前视图。如图1所示，根据第一实施方式的通信装置1是具有形状像动物的外观的装置(机器人)。通信装置1包括面部单元10、身体单元20、手臂单元30A和30B以及腿部单元40A和40B。
面部单元10包括作为眼睛单元的显示器11A和11B、鼻子单元12和耳朵单元13A和13B。显示器11A构成通信装置1的面部的右眼。显示器11A的显示屏幕(显示面板)具有与面部单元10中表示的右眼的大小和形状相对应的大小和形状。同样地，显示器11B构成通信装置1的面部的左眼。显示器11B的显示屏幕(显示面板)具有与面部单元10中表示的左眼的大小和形状相对应的大小和形状。即，在通信装置1中，整个面部单元10不是由显示器组成，而仅与面部单元10中的眼睛相对应的部分由显示器11A和11B组成。在通信装置1中，面部单元10的除了眼睛之外的部分由除了形状像面部的部件的显示器之外的构件组成。如上所述，在第一实施方式中，通信装置1的面部的除了眼睛之外的部分并不是由显示器组成。因此，面部的除了眼睛之外的部分可以由更逼真的构件组成。在整个面部单元10由显示器形成的情况下，难以在面部单元10上设置各种传感器设备，例如，稍后将描述的摄像机150。相反，第一实施方式实现了改进的设计灵活性，因为由显示器形成的范围是有限的。
在下文中，在不用特别地在它们之间进行区分的情况下提及显示器 11A和显示器11B时，显示器11A和显示器11B被简称为显示器11。例如，显示器11的显示面板是液晶面板。然而，显示器11不限于此，而是可以使用任何其他配置的显示器作为显示器11。
显示器11A和11B中的每一个显示眼睛的图像。因此，如图2所示，显示器11上的显示可以表示通信装置1的视线。图2示出了视线方向为右时的右眼和左眼的显示示例。除了眼球之外，眼睛的图像可以包括与眼睛有关的元素，例如，眼睑、眉毛、眼泪等。
在第一实施方式中，鼻子单元12在面部单元10中向前突出以被成形为类似动物的鼻子。用作稍后将描述的环境测量装置15的摄像机150被设置在鼻子单元12的突出端处。在第一实施方式中，以该方式设置在面部单元10的突出位置处的摄像机150使得能够从摄像机150俯视通信装置1周围。因此，摄像机150可以充分地捕获通信装置1周围的环境。
用作稍后将描述的环境测量装置15的麦克风(未示出)被设置在耳朵单元13A和13B中的每个处。该麦克风测量通信装置1周围的环境的声音。麦克风可以仅被设置在耳朵单元13A和13B中的一个处、被设置在除了面部单元10的耳朵单元13A和13B之外的部分处或者被设置在通信装置1中的除了面部单元10之外的部分处。
接下来，将描述通信装置1的硬件配置。图3是示出通信装置1的硬件配置的示例的框图。如图3所示，通信装置1包括显示器11、扬声器 14、环境测量装置15和控制装置16。
显示器11根据控制装置16的控制显示眼睛的图像。扬声器14根据控制装置16的控制输出声音等。因此，通信装置1可以对用户(通信伙伴)说话。
环境测量装置15是用于测量通信装置1周围的环境以获取关于通信装置1周围的环境的信息的装置。具体地，环境测量装置15包括摄像机 150和麦克风。环境测量装置15将测量数据输出到控制装置16。因此，例如，环境测量装置15捕获包括用户的周围环境的图像。例如，环境测量装置15还检测由用户发出的声音、周围环境中的声音(噪声)等。应注意的是，环境测量装置15不限于摄像机150和麦克风，只要它是可以测量周围环境的装置即可。例如，环境测量装置15可以是测量至物体的距离的距离传感器，例如，激光测距仪。
控制装置16包括存储器160和处理器161。例如，存储器160由易失性存储器和非易失性存储器的组合组成。存储器160用于存储由处理器 161执行的软件(计算机程序)等。
可以使用任何类型的非暂态计算机可读介质来存储该程序并将其提供给计算机。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(例如，软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、只读式紧凑光盘(CD-ROM)、 CD-R、CD-R/W和半导体存储器(例如，掩模ROM、PROM(可编程ROM)、可擦除PROM(EPROM)、闪存ROM、随机存取存储器(RAM)等)。可以使用任何类型的暂态计算机可读介质将程序提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。
处理器161通过从存储器160读出软件(计算机程序)并执行该软件 (计算机程序)来执行稍后将描述的图4所示的每个单元的处理。以该方式，控制装置16具有作为计算机的功能。例如，处理器161可以是微处理器、MPU(微处理单元)或CPU(中央处理单元)。处理器161可以包括多个处理器。
接下来，将描述通过处理器161执行软件来实现的通信装置1的配置。图4是示出通信装置1的软件配置的示例的框图。如图4所示，通信装置 1包括位置检测单元110、坐标计算单元120和输出单元130。坐标计算单元120和输出单元130是控制单元的部件的示例。
位置检测单元110检测用户的位置(距离和方向)。例如，用户的位置可以是用户面部的中心。然而，在可以检测到用户的眼睛的情况下，用户的位置优选地被设定成用户眼睛之间的中心。在用户的位置被设定成用户眼睛之间的中心的情况下，通信装置1易于将其视线指向用户的视线。
坐标计算单元120计算显示右眼的显示器11A上的坐标和显示左眼的显示器11B上的坐标，使得显示器11A上显示的右眼的视线和显示器11B 上显示的左眼的视线指向由位置检测单元110检测到的用户的位置(距离和方向)。
输出单元130在由坐标计算单元120计算的显示器11A上的坐标处显示右眼的图像并且在由坐标计算单元120计算的显示器11B上的坐标处显示左眼的图像。
在下文中，将详细描述位置检测单元110和坐标计算单元120。首先，描述位置检测单元110。图5和图6是示出用户与通信装置1之间的位置关系的示例的图。如图5和图6所示，位置检测单元110测量从通信装置 1看的用户的位置坐标(x，z)，并且还测量用户与通信装置之间的距离坐标(y)。可以仅使用由摄像机150捕获的摄像机图像来测量这些坐标，或者除了摄像机150之外还可以使用传感器(例如，距离传感器和三维位置测量传感器)来测量这些坐标。在只能够通过安装在通信装置1上的设备测量上述坐标的情况下，通信装置1可以被用在任何地方，不管位置如何。
接下来，将描述用于使用摄像机图像上的用户的面部图像大小来估计用户与通信装置1之间的距离(y坐标)的方法。在这种情况下，预先输入摄像机图像上的具有平均面部大小的用户(或者作为通信伙伴的用户) 的面部图像大小与距离(y坐标)之间的相关数据。如图7A和图7B所示，位置检测单元110基于由摄像机150捕获的摄像机图像上的用户的面部图像大小和预先输入的相关数据来估计至用户的距离(y坐标)。在图7A的示例中，在摄像机图像上的用户的面部的竖直长度是80px(像素)的情况下，距离(y坐标)被估计为1m。在图7B的示例中，在用户的面部的竖直长度是200px(像素)的情况下，距离(y坐标)被估计为30cm。
接下来，将描述坐标计算单元120。
坐标计算单元120计算显示右眼的显示器11A上的坐标和显示左眼的显示器11B上的坐标，使得显示器11A上显示的右眼的视线和显示器11B 上显示的左眼的视线均指向由位置检测单元110检测到的用户的位置(距离和方向)。在这种情况下，显示器11上的显示位置(坐标)在左眼与右眼之间不同。
通过模拟(虚拟化)右眼和左眼的眼球的机械执行器实现图8所示的通信装置中的右眼和左眼。如图8所示，右眼和左眼的移动彼此不同。具体地，距离用户更远的眼睛与另一只眼睛相比移动很多。在图8的示例中，用户位于通信装置前方的左侧。因此，右眼旋转很多，使得其视线指向用户的位置。
另一方面，在图9所示的根据第一实施方式的通信装置1中，通过在显示器11上显示右眼和左眼来实现右眼和左眼。在这种情况下，右眼和左眼的视线指向用户的位置并且实现接近实际人类右眼和左眼的移动的移动。为此，模拟(虚拟化)右眼和左眼的眼球，并且控制模拟配置111A 和111B在显示器11上的显示。
在下文中，将使用右眼作为示例来描述具体的控制方法。在模拟右眼的眼球的配置111A的视线指向用户的位置的情况下，位置检测单元110 计算配置111A的旋转角度。然后，如图10所示，坐标计算单元120计算在以计算的旋转角度布置的配置111A的右眼的眼黑部分被投射在平板显示器11A上的情况下的位置坐标作为在其处右眼的眼黑被显示在显示器 11A上的坐标。然后，在假设右眼的眼球存在时，输出单元130可以在显示器11A上的右眼的眼黑应该移动的位置处显示右眼的眼黑。对左眼也执行相同的控制。
在右眼和左眼被显示在显示器11上的情况下，如果右眼和左眼可以通过透镜等被投射在与配置111A和111B的右眼和左眼的眼球表面相对应的平坦表面上，则可以自然地显示右眼和左眼。
接下来，将参照图11至图15详细描述用于计算显示器11上的显示右眼和左眼的坐标的方法。
根据以下步骤计算显示器11A上显示的右眼的眼黑坐标(Xeb-right， Yeb-right)和显示器11B上显示的左眼的眼黑坐标(Xeb-left，Yeb-left)。
步骤1)
图11示出了坐标系(在下文中被称为摄像机图像坐标系)的示例，该坐标系是由摄像机150捕获的摄像机图像的坐标系，并且该坐标系的原点在摄像机图像的中心处。图12和图13示出了坐标系(在下文中被称为传感器坐标系)的示例，该坐标系是由摄像机150感测的区域的坐标系，并且该坐标系的原点在摄像机150的透镜的中心处。首先，位置检测单元110估计用户在摄像机图像坐标系中的位置(Xsu，Ysu)(参见图11)。在这种情况下，用户的位置是在眼睛之间的中心。此外，用户位于通信装置 1的前方的左侧。
接下来，位置检测单元110使用用户在摄像机图像坐标系中的位置 (Xsu，Ysu)和摄像机150的视角规格来如下地估计用户在传感器坐标系中的方位方向(Pitchcu，Yawcu)。(参见图12和图13)。
Pitchcu＝-(竖直方向上的视角/2)×Ysu/(摄像机图像的竖直分辨率/2)
Yawcu＝-(水平方向上的视角/2)×Xsu/(摄像机图像的水平分辨率/2) 步骤2)
图14是示出用于使用摄像机图像上的用户的面部图像大小来估计用户与通信装置1之间的距离(Dcu)的方法的示例的图。摄像机图像上的用户的面部图像大小与距离之间的相关数据被预先输入到位置检测单元 110(参见图14)。图14中的α、β、Acu、Bcu是通过实际设备获得的参数。然后，位置检测单元110基于由摄像机150捕获的摄像机图像上的用户的面部图像大小和预先输入的相关数据来估计用户与通信装置1之间的距离(Dcu)。可以根据摄像机图像估计用户的面部图像大小，或者可以通过面部识别软件获取用户的面部图像大小。
接下来，位置检测单元110使用用户在传感器坐标系中的方位方向 (Pitchcu，Yawcu)以及用户与通信装置1之间的距离(Dcu)来估计用户在传感器坐标系中的位置(Ycu，Zcu)(参见图13)。
第3步)
接下来，位置检测单元110使用用户的位置(Ycu，Zcu)计算模拟右眼的眼球的配置111A的旋转角度Yawce-right，并且还使用用户的位置(Ycu， Zcu)计算模拟左眼的眼球的配置111B的旋转角度Yawce-left(参见图13)。第4步)
图15示出了坐标系(在下文中被称为显示图像坐标系)的示例，该坐标系是显示器11上显示的显示图像的坐标系并且该坐标系的原点在显示图像的中心处。
此后，坐标计算单元120使用旋转角度Pitchcu和Yawce-right计算在以旋转角度Pitchcu和Yawce-right布置的右眼的配置111A的眼黑部分被投射在显示器11A上的情况下的位置坐标作为显示器11A上的右眼的眼黑坐标 (Xeb-right，Yeb-right)。此外，坐标计算单元120使用旋转角度Pitchcu和Yawce-left计算在以旋转角度Pitchcu和Yawce-left布置的左眼的配置111B的眼黑部分被投射在显示器11B上的情况下的位置坐标作为显示器11B上的左眼的眼黑坐标(Xeb-left，Yeb-left)(参见图15)。
如上所述，根据第一实施方式，包括通过分别在显示器11A和11B 上显示配置111A和111B来实现模拟右眼和左眼的眼球的配置111A和 111B的面部单元10。然后，检测用户的距离和方向，并且控制模拟右眼和左眼的配置111A和111B的显示，使得右眼和左眼的视点指向检测到的距离和方向。
以这种方式，右眼和左眼的视点是单独控制的。因此，距用户的距离越近，右眼和左眼的视线之间的距离越窄，从而减少了使得右眼和左眼的视点不指向用户的不自然的印象。这改善了通信质量。
另外，由于通信装置1的表达根据通信装置1与用户之间的位置关系而改变，因此用户不太可能厌倦与通信装置1的通信。此外，可以通知用户通信装置1识别到用户的行为。
[第二实施方式]
图16是示出根据第二实施方式的通信装置2的软件配置的示例的框图。如图16所示，通信装置2与根据第一实施方式的通信装置1的不同之处在于它还包括情绪生成单元140。通信装置2的外观配置和硬件配置与根据第一实施方式的通信装置1的外观配置和硬件配置相同。因此，将省略其描述。
情绪生成单元140根据预定规则来生成在面部单元10中表达的通信装置2的情绪(具体地，指示情绪的参数)。由情绪生成单元140生成情绪。在显示器11上显示的面部单元10的表达中表达的情绪可以告知用户通信装置2的感觉或状态。这有助于促进通信。这也防止了用户对通信装置2厌倦。上述预定规则的示例包括以下规则。然而，规则不限于以下规则。
第一规则是根据从由摄像机150捕获的图像获取的用户的面部来估计用户的情绪，并且生成与估计的情绪同感的情绪作为通信装置2的情绪。即是，在这种情况下，情绪生成单元140根据用户的面部生成情绪。这使得可以根据用户的情绪显示情绪。因此，可以实现与用户的自然通信。应注意的是，例如，可以通过预定面部图像与由摄像机150捕获的图像之间的模式匹配来估计情绪。
第二规则是分析由麦克风检测到的语音，评估与用户的对话内容，根据评估的对话内容估计伙伴的情绪并且生成与估计的情绪同感的情绪作为通信装置2的情绪。即，在这种情况下，情绪生成单元140根据对话内容生成情绪。这使得可以根据对话内容显示情绪。因此，可以实现与用户的自然通信。例如，可以通过预定会话内容与对话内容之间的模式匹配来估计情绪。
第三规则是根据通信装置2的内部状态生成自发的情绪。即，在这种情况下，情绪生成单元140根据内部状态生成情绪。因此，可以显示自发的情绪。例如，内部状态是用于给通信装置2供应电力的剩余电量的减少量以及通信装置2的持续使用时间。例如，情绪生成单元140可以根据内部状态生成诸如疲劳的情绪。
第四规则是基于从由摄像机150捕获的图像获取的用户的动作(行为、手势等)来生成通信装置2的情绪。例如，在该规则下生成先前与预定动作相关联的情绪。即是，在这种情况下，情绪生成单元140根据用户的动作生成情绪。这使得可以响应于用户的动作显示情绪。
在第二实施方式中，控制模拟右眼和左眼的配置111A和111B的显示使得表达针对面部单元10生成的情绪被表达。在右眼和左眼的视点均指向用户的位置(距离和方向)的同时执行该控制。
图17示出了在由情绪生成单元140生成的情绪为“消极”并且由坐标计算单元120计算的坐标是当视线方向为右时的坐标的情况下的右眼和左眼的显示示例。在这种情况下，输出单元130在显示器11上显示面向右方向的哭泣的眼睛的图像。
如上所述，根据第二实施方式，控制模拟右眼和左眼的配置111A和 111B的显示使得在右眼和左眼的视点均指向用户的位置(距离和方向) 的同时表达针对面部单元10生成的情绪。
例如，可以根据预设显示动画的预定模式在面部单元10上表达诸如喜悦和悲伤的情绪。然而，在根据至用户的距离调整的右眼和左眼的视线的方向与由以上模式限定的视线的方向不同的情况下(这会导致不连续地改变视线的方向)，以这种方式表达情绪可能给用户不自然的印象。
相反，在第二实施方式中，在右眼和左眼的视点均指向用户的距离和方向的同时表达面部单元10的情绪。因此，可以平滑地实现在面部单元 10上表达的情绪而不会有不自然的印象。
应注意的是，本公开内容不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下适当地改变。
例如，通过在显示器上显示模拟右眼和左眼的配置来实现根据以上实施方式的通信装置。然而，本公开内容不限于此。如图8所示，根据本公开内容的通信装置的右眼和左眼可以通过模拟右眼和左眼的机械执行器来实现。在这种情况下，控制执行器的机械移动使得右眼和左眼的视点均指向通信伙伴的位置(距离和方向)。可以执行熟知的控制(例如，电机控制)以控制执行器。
此外，根据上述实施方式的通信装置的全部处理可以由通信装置执行。替选地，外部服务器和通信装置可以通信，并且通信装置的处理的部分或全部可以由外部服务器执行。
将处理委托给外部服务器的优点如下。
·可以减少通信装置的处理，并且因此通信装置可以更小和更轻；
·可以增强外部服务器侧的处理能力以进行复杂的响应；
·维护(例如，更新)变得容易(然而对于通信装置的维护和更新，维护人员需要前往通信装置所在的地方)；
·大量数据(例如，表达图像)可以保存在外部服务器中。
另一方面，通信装置执行所有处理的优点如下。
·可以提高响应用户的速度，从而改善即时性；
·可以展现不依赖于与外部服务器的通信状态的性能(即使在无线电波弱并且通信装置不能与外部服务器通信的地方，对话性能也保持不变)。
从如此描述的本公开内容，明显的是，本公开内容的实施方式可以以多种方式变化。不应将这些变化视为脱离本公开内容的主旨和范围，并且对于本领域的技术人员明显的是，所有这样的修改旨在包括在所附权利要求的范围内。

Claims (1)

1.一种通信装置，包括面部单元，所述面部单元用于实现通过机械移动或显示来模拟右眼和左眼的配置，所述通信装置包括：
检测单元，其被配置成检测距通信伙伴的距离和所述通信伙伴的方向，并且被配置成使用所检测到的距离和方向计算所述配置的旋转角度；
控制单元，其被配成控制所述配置的机械移动或显示，使得右眼和左眼的视点指向由所述检测单元检测到的距离和方向；以及
情绪生成单元，所述情绪生成单元被配置成根据预定规则来生成在所述面部单元中表达的所述通信装置的情绪，其中，
所述控制单元控制所述配置的机械移动或显示，使得在所述面部单元中表达所述情绪，并且
所述控制单元在将右眼和左眼的视点指向由所述检测单元检测到的距离和方向的同时执行所述控制，
其中，所述预定规则基于由摄像机捕获的图像、由麦克风检测到的语音、以及所述通信装置的内部状态，并且
其中，通过使用所述图像上的通信伙伴的面部图像大小来估计距所述通信伙伴的距离。
CN201811416695.6A 2017-11-28 2018-11-26 通信装置 Active CN110014431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017228233A JP2019101492A (ja) 2017-11-28 2017-11-28 コミュニケーション装置
JP2017-228233 2017-11-28

Publications (2)

Publication Number Publication Date
CN110014431A CN110014431A (zh) 2019-07-16
CN110014431B true CN110014431B (zh) 2022-09-20

Family

ID=64048667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811416695.6A Active CN110014431B (zh) 2017-11-28 2018-11-26 通信装置

Country Status (4)

Country Link
US (1) US11188811B2 (zh)
EP (1) EP3498429A1 (zh)
JP (2) JP2019101492A (zh)
CN (1) CN110014431B (zh)

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5084099A (en) 1991-06-17 1992-01-28 Tektronix, Inc. Phase change ink colorants and phase change inks produced therefrom
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
TW519826B (en) * 1999-11-29 2003-02-01 Koninkl Philips Electronics Nv Personality-based intelligent camera system
JP2001312604A (ja) * 2000-02-10 2001-11-09 Sony Corp 自動装置及び自動装置の動作生成方法、情報提供装置及び情報提供方法、ロボット装置及びロボット装置の行動生成方法並びに商取引システム及び商取引方法
CN1273912C (zh) * 2001-08-23 2006-09-06 索尼公司 机器人装置、面容识别方法和面容识别装置
JP2004042151A (ja) * 2002-07-09 2004-02-12 Advanced Telecommunication Research Institute International コミュニケーションロボット
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2006289508A (ja) * 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP5186723B2 (ja) 2006-01-05 2013-04-24 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
JP2007323150A (ja) * 2006-05-30 2007-12-13 Keio Gijuku 人体器官擬似装置
JP4565196B2 (ja) 2007-08-30 2010-10-20 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
CN101745226A (zh) * 2008-12-01 2010-06-23 鸿富锦精密工业（深圳）有限公司 仿真眼睛
JP2011055076A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 音声通話装置及び音声通話方法
US8651916B2 (en) * 2010-01-18 2014-02-18 Disney Enterprises, Inc. System and method for generating realistic eyes
JP2011175583A (ja) * 2010-02-25 2011-09-08 Casio Computer Co Ltd 表示装置及びプログラム
JP5729692B2 (ja) * 2011-02-28 2015-06-03 国立大学法人信州大学 ロボット装置
US10176725B2 (en) * 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
JP5982840B2 (ja) * 2012-01-31 2016-08-31 富士通株式会社 対話装置、対話プログラムおよび対話方法
EP2629006A1 (en) * 2012-02-17 2013-08-21 Mattel Inc. Light emitting diode and toy
JP5651639B2 (ja) 2012-06-29 2015-01-14 株式会社東芝 情報処理装置、情報表示装置、情報処理方法およびプログラム
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9636594B2 (en) * 2013-10-01 2017-05-02 Rehco, Llc System for controlled distribution of light in toy characters
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
US10363192B2 (en) * 2016-06-16 2019-07-30 Matthew Casey Device and method for instilling intrinsic motivation regarding eye contact in children affected by eye contact disorders
US10062216B2 (en) * 2016-09-13 2018-08-28 Aleksey Konoplev Applying facial masks to faces in live video
JP6544333B2 (ja) 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
GB2571027B (en) * 2016-11-24 2022-08-10 Groove X Inc Autonomously acting robot that changes pupil
CN106648074A (zh) * 2016-11-25 2017-05-10 合肥优智领英智能科技有限公司 一种智能机器人的人机交互方法
CN106625678B (zh) * 2016-12-30 2017-12-08 首都师范大学 机器人表情控制方法和装置
JP6841167B2 (ja) 2017-06-14 2021-03-10 トヨタ自動車株式会社 コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN107307865A (zh) * 2017-08-04 2017-11-03 湖州健凯康复产品有限公司 一种自闭症儿童辅助交流装置

Also Published As

Publication number Publication date
US11188811B2 (en) 2021-11-30
CN110014431A (zh) 2019-07-16
JP2019101492A (ja) 2019-06-24
EP3498429A1 (en) 2019-06-19
JP2022008613A (ja) 2022-01-13
US20190164032A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
US20200410713A1 (en) Generating pose information for a person in a physical environment
US20180046874A1 (en) System and method for marker based tracking
JP6017664B1 (ja) 情報処理方法及び情報処理プログラム
CN115131483A (zh) 渲染视频帧的方法、计算机可读存储介质和计算机系统
KR20190101834A (ko) 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
US10576633B2 (en) Communication device
SA110310836B1 (ar) مساعدة تعاونية ظاهرية تعتمد على صورة رمزية
JP7355006B2 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2019138619A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN115023738A (zh) 中性化身
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20240008359A (ko) 오디오 향상 증강 현실
JP2014010362A (ja) 映像演出装置
CN111708428B (zh) 通信系统和用于控制通信系统的方法
CN110014431B (zh) 通信装置
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
WO2020166373A1 (ja) 情報処理装置および情報処理方法
JP2017092509A (ja) テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム
US20210319624A1 (en) Image processing device, image processing method, and program
US20240275938A1 (en) Motion Dependent Display
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
WO2021131950A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240312093A1 (en) Rendering Avatar to Have Viseme Corresponding to Phoneme Within Detected Speech
CN118537761A (zh) 障碍物检测方法、装置、设备及可读存储介质
JP2017120619A (ja) 情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant