CN110971815B - 图像处理装置、机器人、图像处理方法以及存储介质 - Google Patents

图像处理装置、机器人、图像处理方法以及存储介质 Download PDF

Info

Publication number
CN110971815B
CN110971815B CN201910879412.XA CN201910879412A CN110971815B CN 110971815 B CN110971815 B CN 110971815B CN 201910879412 A CN201910879412 A CN 201910879412A CN 110971815 B CN110971815 B CN 110971815B
Authority
CN
China
Prior art keywords
unit
robot
change
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910879412.XA
Other languages
English (en)
Other versions
CN110971815A (zh
Inventor
牧野哲司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN110971815A publication Critical patent/CN110971815A/zh
Application granted granted Critical
Publication of CN110971815B publication Critical patent/CN110971815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置、机器人、图像处理方法以及存储介质，抑制负荷的同时从图像整体进行检测。图像处理装置(120)具备获取部(130)、脸部检测部(140)、以及变化检测部(150)。获取部(130)获取由摄像部(105)连续拍摄的图像。脸部检测部(140)执行从被获取的图像的中央区域检测规定的对象(人物的脸部)的检测处理(脸部检测处理)。变化检测部(150)检测被获取的图像的中央区域的周围的周边区域中的随时间的变化。

Description

图像处理装置、机器人、图像处理方法以及存储介质
技术领域
本发明涉及图像处理装置、机器人、图像处理方法以及存储介质。
背景技术
已知从被拍摄的图像检测人物的脸部的脸部检测处理。在JP特开2009-20163号公报中，为了抑制脸部检测处理的负荷，记载了仅以被拍摄的图像的中央区域为对象来进行脸部检测处理的方法。
-发明要解决的课题-
在JP特开2009-20163号公报所记载的方法中，针对图像的中央区域周围的周边区域，不执行脸部检测处理。因此，在JP特开2009-20163号公报所记载的方法中，人物从图像的范围外进入到周边区域的这种情况下，无法检测出该情况。
发明内容
本发明是鉴于上述实际情况而作出的，其目的在于，提供一种能够抑制负荷并且能够从图像整体进行检测的图像处理装置、机器人、图像处理方法以及程序。
-解决课题的手段-
为了实现上述目的，本发明所所涉及的图像处理装置的特征在于，具备：获取单元，其获取连续被拍摄的图像；对象检测单元，其执行从被获取的所述图像的中央区域检测某个对象的第1检测处理；和变化检测单元，其通过执行负荷比所述第1检测处理小的第2检测处理，来检测被获取的所述图像的所述中央区域以外的其他区域中的随时间的变化。
-发明效果-
根据本发明，能够抑制负荷的同时从图像整体进行检测。
附图说明
图1是表示本发明的实施方式所涉及的机器人的外观的图。
图2是表示实施方式所涉及的机器人的硬件结构的框图。
图3是表示实施方式所涉及的机器人的功能性结构的框图。
图4是表示由实施方式所涉及的机器人执行的机器人控制处理的流程的流程图。
图5A是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其一)。
图5B是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其二)。
图6A是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其三)。
图6B是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其四)。
图7A是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其五)。
图7B是用于说明由实施方式所涉及的机器人执行的机器人控制处理的具体例的图(其六)。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。另外，对于图中相同或者相当的部分赋予同一符号。
图1表示本发明的实施方式1所涉及的机器人100的外观。机器人100是主要在家庭、展示厅等被使用并能够与用户进行通信的通信机器人。机器人100按照预先所规定的动作程序自主地进行动作。
如图1所示，机器人100具有外观上大致人形的立体形状。机器人100是例如将塑料等的硬质合成树脂作为主要的材料而制作的。机器人100具备：头部101、躯体部102、手部103和脚部104。
头部101、手部103以及脚部104是能够由内置于机器人100的驱动部件使其动作的部位。例如，头部101通过被设置于头的头关节，被安装于能够在俯仰、滚动以及偏航的3个方向转动的躯体部102。此外，在头部101设有对机器人100的前方进行拍摄的摄像部105。
图2表示机器人100的硬件结构。如图2所示，机器人100具备：摄像部105、控制部106、存储部107、电池108、驱动器109、可动部110、无线通信部111、显示部112、声音输入部113、声音输出部114。
控制部106具备CPU(Central Processing Unit：中央处理单元)、ROM(Read OnlyMemory：只读存储器)以及RAM(Random Access Memory：随机存取存储器)。CPU是例如微处理器等，是执行各种处理、运算的中央运算处理部。在控制部106中，CPU读出被存储于ROM的控制程序，将RAM用作为工作存储器，来控制机器人100整体的动作。
此外，控制部106例如包含GPU(Graphics Processing Unit：图形处理单元)等的这种图像处理用的处理器、各种缓冲存储器。控制部106通过图像处理用的处理器，利用公知的图像识别的方法，执行从由摄像部105拍摄的图像的中央区域检测人的脸部的脸部检测处理、检测图像的中央区域以外的其他区域(以下为周边区域)的随时间的变化的处理。
存储部107是缓冲存储器、硬盘等的非易失性存储器。存储部107存储包含OS(Operating System：操作系统)以及应用程序的、控制部106为了进行各种处理而使用的程序以及数据。例如，存储部107存储用于从摄像部105所拍摄的图像来确定中央区域和周边区域的数据。例如，将中央区域定义为从所拍摄的图像的中心起占图像整体的40％的长方形的区域，将周边区域定义为该图像中的中央区域以外的区域即可。另外，如何定义中央区域、周边区域是任意的，可以按与上述的例子不同的比例来定义中央区域、周边区域，也可以将图像中央的圆形或椭圆形等的区域设为中央区域。此外，存储部107存储通过控制部106进行各种处理所生成或者获取的数据。
电池108是存储电能并向机器人100的各部提供电力的蓄电池。电池108在机器人100返回至充电站的情况下，由充电站进行充电。
驱动器109具备：对机器人100的可动部110进行驱动的电机、促动器等的驱动部件、驱动这些驱动部件的驱动电路。所谓可动部110是可动的部位，具体而言是头部101、手部103以及脚部104。控制部106基于动作程序，向驱动电路发送控制信号。驱动电路按照从控制部106发送的控制信号，向驱动部件提供驱动用的脉冲信号。驱动部件按照从驱动电路提供的脉冲信号，来驱动可动部110。
机器人100通过驱动器109驱动可动部110从而能够进行各种动作。例如，机器人100通过使脚部104动作，从而能够向前方或者后方移动，能够改变本装置的朝向。此外，驱动器109通过驱动头部101，能够改变被设置于头部101的摄像部105的摄像方向。
摄像部105是所谓的照相机，被设置于头部101。摄像部105对头部101朝向的方向进行拍摄。摄像部105按每个时间(例如每1/60秒)进行拍摄。也就是说，摄像部105连续地拍摄图像。另外，基于摄像部105的图像的摄像的时间间隔也可以不固定。摄像部105作为摄像单元发挥功能。
无线通信部111具备用于通过无线与外部的设备进行通信的接口。无线通信部111在控制部106的控制之下，例如基于Wi-Fi(Wireless Fidelity)等的无线LAN(Local AreaNetwork)、Bluetooth(注册商标)、NFC(Near Field Communication)等的通信标准，与对机器人100进行充电的充电站、云服务器等的外部的设备进行无线通信。无线通信部111作为通信单元发挥功能。
显示部112例如是液晶显示器、有机EL(Electro Luminescence)显示器、LED(Light Emitting Diode)等的显示设备。显示部112基于由未图示的显示驱动电路进行的控制，根据状况来显示各种的图像。显示部112作为显示单元发挥功能。
声音输入部113被设置于头部101，检测(获取)从用户发出的声音、周围的环境声响等，将检测出的声响输出至控制部106。尽管未图示，但机器人100作为声音输入部113而具备多个麦克风，以使得包围头部101，能够有效地检测在四个方向所产生的声响。声音输入部113作为声音获取单元发挥功能。
声音输出部114具备扬声器和声音输出接口，将由控制部106所生成的声音数据变换为声音并输出至外部。扬声器被设置于头部101。声音输出部114输出包含动物的叫声以及人类的语音的各种声音。例如，机器人100利用声音输入部113来收集通信对象的声音，从声音输出部114输出与通信对象的话语内容对应的声音。由此，能够与通信对象进行简单的会话。
接下来，参照图3，对本发明所涉及的机器人100的功能性结构进行说明。如图3所示，机器人100在功能上具备：获取部130、脸部检测部140、变化检测部150、判别部160、摄像方向控制部170。这些的各部通过在控制部106中CPU将存储于ROM的程序读出至RAM并执行被读出的程序进行控制来发挥功能。另外，上述的获取部130、脸部检测部140、变化检测部150以及摄像方向控制部170相当于机器人100中包含的图像处理装置120的功能。
获取部130获取摄像部105连续拍摄的图像。获取部130作为获取单元发挥功能。
脸部检测部140利用公知的方法，执行从获取部130获取的图像检测人物的脸部的脸部检测处理。此时，脸部检测部140仅以获取的图像的中央区域为对象来执行脸部检测处理。例如，脸部检测部140将作为人物的脸部的模板的数据、表示脸部的特征的数据保存于存储部107，参照这些数据从中央区域检测人类的脸部即可。脸部检测部140作为检测规定对象的对象检测单元发挥功能。脸部检测部140执行的脸部检测处理是本发明的第1检测处理的一例。
变化检测部150检测获取部130获取的图像的中央区域的周围的周边区域(即中央区域以外的区域)中的随时间的变化。变化检测部150作为变化检测单元发挥功能。另外，变化检测部150仅检测变化，对于检测出的变化具体是什么则不必确定。因此，变化检测部150进行的处理与脸部检测部140进行的脸部检测处理相比，图像中的每单位像素所需的处理的负荷较小。变化检测部150执行的处理是本发明的第2检测处理的一例。
例如，变化检测部150基于获取部130所获取的图像的周边区域内的特征点，检测周边区域中的随时间的变化。具体而言，变化检测部150首先针对摄像部105连续拍摄的多个图像，分别从周边区域检测特征点。然后，变化检测部150求取所检测的特征点的图像间的移动量(移动向量)，如果求出的移动量为阈值以上，则将最新的图像中的该特征点的位置检测为有变化的部分。
或者，也可以变化检测部150基于连续拍摄的图像间的周边区域的差值，来检测周边区域中的随时间的变化。具体而言，变化检测部150针对摄像部105连续拍摄的多个图像的周边区域，按每个像素来计算像素值的差值。并且，如果存在计算出的差值为阈值以上的像素，则变化检测部150将该像素的部分检测为有变化的部分。
另外，上述的变化检测部150进行的变化检测的方法是一例，也可以通过其他方法从图像的周边区域检测变化。
判别部160判别条件是否成立。判别部160作为判别单元发挥功能。
摄像方向控制部170控制驱动器109来驱动头部101，使得被设置于头部101的摄像部105的摄像方向变化。例如，摄像方向控制部170在判别部160判别为条件成立的情况下，由变化检测部150检测出图像的周边区域中的随时间的变化时，控制摄像部105的摄像方向，以使得存在该变化的部分位于摄像部105的摄像范围的中央。摄像方向控制部170作为控制单元发挥功能。另外，在将摄像部105可移动地安装于头部101的情况下，也可以摄像方向控制部170通过使摄像部105移动来改变摄像方向。
参照图4所示的流程图，对以上那样构成的机器人100中所执行的处理的流程进行说明。
若机器人100的电源被接通、并且电池108被充电从而机器人100处于可正常动作的状态，则开始图4所示的机器人控制处理。
若机器人控制处理开始，则首先控制部106作为获取部130发挥功能，获取摄像部105连续拍摄的最新的图像(步骤S10)。
接下来，控制部106作为脸部检测部140发挥功能，执行从获取的图像的中央区域检测人物的脸部的脸部检测处理(步骤S20)。
在脸部检测处理中检测出脸部的情况下(步骤S30：是)，控制部106作为判别部160发挥功能，判别条件是否成立(步骤S40)。
另外，这里能够将各种的条件用作为步骤S40的“条件”。例如，控制部106可以在并未与本装置(机器人100)检测出的脸部的人物进行通信的情况下，判别为规定的条件成立。
或者，控制部106利用公知的方法，根据视线方向等来判别检测出的脸部是否朝向本装置。并且，可以在脸部未朝向本装置的情况下，判别为条件成立。
或者，控制部106可以在脸部检测处理中检测出的脸部的大小小于阈值的情况下，判别为条件成立。此外，控制部106也可以在声音输入部113一定期间未从该脸部的人物持续接收到声音的情况下，判别为条件成立。
或者，使机器人100内置将与机器人100进行了规定频度以上的通信的人物的脸部、从用户所设定的脸部预先登记为“我的收藏”的功能。并且，控制部106可以在脸部检测处理中检测出的脸部未被登记为“我的收藏”的情况下，判别为条件成立。
在判别为条件未成立的情况下(步骤S40：否)，控制部106作为摄像方向控制部170发挥功能，控制驱动器109以使得该脸部位于摄像部105的摄像范围的中央(步骤S50)。驱动器109按照来自控制部106的指示来驱动头部101。由此，设置于头部101的摄像部105的朝向被调整，以使得检测出的脸部位于摄像范围的中央。另外，也可以控制部106通过驱动脚部104，来调整摄像部105的位置、朝向。然后，处理返回至步骤S10。
另一方面，在脸部检测处理中未检测出脸部的情况下(步骤S30：否)，或者尽管检测出脸部但是判别为条件成立的情况下(步骤S30：是、步骤S40：是)，控制部106作为变化检测部150发挥功能，检测所获取的图像的周边区域中有无随时间的变化(步骤S60)。
例如，控制部106对本次的步骤S10中所获取的最新的图像的周边区域、与其前一个的步骤S10中所获取的图像(前一次所获取的图像)的周边区域进行比较，来检测有无变化即可。另外，控制部106也可以利用摄像部105连续拍摄的更多的图像来检测周边区域的变化。
在步骤S60中检测出变化的情况下(步骤S70：是)，控制部106作为摄像方向控制部170发挥功能，控制驱动器109以使得存在检测出的变化的部分位于摄像部105的摄像范围的中央(步骤S80)。驱动器109按照来自控制部106的指示来驱动头部101。由此，设置于头部101的摄像部105的朝向被调整，以使得存在检测出的变化的部分位于摄像范围的中央。然后，处理返回至步骤S10。
另一方面，在步骤S60中未检测出变化的情况下(步骤S70：否)，处理返回至步骤S10。
接下来，举例对上述的机器人控制处理进行说明。
如图5A所示，考虑人物Pa位于机器人100的正面的情况。该情况下，在摄像部105拍摄的图像的中央区域执行脸部检测处理(步骤S20)，从图5B所示的此时拍摄的图像检测人物Pa的脸部(步骤S30：是)。然后，由于该人物Pa的脸部朝向机器人，因此判别为条件未成立(步骤S40：否)，摄像部105的摄像方向被调整，以使得脸部位于摄像范围的中央(步骤S50)。
并且，此后如图6A所示，考虑从图面的右侧其他的人物Pb接近人物Pa、并且人物Pa面向侧面而视线离开机器人的情况。
该情况下，如图6B所示，人物Pb的脸部位于摄像部105所拍摄的图像的周边区域，未位于中央区域。因此，成为脸部检测处理的对象以外，人物Pb的脸部未被检测。
另一方面，由于当前脸部检测处理中检测出的人物Pa的脸部未朝向机器人，因此判别为条件成立(步骤S40：是)，判别有无周边区域的变化(步骤S60)，人物Pb新进入周边区域被检测为变化(步骤S70：是)。因此，如图7A所示，摄像部105的摄像方向被控制为检测为变化的人物Pb的方向(图中的右方向)(步骤S80)。由此，如图7B所示，人物Pb成为图像的中心。
如以上所说明，本实施方式所涉及的机器人100以及图像处理装置120对于负荷比较大的脸部检测处理(第1检测处理)，仅以图像的中央区域为对象来执行，另一方面，对于图像的中央区域以外的其他区域，仅执行负荷比脸部检测处理小的随时间的变化的检测处理(第2检测处理)。因此，能够抑制负荷的同时从图像整体进行检测。
此外，本实施方式所涉及的机器人100具备摄像部105，在图像的周边区域检测出随时间的变化的情况下，控制摄像部105的摄像方向以使得存在该变化的部分位于摄像范围的中央。由此，机器人100能够与进入视角内的所有移动联动地进行动作。例如，机器人100能够将周围摇动的窗帘检测为变化，执行对其产生反应等的动物性的动作。
此外，本实施方式所涉及的机器人100在脸部检测处理中检测出脸部的期间，限于该脸部未朝向本装置等的这种条件成立的情况，能够进行对周边区域的变化产生反应的控制。因此，在机器人100与检测出的脸部的人物进行会话时，能够防止进行响应于图像的周边区域的变化而阻碍会话的这种动作。
(变形例)
另外，本发明并不限定于上述实施方式，在不脱离本发明的主旨的部分内的各种修正当然是可以的。
例如，在上述实施方式中，机器人100以及图像处理装置120执行检测人物的脸部的脸部检测处理，但是也可以代替脸部检测处理，执行对动物等的这种的人物脸部以外的某个对象进行检测的检测处理。
此外，在机器人控制处理中，也可以即便在脸部检测处理中检测出脸部的期间，如果在周边区域检测到变化，则无条件地将摄像方向改变至该变化部分。该情况下，机器人100能够始终敏锐地对周围的变化做出反应，能够进行更为动物性的动作。此外，也可以在机器人控制处理中在脸部检测处理中检测出脸部的期间，一直进行调整摄像部105的朝向的控制，以使得该脸部处于图像的中央。
此外，在机器人控制处理中，在周边区域检测出变化的情况下，控制部106进行控制摄像方向的处理，以使得变化部分位于摄像部105的摄像范围的中央(步骤S80)，但是并不限于此，在周边区域检测出变化的情况下可以执行各种的处理。例如，可以在周边区域检测出变化的情况下，控制部106执行将摄像部105的视角(摄像范围)扩大、或者缩小(例如缩小为此时的周边区域内的被摄体从摄像范围偏离)这种的控制，从而控制摄像部105的摄影，或者从摄像图像剪切(切取)周边区域(其整体或者仅其变化部分)并进行扩大、或从摄像图像剪切中央区域并进行扩大，对摄像图像执行图像处理。此外，也可以在机器人控制处理中，在脸部检测处理中未检测出脸部的情况下、条件不成立的情况下，进行剪切中央区域的图像处理从而进行删除周边区域的图像处理。
此外，将摄像部105所拍摄的图像之中的哪个区域设为中央区域、周边区域可以是任意的，用户哪个适当设定。例如，在头部101(摄像部105)仅在水平方向(偏航方向)进行驱动的情况下，也可以仅将图像的左右的区域设为周边区域。
此外，本发明的“机器人”并不限定于图1所示的这种以与用户的通信为目的的机器人。例如，具备监视照相机等的摄像装置、计算机以及驱动机构，通过计算机从摄像装置拍摄的图像的中央区域检测人物的脸部，并检测摄像图像的周边区域中的随时间的变化，在检测出变化时控制驱动机构来控制摄像装置的摄像方向以使得该变化的部分来到摄像范围的中央的安全机器人、安全系统、监视系统等也包含于本发明的“机器人”。
另外，除了能够作为预先具备用于实现本发明所涉及的功能的结构的图像处理装置或者机器人来提供之外，也能够通过程序的应用将信息处理装置等作为本发明所涉及的图像处理装置或机器人发挥功能。也就是说，通过将用于实现上述实施方式中例示的基于图像处理装置120或机器人100的各功能结构的程序，应用为控制信息处理装置等的CPU等能够执行，从而能够作为本发明所涉及的图像处理装置或机器人发挥功能。
此外，这种程序的应用方法是任意的。能够将程序例如保存于软盘、CD(CompactDisc)-ROM、DVD(Digital Versatile Disc)-ROM、存储卡等的计算机可读取的存储介质来应用。进而，也能够将程序叠加于载波，经由互联网等的通信介质来应用。例如，也可以在通信网络上的公告板(BBS：Bulletin Board System)公告并发布程序。并且，也可以构成为通过启动该程序，在OS(Operating System)的控制下，与其他应用程序同样地执行，由此能够执行上述的处理。
以上，对本发明的优选的实施方式进行了说明，但是本发明并不限定于这种特定的实施方式，本发明包含与权利要求书中记载的发明和其等同的范围。

Claims (14)

1.一种图像处理装置，其特征在于，具备：
获取单元，其获取连续被拍摄的图像；
对象检测单元，其执行从被获取的所述图像的中央区域检测某个对象的第1检测处理；和
变化检测单元，其通过所述对象检测单元来执行所述第1检测处理的结果，在未检测出所述某个对象的情况下，或者检测出所述某个对象的情况并且规定的条件成立的情况下，通过执行负荷比所述第1检测处理小的第2检测处理，来检测被获取的所述图像的所述中央区域以外的其他区域中的随时间的变化。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述变化检测单元通过执行所述第2检测处理，基于所述其他区域内的特征点来检测所述其他区域中的随时间的变化。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述变化检测单元通过执行所述第2检测处理，基于连续被拍摄的所述图像间的所述其他区域的差值，来检测所述其他区域中的随时间的变化。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述某个对象是人物的脸部。
5.根据权利要求1至4的任一项所述的图像处理装置，其特征在于，
所述获取单元获取由摄像单元连续拍摄的图像，
所述图像处理装置还具备控制单元，所述控制单元根据所述对象检测单元的检测结果、以及所述变化检测单元的检测结果的至少一方，来执行处理。
6.一种机器人，其特征在于，具备：
权利要求5所述的图像处理装置；和
所述摄像单元。
7.根据权利要求6所述的机器人，其特征在于，
所述摄像单元被构成为能够在某个摄像范围中拍摄所述获取单元获取的图像，
在由所述变化检测单元检测出所述其他区域中的随时间的变化时，所述控制单元控制所述摄像单元的摄像方向，以使得存在该变化的部分位于所述摄像范围的中央。
8.根据权利要求7所述的机器人，其特征在于，
所述机器人还具备判别单元，所述判别单元判别条件是否成立，
所述控制单元在通过所述第1检测处理检测出所述某个对象的期间，仅在由所述判别单元判别为所述条件成立的情况下，能够控制所述摄像方向。
9.根据权利要求8所述的机器人，其特征在于，
所述机器人能够进行通信，
所述判别单元在所述机器人与所述某个对象所对应的对象物未进行通信的情况下判别为所述条件成立。
10.根据权利要求8所述的机器人，其特征在于，
所述判别单元在由所述对象检测单元检测出的所述某个对象未朝向所述机器人的情况下判别为所述条件成立。
11.根据权利要求8所述的机器人，其特征在于，
所述判别单元在由所述对象检测单元检测出的所述某个对象的大小为阈值以下的情况下判别为所述条件成立。
12.根据权利要求8所述的机器人，其特征在于，
所述机器人还具备声音获取单元，
所述判别单元在所述声音获取单元在一定期间未从所述某个对象持续地获取声音的情况下判别为所述条件成立。
13.一种图像处理方法，其特征在于，
执行从被拍摄的图像的中央区域检测某个对象的第1检测处理，
执行所述第1检测处理的结果，在未检测出所述某个对象的情况下，或者检测出所述某个对象的情况并且规定的条件成立的情况下，通过执行负荷比所述第1检测处理小的第2检测处理，来检测所述图像的所述中央区域以外的其他区域中的随时间的变化。
14.一种非临时性的存储介质，其存储有程序，所述程序使计算机作为如下单元发挥功能：
获取单元，其获取连续被拍摄的图像；
对象检测单元，其执行从被获取的所述图像的中央区域检测某个对象的第1检测处理；和
变化检测单元，通过所述对象检测单元来执行所述第1检测处理的结果，在未检测出所述某个对象的情况下，或者检测出所述某个对象的情况并且规定的条件成立的情况下，通过执行负荷比所述第1检测处理小的第2检测处理，来检测被获取的所述图像的所述中央区域以外的其他区域中的随时间的变化。
CN201910879412.XA 2018-10-01 2019-09-17 图像处理装置、机器人、图像处理方法以及存储介质 Active CN110971815B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018186685A JP7374581B2 (ja) 2018-10-01 2018-10-01 ロボット、画像処理方法及びプログラム
JP2018-186685 2018-10-01

Publications (2)

Publication Number Publication Date
CN110971815A CN110971815A (zh) 2020-04-07
CN110971815B true CN110971815B (zh) 2021-07-30

Family

ID=69947075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910879412.XA Active CN110971815B (zh) 2018-10-01 2019-09-17 图像处理装置、机器人、图像处理方法以及存储介质

Country Status (3)

Country Link
US (1) US11400607B2 (zh)
JP (2) JP7374581B2 (zh)
CN (1) CN110971815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024185076A1 (ja) * 2023-03-08 2024-09-12 三菱電機株式会社 ロボット装置、制御システム、制御方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141579A (zh) * 2006-09-08 2008-03-12 日本胜利株式会社 电子设备
JP2008075360A (ja) * 2006-09-22 2008-04-03 Saxa Inc 自動ドア用センサ
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
CN103400157A (zh) * 2013-07-23 2013-11-20 青岛海信网络科技股份有限公司 一种基于视频分析的道路行人及非机动车检测方法
CN105306813A (zh) * 2014-07-22 2016-02-03 佳能株式会社 图像处理装置及图像处理方法
CN105957300A (zh) * 2016-07-18 2016-09-21 四川君逸数码科技股份有限公司 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN108073271A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域识别手部区域的方法及装置
CN108230366A (zh) * 2017-12-28 2018-06-29 厦门市美亚柏科信息股份有限公司 一种目标物的追踪方法
CN108447303A (zh) * 2018-03-20 2018-08-24 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6967455B2 (en) * 2001-03-09 2005-11-22 Japan Science And Technology Agency Robot audiovisual system
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ
JP4692006B2 (ja) * 2005-02-15 2011-06-01 トヨタ自動車株式会社 画像処理装置及び画像処理方法
WO2008077132A1 (en) * 2006-12-19 2008-06-26 California Institute Of Technology Imaging model and apparatus
JP4998122B2 (ja) 2007-07-10 2012-08-15 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2011152593A (ja) 2010-01-26 2011-08-11 Nec Corp ロボット操作装置
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
JP5910209B2 (ja) * 2012-03-16 2016-04-27 富士通株式会社 ロボット制御装置、ロボットシステム、ロボット制御方法、及びロボット制御プログラム
JP5966778B2 (ja) * 2012-09-05 2016-08-10 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5472506B2 (ja) * 2013-03-19 2014-04-16 住友電気工業株式会社 複数の移動対象物の追跡撮影システム及び撮影制御方法
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
JP6577738B2 (ja) * 2015-04-09 2019-09-18 キヤノン株式会社 焦点検出装置及びその制御方法、プログラム、記憶媒体
JP6715463B2 (ja) * 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
WO2018177561A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Management of human-machine dialogue involving multiple parties
JP6817557B2 (ja) * 2017-05-22 2021-01-20 パナソニックＩｐマネジメント株式会社 通信制御方法、通信制御装置、及び通信制御プログラム
JP6642523B2 (ja) * 2017-06-19 2020-02-05 カシオ計算機株式会社 表情判定装置、表情判定方法及びプログラム
US20190246038A1 (en) * 2018-02-02 2019-08-08 Essel-T Co., Ltd. Camera having subject maintenance function

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141579A (zh) * 2006-09-08 2008-03-12 日本胜利株式会社 电子设备
JP2008075360A (ja) * 2006-09-22 2008-04-03 Saxa Inc 自動ドア用センサ
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
CN103400157A (zh) * 2013-07-23 2013-11-20 青岛海信网络科技股份有限公司 一种基于视频分析的道路行人及非机动车检测方法
CN105306813A (zh) * 2014-07-22 2016-02-03 佳能株式会社 图像处理装置及图像处理方法
CN105957300A (zh) * 2016-07-18 2016-09-21 四川君逸数码科技股份有限公司 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN108073271A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域识别手部区域的方法及装置
CN108230366A (zh) * 2017-12-28 2018-06-29 厦门市美亚柏科信息股份有限公司 一种目标物的追踪方法
CN108447303A (zh) * 2018-03-20 2018-08-24 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法

Also Published As

Publication number Publication date
JP2023133343A (ja) 2023-09-22
JP7374581B2 (ja) 2023-11-07
US20200101630A1 (en) 2020-04-02
JP2020057149A (ja) 2020-04-09
US11400607B2 (en) 2022-08-02
CN110971815A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
US10311640B2 (en) Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method
US11000952B2 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
US20150032254A1 (en) Communication draw-in system, communication draw-in method, and communication draw-in program
US10223064B2 (en) Method for providing virtual space, program and apparatus therefor
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10860089B2 (en) Method of suppressing VR sickness, system for executing the method, and information processing device
US11442274B2 (en) Electronic device and method for displaying object associated with external electronic device on basis of position and movement of external electronic device
EP3989118A1 (en) Target tracking method and system, readable storage medium and moving platform
CN109955264B (zh) 机器人、机器人控制系统、机器人的控制方法以及记录介质
CN110502108B (zh) 设备控制方法、装置以及电子设备
US11029753B2 (en) Human computer interaction system and human computer interaction method
KR20200038111A (ko) 전자 장치 및 제스처 인식 방법
JP2023133343A (ja) ロボット、方向制御方法及びプログラム
US20190265692A1 (en) Apparatus, robot, method, and recording medium
US11550323B2 (en) Autonomous moving apparatus and non-transitory computer readable medium storing program
CN107870588B (zh) 机器人、故障诊断系统、故障诊断方法以及记录介质
JP2018140686A (ja) 移動体装置及び移動体システム
KR102613040B1 (ko) 영상 통화 방법 및 이를 구현하는 로봇
JP2019217605A (ja) ロボット、ロボットの制御方法及びプログラム
US11509951B2 (en) Control device, control method, and electronic device
KR102044003B1 (ko) 영상 회의를 위한 전자 장치 및 그의 동작 방법
JP7260673B2 (ja) 映像表示装置及び映像表示方法
KR20090065890A (ko) 행위기반 로봇 제어장치 및 그 제어방법
CN118081728A (zh) 机器人控制方法、装置、机器人及存储介质
EP3832434A1 (en) Behavior-based configuration method and behavior-based configuration system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant