CN115552892A - 远程作业装置及其程序 - Google Patents

远程作业装置及其程序 Download PDF

Info

Publication number
CN115552892A
CN115552892A CN202180035032.3A CN202180035032A CN115552892A CN 115552892 A CN115552892 A CN 115552892A CN 202180035032 A CN202180035032 A CN 202180035032A CN 115552892 A CN115552892 A CN 115552892A
Authority
CN
China
Prior art keywords
scene
video
camera
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180035032.3A
Other languages
English (en)
Inventor
中藏聪哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Publication of CN115552892A publication Critical patent/CN115552892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028—Circuits for converting colour display signals into monochrome display signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/16—Digital picture frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

通过对远处获得的影像进行适当的压缩而实现用户的目视确认性的提高。在远处的机器人(3)中，基于根据其位置及动作的检测数据和影像数据而导出的特征量，判定机器人(3)的行动场景，选择与判定出的上述行动场景对应的影像参数或者拍摄模式。而且，进行针对影像数据而调整上述选择出的影像参数的处理，或者针对照相机而设定上述选择出的拍摄模式的处理，将该处理后的影像数据经由网络(4)向用户侧的信息处理装置(2)输送，并在HMD(1)进行显示。

Description

远程作业装置及其程序
技术领域
本发明的实施方式涉及例如能够与用户装置之间经由网络而通信的远程作业装置、以及在该远程作业装置中使用的程序。
背景技术
开发了如下系统，即，用户一边观看从存在于远处的机器人经由网络而发送的影像，一边对机器人的动作进行远程控制。这种系统例如在用户的头部安装头戴式显示器(Head Mount Display：HMD)(此后也称为头戴式套件)。而且，以如下方式构成，即，用户一边利用头戴式套件观看存在于远处的机器人拍摄的影像，一边使自己的身体执行动作或者对控制器进行操作，由此对上述机器人的动作进行远程控制。
另外，关于这种系统，例如利用增强现实(Augmented Reality；AR)的技术或者虚拟现实(Virtual Reality：VR)的技术基于从机器人输送的影像而生成AR影像或者VR影像并在头戴式套件进行显示，由此能够使得用户获得高度的沉浸感。
专利文献1：日本特开2019-106628号公报
发明内容
但是，当前的系统存在如下需要解决的问题。即，在经由网络而传送已拍摄的影像的情况下，在影像的压缩条件固定的简单的系统中，受到通信环境的影响。特别是在无线环境下，如果用户移动至电波较弱的环境，则能够在恒定时间内传送的通信频带缩窄，因此如果要传送高品质的影像，则例如帧缺失而变为不连贯的影像、或者噪声重叠、或者产生传送延迟等而导致传送品质的劣化。
为了解决上述问题，当前考虑了Adaptive Bitrate Streaming之类的方法。该方法对通信频带进行推定，以使其落入于上述范围内的方式对影像的压缩度进行变更。例如，进行降低影像的分辨率而削减数据的传送容量的应对。
然而，在该方法中，无论是需要积极地确保空间分辨率或时间分辨率的哪一个的影像，都会根据未考虑影像的种类的Adaptive Bitrate Streaming的安装系统的算法而实施压缩处理。因此，在如远程控制系统那样由远处的机器人对各种场景的影像进行拍摄，用户利用HMD等对上述影像进行视听的情况下，能够想到无法获得视听所需的影像品质而不适合于实际应用。
本发明就是着眼于上述情形而提出的，要提供一种能够针对在远处获得的影像进行适当的压缩而实现用户的目视确认性的提高的技术。
为了解决上述问题，本发明的第1方式是能够在与连接于显示部的用户装置之间经由网络而进行通信的远程作业装置，构成为具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据而判定所述远程作业装置的行动场景；选择部，其根据判定出的所述行动场景而选择调整对象的影像参数；控制部，其针对所述影像数据而调整所述选择出的影像参数；以及发送部，其将调整了所述影像参数之后的所述影像数据经由所述网络而向所述用户装置发送。
本发明的第2方式是能够在与连接于显示部的用户装置之间经由网络而进行通信的远程作业装置，其构成为具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取利用该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据而判定所述远程作业装置的行动场景；选择部，其选择与判定出的所述行动场景对应的拍摄模式；控制部，其针对所述照相机而设定所述选择出的拍摄模式；以及发送部，其将由所述照相机利用所述设定的拍摄模式而拍摄到的所述影像数据，经由所述网络向所述用户装置发送。
发明的效果
根据本发明的第1方式，在远程作业装置中，基于该远程作业装置的位置或动作以及拍摄到的影像而判定远程作业装置的行动场景，根据判定出的上述行动场景而选择调整对象的影像参数。而且，针对影像数据调整上述选择出的影像参数，将调整后的影像数据向用户装置发送。因此，例如，针对读书场景、观看体育比赛场景等每个行动场景，利用与该行动场景对应的影像参数对影像数据进行调整，并向用户装置发送。因此，针对每个行动场景，将通过适合于该场景的影像参数进行了压缩的远程影像向用户装置传送，由此能够针对用户，提供对于远程作业装置的每个行动场景而言适合于该场景的视听性良好的远程影像。
根据本发明的第2方式，在远程作业装置中，基于该远程作业装置的位置或动作以及拍摄到的影像而判定远程作业装置的行动场景，根据判定出的上述行动场景而选择照相机的拍摄模式。而且，针对照相机设定所述选择出的拍摄模式，将通过该拍摄模式而拍摄到的影像数据经由网络而向用户装置传送。因此，例如，针对读书场景、观看体育比赛场景等每个行动场景，将通过与该行动场景对应的拍摄模式而拍摄到的影像数据向用户装置输送。因此，针对每个行动场景，将具有与该场景适合的品质的远程影像向用户装置传送，由此能够针对用户，提供对于远程作业装置的每个行动场景而言适合于该场景的视听性良好的远程影像。
即，根据本发明的各方式，能够提供一种通过对远处获得的影像进行适当的压缩而实现用户的目视确认性的提高的技术。
附图说明
图1是表示本发明的一个实施方式所涉及的远程控制系统的整体结构的图。
图2是表示图1所示的远程控制系统中用户佩戴的头戴式显示器的硬件结构的框图。
图3是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的硬件结构的框图。
图4是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的硬件结构的框图。
图5是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的软件结构的框图。
图6是表示图5所示的基于机器人的处理次序及处理内容的流程图。
图7是表示图6所示的机器人的处理次序中的行动场景的判定处理以及影像参数的选择处理的处理次序以及处理内容的流程图。
图8是表示图5所示的存储部中存储的行动场景信息的一个例子的图。
图9是表示图5所示的存储部中存储的子场景信息的一个例子的图。
图10是表示图5所示的存储部中存储的影像参数信息的一个例子的图。
具体实施方式
下面，参照附图对本发明所涉及的实施方式进行说明。
[一个实施方式]
(结构例)
(1)系统
图1是表示本发明的一个实施方式所涉及的远程控制系统的整体结构的图。
本发明的一个实施方式所涉及的远程控制系统具有：头戴式显示器(HMD)1；作为用户装置而执行动作的信息处理装置2；以及能够与上述信息处理装置2之间经由网络4进行通信的远程作业装置3。远程作业装置3例如由形成为人型的机器人构成。此后，在该实施方式中将远程作业装置3称为机器人。
此外，在该实施方式中，以用户装置仅包含信息处理装置2的情况为例进行说明，但用户装置也可以包含信息处理装置2以及HMD1这两者。
网络4例如由互联网等公共IP(Internet Protocol)网、以及用于接入该公共IP网的接入网构成，接入网中使用LAN(Local Area Network)、无线LAN、公共有线网络、公共移动通信网络、CATV(Cable Television)网络。
(2)装置
(2-1)头戴式显示器(HMD)1
HMD1例如形成为护目镜型，拆装自由地佩戴于用户的头部。图2是表示HMD1的硬件结构的框图。
HMD1例如相对于具有中央处理单元(Central Processing Unit：CPU)等硬件处理器的控制部11经由总线10而将存储部12、显示接口(显示I/F)13、传感器接口(传感器I/F)15、通信接口(通信I/F)17连接。此外，除此以外，各种开关、麦克风、扬声器、照相机、位置传感器等设备与上述控制部11连接。
存储部12作为存储介质例如利用Solid State Drive(SSD)等能够随时写入及读出的非易失性存储器，具有程序存储区域以及数据存储区域。在程序存储区域储存有用于实现HMD1的动作的应用/程序。数据存储区域用于对HMD1的动作过程中获取或生成的各种数据进行保存。此外，作为存储介质，除此以外，还能够同时使用Read Only Memory(ROM)、Random Access Memory(RAM)等。
显示部14与显示I/F13连接。显示部14例如为了应对虚拟现实(Virtual Reality：VR)显示而与用户的左右眼对应地具有2片由有机EL(Electro Luminescence)显示器构成的显示面板。此外，显示面板可以为1片。另外，显示部14并不局限于有机EL显示器，例如也可以是液晶显示器(Liquid Cristal Display：LCD)、利用7段的显示器等其他类型的显示器。显示I/F13在显示部14对利用后述的信息处理装置2生成的影像数据进行显示。
动作传感器16与传感器I/F15连接。动作传感器16例如由6轴的角速度传感器(陀螺仪传感器)构成，用于对HMD1的动作、即用户的头部的动作进行检测。此外，优选地，作为检测对象的头部的动作例如为6轴方向的动作，也可以仅是平面以及倾斜的2轴方向的动作。传感器I/F15基于上述动作传感器16的输出信号而生成表示用户头部的动作的动作检测数据。
此外，除了上述动作传感器16以外，磁传感器、加速度传感器、位置传感器、红外传感器、亮度传感器、接近传感器、照相机等也可以与传感器I/F15连接。另外，除了用户头部的动作以外，用于检测用户的视线的动作的传感器可以与传感器I/F15连接。例如可以利用对用户的眼球进行拍摄的照相机而检测用户的视线的动作。
对于通信I/F17采用例如使用Universal Serial Bus(USB)线缆等信号线缆的有线接口。而且，通信I/F17在控制部11的控制下接收从信息处理装置2发送来的影像数据，并且将利用上述传感器I/F15生成的动作检测数据等向信息处理装置2传送。此外，可以对于通信I/F17而使用近距离无线数据通信标准(例如Bluetooth(注册商标))。
此外，在该例子中，作为HMD1而以具有控制部11以及存储部12的多功能型的设备为例进行说明。然而，HMD1可以是仅具有显示部14、显示I/F13、动作传感器16以及传感器I/F15的标准型或者简易型的设备。
(2-2)信息处理装置2
图3是表示作为用户装置而使用的信息处理装置2的硬件结构的框图。
信息处理装置2例如由智能手机、平板型终端等便携信息终端、或者笔记本型或者固定型的个人计算机构成。信息处理装置2在具有CPU等硬件处理器的控制部21经由总线20而连接有存储部22、输入输出接口(输入输出I/F)23以及通信接口(通信I/F)24。
上述HMD1经由上述USB线缆或者无线接口而与输入输出I/F23连接。另外，控制器等操作部256与输入输出I/F23连接。操作部25用于在用户对机器人3A的动作进行控制时输入例如该控制对象部位、控制方向以及控制量。
通信I/F24例如具有与无线LAN、近距离无线数据通信标准(例如Bluetooth(注册商标))或者公共移动通信网络对应的接口，经由网络4而与机器人3A之间进行数据传送。此外，通信I/F24可以具有与公共有线网、有线LAN、CATV网络等有线网对应的接口。
存储部22作为存储介质例如通过Hard Disk Drive(HDD)或者SSD等能够随时写入以及读出的非易失性存储器、ROM等非易失性存储器、以及RAM等易失性存储器组合而构成。在该存储区域设置有程序存储区域以及数据存储区域。在Operating System(OS)等中间件的基础上，为了执行本发明的一个实施方式所涉及的各种控制处理所需的应用/程序储存于程序存储区域。数据存储区域中设置有：暂时对从机器人3输送来的影像数据进行保存的影像数据存储区域；以及用于控制部21进行各种处理作业的作业用的存储区域。
作为用于实现本发明的一个实施方式的控制处理功能，控制部21具有远程控制信号发送部、影像数据接收部以及影像显示控制部。上述控制处理功能均通过使控制部21的硬件处理器执行上述存储部22内的程序存储区域中储存的应用/程序而实现。
远程控制信号发送部基于上述操作部25中输入的操作数据、以及利用HMD1的动作传感器16获得的动作检测数据，生成用于对机器人3的动作进行控制的动作控制信号。动作控制信号中包含表示机器人3的控制对象部位、控制方向以及控制量的信息。而且，将包含生成的上述动作控制信号在内的远程控制信号从通信I/F24向机器人3发送。
影像数据接收部经由通信I/F24而接收从机器人3经由网络4发送来的影像数据。而且，在对接收到的影像数据进行解密处理之后，将其暂时保存于存储部22内的影像数据存储区域。
影像显示控制部在针对从上述影像数据存储区域读出的影像数据，根据需要进行了用于AR显示或者VR显示的影像编辑处理之后，从输入输出I/F23向HMD1进行输出而显示。
(2-3)机器人3
例如如图1所示，机器人3具有主体部、头部、臂部以及腿部。其中，头部、臂部以及腿部分别在由具有伺服机构的驱动部规定的可动范围内执行动作，由此能够使得机器人3变化为各种姿态。在机器人3的头部的前面部、即相当于脸部的部位设置有作为拍摄设备的照相机34。另外，在机器人3的头部内为了检测其动作而设置有动作传感器。
图4及图5分别是表示机器人3的硬件结构及软件结构的框图。
机器人3具有控制部31。控制部31具有CPU等硬件处理器。存储部32、传感器接口(传感器I/F)33、驱动接口(驱动I/F)37以及通信接口(通信I/F)39经由总线30而与该控制部31连接。
上述照相机34、动作传感器35以及位置传感器36与传感器I/F33连接。照相机34例如具有能够对立体影像进行拍摄的双摄像头照相机、以及对全景影像进行拍摄的全景照相机。双摄像头照相机以规定的视场角(例如130度)对机器人3的前方方向进行拍摄，并将获得的立体影像数据向传感器I/F33输出。全景照相机以比上述双摄像头照相机更大的视场角(例如180度)对从机器人3的前方方向遍及两侧方向的范围进行拍摄，将获得的全景影像数据向传感器I/F33输出。
动作传感器35例如由6轴的加速度传感器构成，对机器人3的头部的6轴方向的动作进行检测而将该检测数据向传感器I/F33输出。位置传感器36例如利用GlobalPositioning System(GPS)对机器人3的位置进行测量，并将测量出的位置数据向传感器I/F33输出。
用于对上述头部、臂部以及腿部进行驱动的驱动部38与驱动I/F37连接。驱动I/F37将从控制部31输出的控制信号变换为驱动信号，将变换后的驱动信号向驱动部38输出而使驱动部38执行动作。
通信I/F39例如具有与无线LANA、近距离无线数据通信标准(例如Bluetooth(注册商标))、或者公共移动通信网络对应的接口，经由网络4而与信息处理装置2之间进行数据传送。此外，通信I/F30可以具有与公共有线网、有线LAN、CATV网络等有线网对应的接口。
存储部32例如利用SSD等能够随时写入及读出的非易失性存储器、ROM及RAM而构成，具有程序存储区域以及数据存储区域。在OS等中间件的基础上，用于实现机器人3的动作的各种应用/程序储存于程序存储区域。
在数据存储区域设置有影像数据存储部321、行动场景存储部322以及影像参数存储部323。
影像数据存储部321作为为了进行后述的影像处理暂时保存利用照相机34拍摄到的影像数据的缓冲存储器而起作用。
行动场景存储部322具有：第1表，其对表示作为机器人3的行动场景而设想的多个场景的信息进行存储；以及第2表，其对表示更细致地对上述行动场景进行分类所得的多个子场景的信息进行存储。在第1表中，与机器人3的位置、动作以及照相机34的影像的组合相关联地存储有表示针对机器人3设想的行动场景的信息。另外，第2表中针对上述第1表中定义的各行动场景而存储有表示进一步根据影像而设想的多个子场景的信息。关于表示行动场景的信息以及表示子场景的信息，此后举例进行说明。
此外，上述行动场景信息及其子场景信息可以由管理者等预先存储于表中，例如可以从用户的终端装置的调度器、预测其他用户的行动的系统适当地获取并存储于表中。由此，能够针对每个用户适当地推测其行动，并设定与其相应的行动场景信息以及子场景信息。
例如，在调度器中记载有会议的预定的情况下，需要读入会议资料，因此能够将影像参数调整为基于读书的设定，另外，如果在调度器记载有观看棒球赛的预定，则能够将影像参数调整为与观看体育比赛对应的设定。
影像参数存储部323针对每个上述行动场景与其各子场景相关联地存储有针对该子场景预先设定的影像参数。关于该影像参数，此后举例进行说明。
作为本发明的一个实施方式所涉及的处理功能部，控制部31具有远程控制信号接收部311、动作控制数据提取部312、驱动控制部313、影像数据获取部314、位置/动作检测数据获取部315、行动场景判定部316、影像控制部317、影像处理部318以及影像发送部319。上述控制处理部均通过使上述控制部31的硬件处理器执行存储部32中存储的程序而实现。
远程控制信号接收部311进行如下处理，即，经由通信I/F39而接收从信息处理装置2经由网络4传送来的远程控制信号，将接收到的上述远程控制信号交付至动作控制数据提取部312。
动作控制数据提取部312进行从上述远程控制信号提取动作控制信号并交付至驱动控制部313的处理。
驱动控制部313基于提取出的上述动作控制信号中包含的对控制对象部位进行指定的信息，选择对应的驱动部38，基于上述动作控制信号中包含的对控制方向以及控制量进行指定的信息，生成用于对上述所选择的驱动部38进行驱动的驱动控制信号。而且，进行将所生成的上述驱动控制信号向驱动I/F37输出的处理。驱动I/F37基于上述驱动控制信号，生成驱动信号并赋予给驱动部38。
影像数据获取部314进行如下处理，即，经由传感器I/F33而导入利用照相机34拍摄到的立体影像数据或者全景影像数据，并为了后述的影像处理而暂时保存于影像数据存储部321。
位置/动作检测数据获取部315进行如下处理，即，经由传感器I/F33而导入利用位置传感器36检测出的位置数据、以及利用动作传感器35检测出的表示机器人3的头部的动作的动作检测数据。
行动场景判定部316分别从利用上述位置/动作检测数据获取部315获取的位置数据以及动作检测数据、以及利用上述影像数据获取部314获取的影像数据提取出特征量。而且，进行如下处理，基于提取出的各特征量，参照行动场景存储部322而判定机器人3的当前的行动场景以及其子场景。
影像控制部317基于利用上述行动场景判定部316判定出的行动场景及其子场景，从影像参数存储部323选择与该行动场景以及子场景对应的影像参数。而且，将上述影像参数赋予给影像处理部318。
影像处理部318进行如下处理，即，从影像数据存储部321读入影像数据，针对该影像数据，对从上述影像控制部317赋予的影像参数进行调整。此外，后文中对影像参数的调整处理的一个例子进行详细叙述。
影像发送部319进行如下处理，即，将利用上述影像处理部318进行了影像处理之后的影像数据从通信I/F39向信息处理装置2发送。
(动作例)
接下来，对以上述方式构成的机器人3的动作例进行说明。图6是表示基于机器人3的整体处理次序及处理内容的一个例子的流程图。
如果从信息处理装置2发送包含动作控制信号在内的远程控制信号，则机器人3在远程控制信号接收部311的控制下，通过步骤S11而经由通信I/F39接收上述远程控制信号。而且，在动作控制数据提取部312的控制下，通过步骤S12从上述远程控制信号提取动作控制信号。
接下来，机器人3在驱动控制部313的控制下，在步骤S13中基于上述动作控制信号中包含的对控制对象部位进行指定的信息，选择对应的驱动部38。而且，基于上述动作控制信号中包含的对控制方向以及控制量进行指定的信息，生成用于对上述选择的驱动部38进行驱动的驱动控制信号，将所生成的上述驱动控制信号向驱动I/F37输出。其结果，从驱动I/F37将驱动信号赋予给驱动部38，对驱动部38进行驱动而使得对应的部位执行动作。
例如，如果控制对象部位为头部，则对与其对应的驱动部38进行驱动，使得头部的朝向例如变化为横摇方向或者倾斜方向。另外，如果控制对象部位为腿部，则对与其对应的驱动部38进行驱动而使得机器人3例如在前后方向进行步行动作。关于其他部位，也根据驱动控制信号而同样地执行动作。
另一方面，在上述头部或者腿部等执行动作的状态下，机器人3的控制部31在影像数据获取部314的控制下，在步骤S14中从安装于头部的照相机34经由传感器I/F33而导入影像数据，将该影像数据暂时保存于影像数据存储部321。
另外，与此同时，机器人3的控制部31在位置/动作检测数据获取部315的控制下，在步骤S15中从动作传感器35经由传感器I/F33而导入表示机器人3的头部动作的变化的动作检测数据。另外，在步骤S16中，从位置传感器36经由传感器I/F33而导入表示机器人3的当前位置的位置数据。
接下来，机器人3的控制部31在行动场景判定部316以及影像控制部317的控制下，在步骤S20中以下面的方式执行机器人3的当前的行动场景的判定以及影像参数的选择处理。图7是表示其处理次序及处理内容的流程图。
即，行动场景判定部316首先在步骤S21中，根据利用上述位置/动作检测数据获取部315获取的位置数据以及动作检测数据、以及利用影像数据获取部314获取的影像数据而分别判定特征量。而且，基于判定出的各特征量对行动场景存储部322进行检索，判定机器人3的行动场景。
例如，当前在行动场景存储部322的第1表存储有图8所示的子场景信息。在该状态下，行动场景判定部316首先基于位置数据以及存储部32中存储的地图数据而判定为表示机器人3的位置的特征量为“自家”。另外，基于动作检测数据而判定为表示机器人3的动作的特征量为“静止状态”。并且，将影像数据中映入的“书籍”判定为特征量。而且，行动场景判定部316基于存储于行动场景存储部322的第1表的、图8所示的行动场景信息，将机器人3当前的行动场景判定为“读书”。
同样地，判定为机器人3的当前位置的特征量为“图书馆”、且机器人3的动作的特征量为“静止状态”，并且，如果从影像提取出的特征量为“书籍”，则行动场景判定部316基于图8所示的行动场景信息，将机器人3的此时的行动场景也判定为“读书”。此外，判定为机器人3的当前位置的特征量为“自家”、且机器人3的动作的特征量为“动作状态”，如果进一步从影像提取出的特征量为“厨房”，则行动场景判定部316将机器人3的此时的行动场景判定为“烹饪”。
另一方面，根据位置数据以及存储部32中存储的地图数据而判定为机器人3的当前位置的特征量为“体育中心”，另外，根据动作检测数据而判定为机器人3的动作的特征量为“静止状态”，进一步从影像数据提取出的特征量设为“场地或者球场”。在该情况下，行动场景判定部316基于图8所示的行动场景信息而将机器人3的当前的行动场景判定为“观看体育比赛”。
如果在上述步骤S21中判定为“读书”，则接下来行动场景判定部316在步骤S22中，基于从影像数据提取出的上述特征量、以及行动场景存储部322的第2表中存储的子场景信息，判定从读书场景进一步分类的子场景。
例如，当前第2表中存储有图9中例示的子场景信息，将从影像数据提取出的特征量即“书籍”的图像设为“单色主体”。在该情况下，行动场景判定部316将子场景判定为单行本、文库书等“文艺书”的读书场景。与此相对，将从影像数据提取出的特征量即“书籍”的图像设为“彩色主体”。在该情况下，行动场景判定部316将子场景判定为凹版书、绘本或者图鉴等“参考书”的读书场景。
如果以上述方式判定子场景，则机器人3的控制部31接下来在影像控制部317的控制下，参照影像参数存储部323而选择与上述子场景对应地设定的影像参数。
例如，当前在影像参数存储部323对图10所示的影像参数信息进行存储。在该情况下，如果影像控制部317将判定出的上述子场景设为“文艺书”，则在步骤S23中作为在根据影像读取上述文艺书时优先的影像参数而选择“空间分辨率”和“亮度”。与此相对，如果将判定出的上述子场景设为“参考书”，则影像控制部317在步骤S24中作为在利用影像读取参考书时优先的影像参数而选择“空间分辨率”和“色调”。
如果选择上述影像参数，则机器人3的控制部31在影像处理部318的控制下，在步骤S17中进行针对从影像数据存储部321读出的影像数据而对上述所选择的影像参数进行调整的处理。而且，将调整后的影像数据在影像发送部319的控制下通过步骤S18而从通信I/F39向信息处理装置2发送。
例如，在作为影像参数而选择了“空间分辨率”和“亮度”的情况下，影像处理部318进行如下处理，即，针对影像数据，例如以使得空间分辨率达到预先设定的高分辨率的方式进行影像处理，进一步将亮度提高至规定水平。而且，影像发送部319将上述处理后的影像数据向信息处理装置2发送。与此相对，在作为影像参数而选择“空间分辨率”和“色调”的情况下，影像处理部318进行如下处理，即，针对影像数据例如以使得空间分辨率达到预先设定的高分辨率的方式进行影像处理，进一步将颜色的色度提高至规定水平。而且，影像发送部319将上述影像处理后的影像数据向信息处理装置2发送。
其结果，在用户利用HMD1读取机器人3所拍摄的书籍的情况下，如果是文艺书，则能够通过设定为高分辨率且亮度设定得较高的影像而明确地目视确认文字。与此相对，在读取绘本、图鉴等参考书的情况下，用户能够通过设为高分辨率且提高了色度的影像而鲜明地目视确认图画、照片。
此外，作为“亮度”的调整方法，除了对影像数据进行调整以外，还可以使用对照相机的所谓聚光功能进行调整的方法。
另一方面，如果在上述步骤S21中将机器人3的行动场景判定为“观看体育比赛”，则行动场景判定部316接下来在步骤S25中基于影像数据、以及行动场景存储部322的第2表中存储的子场景信息，根据“观看体育比赛”判定作为其小分类的子场景。
例如，如果当前从影像数据提取出的特征量为“室外”，则行动场景判定部316作为子场景而判定为观看足球、橄榄球等“场地比赛(field game)”。与此相对，如果从影像数据提取出的特征量为“室内”，则行动场景判定部316作为子场景而观看篮球、排球等“球场比赛(court game)”。
而且，如果判定上述子场景，则机器人3的控制部31接下来在影像控制部317的控制下,参照影像参数存储部323而选择与上述子场景对应地设定的影像参数。
例如，如果当前将子场景判定为“场地比赛”，则影像控制部317在步骤S26中作为在通过影像观看上述场地比赛时优先的影像参数而选择“时间分辨率”以及“视场角”。与此相对，在子场景判定为“球场比赛”的情况下，影像控制部317在步骤S27中作为在通过影像观看上述球场比赛时优先的影像参数而选择“时间分辨率”以及“立体感”。
接下来，机器人3的控制部31在影像处理部318的控制下，在步骤S17中针对影像数据而进行调整上述所选择的影像参数的处理。而且，将对影像参数进行了调整的影像数据在影像发送部319的控制下通过步骤S18而从通信I/F39向信息处理装置2发送。
例如，在作为影像参数而选择“时间分辨率”和“视场角”的情况下，影像处理部318从影像数据存储部321选择性地读出帧率较高且视场角较大的全景影像数据。而且，影像发送部319将上述全景影像数据向信息处理装置2发送。与此相对，在作为影像参数而选择了“时间分辨率”和“立体感”的情况下，影像处理部318从影像数据存储部321选择性地读出帧率较高且具有立体感的立体影像数据。而且，影像发送部319将上述立体影像数据向信息处理装置2发送。
此外，可以针对照相机34发出拍摄模式的切换指示而对从照相机34输出的影像数据进行切换，由此进行上述全景影像和立体影像的选择。另外，在只有全景影像的帧率不足的情况下，可以针对全景影像和立体影像使坐标位置一致而进行合成，但在观看场地比赛的情况下，通常从照相机至场地的距离较远，因此即使帧率较高对于视听的影响也较小。
如上所述，在用户要通过HMD1对机器人3在体育场等处拍摄的场地比赛的影像进行视听的情况下，能够利用视场角较大的全景影像而大范围无遗漏地观看比赛。另一方面，在要利用HMD1观看机器人3在竞技场等处拍摄的球场比赛的影像的情况下，用户能够利用帧率较高的立体影像而观看具有临场感的影像。
(作用/效果)
如上所述，在一个实施方式中，基于从远处的机器人3的位置以及动作的检测数据和影像数据导出的特征量，判定机器人3的行动场景，选择与判定出的上述行动场景对应的影像参数。而且，针对影像数据进行调整上述所选择的影像参数的处理，将该处理后的影像数据经由网络4而向用户侧的信息处理装置2输送并在HMD1进行显示。
因此，能够从远处的机器人3对用户侧的信息处理装置2发送根据机器人3的行动场景而调整了影像参数的影像数据。因此，用户能够针对自身进行远程控制的机器人3的每个行动场景，分别对利用适合于该场景的影像参数进行了影像处理的远程影像进行视听，由此能够提高远程影像的目视确认性。
另外，机器人3自主进行针对上述影像数据的影像参数的调整处理。因此，无需使用户侧的装置、即信息处理装置2或者HMD1具有用于调整上述影像参数的特殊的处理功能，从而具有用户能够使用通用的信息处理装置2或者HMD1的优点。
[其他实施方式]
(1)在所述一个实施方式中，以根据机器人3的行动场景的判定结果选择适合于该场景的影像参数，针对影像数据而调整上述选择出的影像参数的情况为例进行了说明。然而，本发明并不限定于此。例如，也可以根据机器人3的行动场景的判定结果而选择适合于该场景的拍摄模式，针对照相机设定上述选择出的拍摄模式，由此将已拍摄的影像数据向用户装置传送。
通常照相机例如具有以较低的时间分辨率(15FPSFPS)以及较高的空间分辨率(4K)拍摄的模式、以较高的时间分辨率(120FPS)以及较低的空间分辨率(VGA)拍摄的模式等多种拍摄模式。
因此，如果根据机器人3的行动场景选择性地对照相机设定上述拍摄模式，在该条件下进行拍摄，则能够将具有适合于上述机器人3的行动场景的时间分辨率或者空间分辨率的影像数据向用户装置发送，能够实现与所述一个实施方式同样的效果。
(2)在所述一个实施方式中，以根据从信息处理装置2发送来的远程控制信号而对机器人3进行远程控制的情况为例进行了说明。然而，本发明并不限定于此，在机器人3根据预先设定的程序而自主地进行行动的情况下，可以以如下方式构成，即，机器人3判定自己的行动场景，选择与该行动场景相应的影像参数，针对影像数据进行调整上述选择出的影像参数的处理，将调整处理后的影像数据向用户侧的信息处理装置2发送。
(3)在所述一个实施方式中，设置预先准备的存储有子场景信息以及影像参数信息的存储表，参照该存储表而进行行动场景以及子场景的判定以及影像参数的选择。然而，本发明并不局限于此。例如，可以使用深度学习等机器学习而选择最佳的影像参数。这例如可以以如下方式实现，即，从机器人的位置数据、动作检测数据以及影像数据等分别提取特征量，将提取出的各特征量输入至学习完毕的学习模型，从该学习模型输出最佳的影像参数。
(4)在所述一个实施方式中，利用与HMD1不同地设置的信息处理装置2，进行与机器人3之间的数据通信以及影像显示控制等。然而，在HMD1具有信息处理装置2的功能的情况下、即使用与信息处理装置一体型的HMD的情况下，可以构成为在HMD1进行与机器人3之间的数据通信以及影像显示控制等。
(5)作为远程作业装置，并不局限于人型的机器人，也可以使用固定地设置于室内或室外的可动式的远程照相机、智能扬声器。除此以外，对于远程作业装置的种类、其结构以及处理内容、照相机具有的拍摄模式的种类、数量、用户装置的种类、结构、远程影像的种类等，也可以在不脱离本发明的主旨的范围内进行各种变形而实施。
以上对本发明的实施方式进行了详细说明，但前述的说明在各个方面都不过是本发明的示例。当然可以不脱离本发明的范围地进行各种改良、变形。即，在实施本发明时，可以适当地采用与实施方式相应的具体结构。
总之，本发明并不限定于上述实施方式，可以在实施阶段在不脱离其主旨的范围内对结构要素进行变形并使其实现具体化。另外，可以通过上述实施方式中公开的多个结构要素的适当的组合而形成各种发明。例如，可以从实施方式所示的所有结构要素中删除几个结构要素。并且，可以适当地对不同的实施方式的结构要素进行组合。
标号的说明
1…头戴式显示器(HMD)
2…信息处理装置
3…机器人
4…网络
10、20、30…总线
11、21、31…控制部
12、22、32…存储部
13…显示接口(显示I/F)
14…显示部
15、33…传感器接口(传感器I/F)
16、35…动作传感器
17、24、39…通信接口(通信I/F)
23…输入输出接口(输入输出I/F)
25…操作部
34…照相机
35…动作传感器
36…位置传感器
37…驱动接口(驱动I/F)
38…驱动部
311…远程控制信号接收部
312…动作控制数据提取部
313…驱动控制部
314…影像数据获取部
315…位置/动作检测数据获取部
316…行动场景判定部
317…影像控制部
318…影像处理部
319…影像发送部
321…影像数据存储部
322…行动场景存储部
323…影像参数存储部。

Claims (9)

1.一种远程作业装置，其能够在与连接于显示部的用户装置之间经由网络而进行通信，其中，
所述远程作业装置具有：
影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；
状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；
判定部，其基于获取到的所述影像数据以及所述状态检测数据，判定所述远程作业装置的行动场景；
选择部，其根据判定出的所述行动场景而选择调整对象的影像参数；
控制部，其针对所述影像数据而调整所选择的影像参数；以及
发送部，其将调整了所述影像参数之后的所述影像数据经由所述网络而向所述用户装置发送。
2.一种远程作业装置，其能够在与连接于显示部的用户装置之间经由网络而进行通信，其中，
所述远程作业装置具有：
影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；
状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；
判定部，其基于获取到的所述影像数据以及所述状态检测数据，判定所述远程作业装置的行动场景；
选择部，其选择与判定出的所述行动场景对应的拍摄模式；
控制部，其针对所述照相机而设定所选择的所述拍摄模式；以及
发送部，其将由所述照相机利用所述设定的拍摄模式而拍摄到的所述影像数据，经由所述网络向所述用户装置发送。
3.根据权利要求1或2所述的远程作业装置，其中，
所述判定部基于所述影像数据以及所述状态检测数据，判定所述行动场景是否是利用所述照相机主要对静止状态的对象进行拍摄的第1场景，
在判定为所述行动场景是所述第1场景的情况下，所述选择部选择空间分辨率作为所述影像参数或者所述拍摄模式，
所述控制部进行针对所述影像数据而调整所述选择出的空间分辨率的处理，或者针对所述照相机而设定用于获得所述选择出的空间分辨率的拍摄模式的处理。
4.根据权利要求1或2所述的远程作业装置，其中，
所述判定部基于所述影像数据以及所述状态检测数据，判定所述行动场景是否是利用所述照相机主要对移动状态的对象进行拍摄的第2场景，
在判定为所述行动场景是所述第2场景的情况下，所述选择部选择时间分辨率作为所述影像参数或者所述拍摄模式，
所述控制部进行针对所述影像数据而调整所述选择出的时间分辨率的处理，或者针对所述照相机而设定用于获得所述选择出的空间分辨率的拍摄模式的处理。
5.根据权利要求3所述的远程作业装置，其中，
在判定为所述行动场景是所述第1场景的情况下，所述判定部进一步基于所述影像数据而判定所述对象的色调是否以单色为主体，
在判定为所述对象的色调以单色为主体的情况下，所述选择部进一步选择亮度作为所述影像参数，
所述控制部进行针对所述影像数据而进一步调整所述选择出的亮度的处理，或者针对所述照相机而设定用于获得所述选择出的亮度的拍摄模式。
6.根据权利要求3所述的远程作业装置，其中，
在判定为所述行动场景是所述第1场景的情况下，所述判定部进一步基于所述影像数据而判定所述对象的色调是否以彩色为主体，
在判定为所述对象的色调以彩色为主体的情况下，所述选择部进一步选择色调作为所述影像参数或者所述拍摄模式，
所述控制进行针对所述影像数据而进一步调整所述选择出的色调的处理，或者针对所述照相机而设定用于获得所述选择出的色调的拍摄模式的处理。
7.根据权利要求4所述的远程作业装置，其中，
在判定为所述行动场景是所述第2场景的情况下，所述判定部基于所述影像数据而判定所述对象是否处于室外，
在判定为所述对象处于室外的情况下，所述选择部进一步选择视场角作为所述影像参数或者所述拍摄模式，
所述控制部进行针对所述影像数据而进一步调整所述选择出的视场角的处理，或者针对所述照相机而设定用于获得所述选择出的视场角的拍摄模式的处理。
8.根据权利要求4所述的远程作业装置，其中，
在判定为所述行动场景是所述第2场景的情况下，所述判定部基于所述影像数据而判定所述对象是否处于室内，
在判定为所述对象处于室内的情况下，所述选择部进一步选择立体感作为所述影像参数或者所述拍摄模式，
所述控制部进行针对所述影像数据而进一步调整所述选择出的立体感的处理，或者针对所述照相机而设定用于获得所述选择出的立体感的拍摄模式的处理。
9.一种程序，其中，
所述程序使权利要求1至8中任一项所述的远程作业装置所具有的处理器执行基于所述远程作业装置所具有的所述各部分的处理。
CN202180035032.3A 2020-05-14 2021-05-14 远程作业装置及其程序 Pending CN115552892A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-085324 2020-05-14
JP2020085324A JP6828205B1 (ja) 2020-05-14 2020-05-14 遠隔作業装置とそのプログラム
PCT/JP2021/018478 WO2021230366A1 (ja) 2020-05-14 2021-05-14 遠隔作業装置とそのプログラム

Publications (1)

Publication Number Publication Date
CN115552892A true CN115552892A (zh) 2022-12-30

Family

ID=74529660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180035032.3A Pending CN115552892A (zh) 2020-05-14 2021-05-14 远程作业装置及其程序

Country Status (5)

Country Link
US (1) US12136248B2 (zh)
EP (1) EP4151370A4 (zh)
JP (1) JP6828205B1 (zh)
CN (1) CN115552892A (zh)
WO (1) WO2021230366A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7515438B2 (ja) 2021-04-19 2024-07-12 本田技研工業株式会社 情報管理システム
JPWO2023119657A1 (zh) * 2021-12-24 2023-06-29

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527790A (zh) * 2008-03-03 2009-09-09 奥林巴斯映像株式会社 摄像装置、图像再现装置、摄影程序、图像再现程序、摄影控制方法以及图像再现方法
CN101635797A (zh) * 2008-07-23 2010-01-27 株式会社日立制作所 摄像装置
CN102629973A (zh) * 2011-02-03 2012-08-08 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104349060A (zh) * 2013-08-06 2015-02-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2016144006A (ja) * 2015-01-30 2016-08-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
CN107357316A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种控制无人驾驶飞机锁定特定区域获取照片的方法
US20190068749A1 (en) * 2015-10-21 2019-02-28 Sony Corporation Information processing apparatus, control method thereof, and computer program
CN110216649A (zh) * 2018-03-02 2019-09-10 株式会社日立制作所 机器人作业系统、以及机器人作业系统的控制方法
US20200007746A1 (en) * 2015-10-20 2020-01-02 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
US20200084424A1 (en) * 2017-05-08 2020-03-12 SZ DJI Technology Co., Ltd. Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
JP5017646B2 (ja) * 2007-02-23 2012-09-05 国立大学法人長岡技術科学大学 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
JP6280011B2 (ja) * 2014-09-26 2018-02-14 Kddi株式会社 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
JP6944863B2 (ja) 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
US11614746B2 (en) * 2018-01-05 2023-03-28 Irobot Corporation Mobile cleaning robot teaming and persistent mapping
JP2019198041A (ja) * 2018-05-11 2019-11-14 株式会社日立ビルシステム カメラ画像の点検システム及びカメラ画像の点検方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527790A (zh) * 2008-03-03 2009-09-09 奥林巴斯映像株式会社 摄像装置、图像再现装置、摄影程序、图像再现程序、摄影控制方法以及图像再现方法
CN101635797A (zh) * 2008-07-23 2010-01-27 株式会社日立制作所 摄像装置
CN102629973A (zh) * 2011-02-03 2012-08-08 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104349060A (zh) * 2013-08-06 2015-02-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2016144006A (ja) * 2015-01-30 2016-08-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
US20200007746A1 (en) * 2015-10-20 2020-01-02 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
US20190068749A1 (en) * 2015-10-21 2019-02-28 Sony Corporation Information processing apparatus, control method thereof, and computer program
US20200084424A1 (en) * 2017-05-08 2020-03-12 SZ DJI Technology Co., Ltd. Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
CN107357316A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种控制无人驾驶飞机锁定特定区域获取照片的方法
CN110216649A (zh) * 2018-03-02 2019-09-10 株式会社日立制作所 机器人作业系统、以及机器人作业系统的控制方法

Also Published As

Publication number Publication date
WO2021230366A1 (ja) 2021-11-18
EP4151370A4 (en) 2023-10-18
JP6828205B1 (ja) 2021-02-10
JP2021180426A (ja) 2021-11-18
EP4151370A1 (en) 2023-03-22
US12136248B2 (en) 2024-11-05
US20230069407A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
JP5395956B2 (ja) 情報処理システムおよび情報処理方法
KR102502404B1 (ko) 정보 처리 장치 및 방법, 그리고 프로그램
KR101764372B1 (ko) 휴대용 단말기에서 영상 합성 방법 및 장치
US9858643B2 (en) Image generating device, image generating method, and program
US9245389B2 (en) Information processing apparatus and recording medium
JP4645956B2 (ja) 映像配信遠隔制御装置、映像配信システムおよび映像配信方法
CN110809115B (zh) 拍摄方法及电子设备
US20070115349A1 (en) Method and system of tracking and stabilizing an image transmitted using video telephony
US20180225537A1 (en) Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
US12136248B2 (en) Remote operation apparatus for communication with a user
US10462358B2 (en) Information processing apparatus, information processing system, and information processing method
WO2021230364A1 (ja) 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
JP2002344962A (ja) 画像通信装置および携帯型電話機
JP7203157B2 (ja) 映像処理装置およびプログラム
CN112153404B (zh) 码率调整方法、检测方法、装置、设备及存储介质
US20240066394A1 (en) Information processing apparatus and image generation method
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质
US9762891B2 (en) Terminal device, image shooting system and image shooting method
KR101860773B1 (ko) 휴대용 단말기에서 영상 합성 방법 및 장치
JP7150755B2 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination