CN117015974A - 信息处理系统、信息处理方法和信息处理设备 - Google Patents

信息处理系统、信息处理方法和信息处理设备 Download PDF

Info

Publication number
CN117015974A
CN117015974A CN202280022488.0A CN202280022488A CN117015974A CN 117015974 A CN117015974 A CN 117015974A CN 202280022488 A CN202280022488 A CN 202280022488A CN 117015974 A CN117015974 A CN 117015974A
Authority
CN
China
Prior art keywords
identification
metadata
information processing
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280022488.0A
Other languages
English (en)
Inventor
田原大资
神谷浩二
中筋元宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117015974A publication Critical patent/CN117015974A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种信息处理系统、一种信息处理方法和一种信息处理设备，被配置为使得能够通过控制成像设备的信息处理设备有效地使用对捕获的图像的识别处理的结果。信息处理系统包括：成像设备，捕获图像；以及控制成像设备的信息处理设备。信息处理设备包括：识别单元，对捕获的图像执行识别处理；识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及输出单元，将识别元数据输出到成像设备。例如，本技术能够应用于包括相机和相机控制单元(CCU)的系统。

Description

信息处理系统、信息处理方法和信息处理设备
技术领域
本技术涉及信息处理系统、信息处理方法和信息处理设备。特别地，本技术涉及适合在控制成像设备的信息处理设备对捕获的图像执行识别处理时使用的信息处理系统、信息处理方法和信息处理设备。
背景技术
以往，提出了包括对相机捕获的图像执行识别处理的CCU(Camera Control Unit，相机控制单元)的系统(例如，参见PTL 1和PTL 2)。
[引文列表]
[专利文献]
[PTL 1]
JP 2020-141946A
[PTL 2]
JP 2020-156860A
发明内容
[技术问题]
但是，在PTL 1和PTL 2中描述的发明中，在CCU内使用识别处理的结果，但是没有考虑在CCU外使用识别处理的结果。
本技术是鉴于此类情形而做出的，并且使得能够通过控制成像设备的信息处理设备有效地使用对捕获的图像的识别处理的结果。
[问题的解决方案]
根据本技术的第一方面的信息处理系统包括：捕获所捕获的图像的成像设备；以及控制成像设备的信息处理设备，其中信息处理设备包括：识别单元，对捕获的图像执行识别处理；识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及输出单元，将识别元数据输出到成像设备。
在本技术的第一方面中，对捕获的图像执行识别处理，生成包括基于识别处理的结果的数据的识别元数据，并且将识别元数据输出到成像设备。
根据本技术的第二方面的信息处理方法允许控制捕获所捕获的图像的成像设备的信息处理设备进行：对捕获的图像执行识别处理；生成包括基于识别处理的结果的数据的识别元数据；以及将识别元数据输出到成像设备。
在本技术的第二方面中，对捕获的图像执行识别处理，生成包括基于识别处理的结果的数据的识别元数据，并且将识别元数据输出到成像设备。
根据本技术的第三方面的信息处理系统包括：捕获所捕获的图像的成像设备；以及控制成像设备的信息处理设备，其中信息处理设备包括：识别单元，对捕获的图像执行识别处理；识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及输出单元，将识别元数据输出到后级的设备。
在本技术的第三方面中，对捕获的图像执行识别处理，生成包括基于识别处理的结果的数据的识别元数据，并且将识别元数据输出到后级的设备。
根据本技术的第四方面的信息处理方法允许控制捕获所捕获的图像的成像设备的信息处理设备进行：对捕获图像执行识别处理；生成包括基于识别处理的结果的数据的识别元数据；以及将识别元数据输出到后级的设备。
在本技术的第四方面中，对捕获的图像执行识别处理，生成包括基于识别处理的结果的数据的识别元数据，并且将识别元数据输出到后级的设备。
根据本技术的第五方面的信息处理设备包括：识别单元，对由成像设备捕获的捕获图像执行识别处理；识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及输出单元，输出识别元数据。
在本技术的第五方面中，对由成像设备捕获的捕获图像执行识别处理，生成包括基于识别处理的结果的数据的识别元数据，并且输出识别元数据。
附图说明
图1是示出对其应用本技术的信息处理系统的实施例的框图。
图2是示出相机的CPU的功能配置示例的框图。
图3是示出CCU的CPU的功能配置示例的框图。
图4是示出CCU的信息处理单元的功能配置示例的框图。
图5是用于解释聚焦指标显示处理的流程图。
图6是示出聚焦指标显示的示例的图。
图7是用于解释峰化突出显示处理的流程图。
图8是示出峰化突出显示的示例的图。
图9是用于解释视频掩蔽处理的流程图。
图10是示出视频帧的示例的图。
图11是示出区域识别的示例的图。
图12是用于解释掩蔽处理的图。
图13是示出掩蔽处理之前的视频帧的亮度波形和向量示波器的显示示例的图。
图14是示出第一方法的掩蔽处理之后的视频帧的亮度波形和向量示波器的显示示例的图。
图15是示出第二方法的掩蔽处理之后的视频帧的亮度波形和向量示波器的显示示例的图。
图16是示出第三方法的掩蔽处理之后的视频帧的亮度波形和向量示波器的显示示例的图。
图17是用于解释参考方向校正处理的流程图。
图18是示出特征点图的示例的图。
图19是用于解释基于特征点的成像方向的检测方法的图。
图20是用于解释基于特征点的成像方向的检测方法的图。
图21是用于解释被摄体识别和嵌入处理的流程图。
图22是示出叠加了指示被摄体识别的结果的信息的视频的示例的图。
图23是示出计算机的构造示例的图。
具体实施方式
下面将描述用于实现本技术的实施例。将按以下次序进行描述。
1.实施例
2.修改示例
3.其它
《1.实施例》
将参考图1至22描述本技术的实施例。
<信息处理系统1的构造示例>
图1是示出对其应用本技术的信息处理系统1的实施例的框图。
信息处理系统1包括相机11、三脚架12、头架13、相机线缆14、控制相机11的CCU(相机控制单元)15、操作面板16和监视器17。相机11安装在附接到三脚架12的头架13上，以便可在摇摄、俯仰和滚动方向上旋转。相机11和CCU 15通过相机线缆14连接。
相机11包括机身部分21、镜头22和取景器23。透镜22和取景器23附接到主体部分21。主体部分21包括信号处理单元31、运动传感器32和CPU 33。
透镜22将关于透镜22的透镜信息提供给CPU 33。透镜信息包括透镜的控制值、规格等，诸如例如透镜22的焦距、聚焦距离和光圈值。
信号处理单元31与CCU 15的信号处理单元51共享视频信号处理。例如，信号处理单元31对图像传感器(未示出)通过透镜22捕获被摄体的图像所获得的视频信号执行预定的信号处理，并生成由图像传感器捕获的捕获图像组成的视频帧。信号处理单元31将视频帧供给取景器23并经由相机线缆14将它们输出到CCU 15的信号处理单元51。
运动传感器32例如包括角速度传感器和加速度传感器，并且检测相机11的角速度和加速度。运动传感器32向CPU 33供给指示相机11的角速度和加速度的检测结果的数据。
CPU 33控制相机11的每个部件的处理。例如，CPU 33基于从CCU 15输入的控制信号改变相机11的控制值或者在取景器23上显示关于控制值的信息。
CPU 33基于相机11的角速度的检测结果检测相机11的姿势(摇摄角、倾斜角、滚动角)，即，相机11的成像方向。例如，CPU 33通过预先设置参考方向并且累积计算(积分)相机11相对于参考方向的朝向的改变量来检测相机11的成像方向(姿势)。注意的是，CPU 33可以使用相机11的加速度的检测结果来检测相机11的成像方向。
在此，相机11的参考方向是相机11的摇摄角、俯仰角和滚动角为0度的方向。CPU33基于包括在从CCU 15输入的识别元数据中的校正数据来校正保存在其中的参考方向。
CPU 33获取主体部分21的控制信息，诸如快门速度和颜色平衡。CPU 33生成包括相机11的成像方向信息、控制信息和透镜信息的相机元数据。CPU 33经由相机线缆14将相机元数据输出到CCU 15的CPU 52。
CPU 33控制显示在取景器23上的实时取景图像(实时视图)的显示。CPU 33基于识别元数据和从CCU 15输入的控制信号控制要叠加在实时取景图像上的信息的显示。
在CPU 33的控制下，取景器23基于从信号处理单元31供给的视频帧显示实时取景图像并显示要叠加在实时取景图像上的各种信息。
CCU 15包括信号处理单元51、CPU 52、信息处理单元53、输出单元54和掩蔽处理单元55。
信号处理单元51对相机11的信号处理单元31生成的视频帧执行预定的视频信号处理。信号处理单元51将视频信号处理之后的视频帧供给信息处理单元53、输出单元54和掩蔽处理单元55。
CPU 52控制CCU 15的每个部件的处理。CPU 52还与操作面板16通信并且获取从操作面板16输入的控制信号。CPU 52根据需要将获取的控制信号经由相机线缆14输出到相机11或者将其供给掩蔽处理单元55。
CPU 52将从相机11输入的相机元数据供给信息处理单元53和掩蔽处理单元55。CPU 52将从信息处理单元53供给的识别元数据经由相机线缆14输出到相机11，将其输出到操作面板16，并将其供给掩蔽处理单元55。CPU 52基于相机元数据和识别元数据生成附加元数据，并将其供给输出单元54。
信息处理单元53使用计算机视觉、AI(人工智能)、机器学习等对视频帧执行各种识别处理。例如，信息处理单元53在视频帧内执行被摄体识别、区域识别等。更具体而言，例如，信息处理单元53执行特征点的提取、匹配、基于跟踪的相机11的成像方向的检测(姿势检测)、通过机器学习的骨骼检测、面部检测、面部识别、瞳孔检测、物体检测、动作识别、语义分割等。信息处理单元53检测由相机11基于视频帧检测到的成像方向的偏差。信息处理单元53生成包括基于识别处理的结果的数据的识别元数据。信息处理单元53将识别元数据供给CPU 52。
输出单元54将视频帧和附加元数据布置(添加)到预定格式的输出信号(例如，SDI(串行数字接口)信号)，并且将输出信号输出到后级中的监视器17。
掩蔽处理单元55基于从CPU 52供给的控制信号和识别元数据对视频帧执行掩蔽处理。如后面将描述的，掩蔽处理是掩蔽除了视频帧中的预定类型的被摄体的区域以外的区域(下文中称为掩蔽区域)的处理。输出单元54将掩蔽处理之后的视频帧布置(添加)到预定格式的输出信号(例如，SDI信号)，并将输出信号输出到后级的监视器17。
操作面板16例如由MSU(Master Setup Unit，主设置单元)、RCP(Remote ControlPanel，远程控制面板)等构成。操作面板16由诸如VE(视频工程师)之类的用户使用，基于用户操作生成控制信号，并将控制信号输出到CPU 52。
监视器17例如供诸如VE之类的用户用于检查由相机11捕获的视频。例如，监视器17显示基于来自输出单元54的输出信号的视频。监视器17显示基于来自掩蔽处理单元55的输出信号的掩蔽处理之后的视频。监视器17显示掩蔽处理之后的视频帧的亮度波形、向量示波器等。
在下文中，在相机11和CCU 15之间传输信号和数据的处理中将适当地省略相机线缆14的描述。例如，当相机11经由相机线缆14向CCU 15输出视频帧时，可以省略相机线缆14的描述，而可以简单地表述为相机11向CCU 15输出视频帧。
<CPU 33的功能配置示例>
图2示出了由相机11的CPU 33实现的功能的配置示例。例如，当CPU 33执行预定的控制程序时，实现包括控制单元71、成像方向检测单元72、相机元数据生成单元73和显示控制单元74的功能。
控制单元71控制相机11的每个部件的处理。
成像方向检测单元72基于相机11的角速度的检测结果来检测相机11的成像方向。注意的是，成像方向检测单元72可以使用相机11的加速度的检测结果来检测相机11的成像方向。成像方向检测单元72基于从CCU 15输入的识别元数据校正相机11的参考方向。
相机元数据生成单元73生成包括相机11的成像方向信息、控制信息和透镜信息的相机元数据。相机元数据生成单元73将相机元数据输出到CCU 15的CPU 52。
显示控制单元74控制取景器23的实时取景图像的显示。显示控制单元74基于从CCU 15输入的识别元数据来控制取景器23显示叠加在实时取景图像上的信息。
<CPU 52的功能配置示例>
图3示出了由CCU 15的CPU 52实现的功能的配置示例。例如，包括控制单元101和元数据输出单元102的功能通过CPU 52执行预定控制程序来实现。
控制单元101控制CCU 15的每个部件的处理。
元数据输出单元102将从相机11输入的相机元数据供给信息处理单元53和掩蔽处理单元55。元数据输出单元102将从信息处理单元53供给的识别元数据输出到相机11、操作面板16和掩蔽处理单元55。元数据输出单元102基于从信息处理单元53供给的相机元数据和识别元数据生成附加元数据，并将其供给输出单元54。
<信息处理单元53的配置示例>
图4示出了CCU 15的信息处理单元53的配置示例。信息处理单元53包括识别单元131和识别元数据生成单元132。
识别单元131对视频帧执行各种识别处理。
识别元数据生成单元132生成包括基于识别单元131的识别处理的数据的识别元数据。识别元数据生成单元132将识别元数据供给CPU 52。
<信息处理系统1的处理>
接下来，将描述信息处理系统1的处理。
<聚焦指标显示处理>
首先，将参考图5的流程图描述由信息处理系统1执行的聚焦指标显示处理。
这个处理例如在用户使用操作面板16输入开始显示聚焦指标值的指示时开始，并且在用户输入停止显示聚焦指标值的指示时结束。
在步骤S1中，信息处理系统1执行成像处理。
具体而言，图像传感器(未示出)捕获被摄体的图像以获得视频信号并将获得的视频信号供给信号处理单元31。信号处理单元31对从图像传感器供给的视频信号执行预定的视频信号处理以生成视频帧。信号处理单元31将视频帧供给取景器23并将其输出到CCU 15的信号处理单元51。取景器23在显示控制单元74的控制下显示基于视频帧的实时取景图像。
透镜22将关于透镜22的透镜信息供给CPU 33。运动传感器32检测相机11的角速度和加速度，并将指示检测结果的数据供给CPU 33。
成像方向检测单元72基于相机11的角速度和加速度的检测结果检测相机11的成像方向。例如，成像方向检测单元72通过基于运动传感器32检测到的角速度累积计算(积分)相机11相对于预先设定的参考方向的方向(角度)的改变量来检测相机11的成像方向(姿势)。
相机元数据生成单元73生成包括相机11的成像方向信息、透镜信息和控制信息的相机元数据。相机元数据生成单元73与信号处理单元31输出视频帧同步地将与视频帧对应的相机元数据输出到CCU 15的CPU 52。因此，在视频帧的成像时间附近，视频帧与包括相机11的成像方向信息、控制信息和透镜信息的相机元数据相关联。
CCU 15的信号处理单元51对从相机11获取的视频帧执行预定的视频信号处理，并将视频信号处理之后的视频帧输出到信息处理单元53、输出单元54和掩蔽处理单元55。
CCU 15的元数据输出单元102将从相机11获取的相机元数据供给信息处理单元53和掩蔽处理单元55。
在步骤S2中，CCU 15的识别单元131执行被摄体识别。例如，识别单元131使用骨骼检测、面部检测、瞳孔检测、物体检测来识别视频帧中要显示聚焦指标值的类型的被摄体。注意的是，当在视频帧中存在多个要显示聚焦指标值的类型的被摄体时，识别单元131单独识别每个被摄体。
在步骤S3中，CCU 15的识别单元131计算聚焦指标值。具体而言，识别单元131计算包括每个识别出的被摄体的区域中的聚焦指标值。
注意的是，计算聚焦指标值的方法没有特别限制。例如，使用傅立叶变换的频率分析、倒谱分析、DfD(散焦深度)技术等被用作计算聚焦指标值的方法。
在步骤S4中，CCU 15生成识别元数据。具体而言，识别元数据生成单元132生成包括由识别单元131识别出的每个被摄体的位置和聚焦指标值的识别元数据，并将识别元数据供给CPU 52。元数据输出单元102将识别元数据输出到相机11的CPU 33。
在步骤S5中，相机11的取景器23在显示控制单元74的控制下显示聚焦指标。
图6示意性地示出了聚焦指标显示的示例。图6A示出了在显示聚焦指标之前在取景器23上显示的实时取景图像的示例。图6B示出在显示聚焦指标之后在取景器23上显示的实时取景图像的示例。
在这个示例中，人201a至201c在实时取景图像中示出。人201a离相机11最近，人201c离相机11最远。相机11聚焦在人201a身上。
在这个示例中，人201a至201c的右眼被设置为聚焦指标值的显示目标。然后，如图6B中所示，在人201a的右眼周围显示指示器202a，其是指示人201a的右眼的位置的圆形图像。在人201b的右眼周围显示指示器202b，其是指示人201b的右眼的位置的圆形图像。在人201c的右眼周围显示指示器202c，其是指示人201c的右眼的位置的圆形图像。
指示人201a至201c的右眼的聚焦指标值的条203a至203c在实时取景图像下方示出。条203a指示人201a的右眼的聚焦指标值。条203b指示人201b的右眼的聚焦指标值。条203c指示人201c的右眼的聚焦指标值。条203a至203c的长度指示聚焦指标值的值。
条203a至203c被设置为不同的显示模式(例如，不同的颜色)。另一方面，指示器202a和条203a被设置为相同的显示模式(例如，相同的颜色)。指示器202b和条203b被设置为相同的显示模式(例如，相同的颜色)。指示器202c和条203c被设置为相同的显示模式(例如，相同的颜色)。这允许用户(例如，摄影师)容易地掌握每个被摄体与聚焦指标值之间的对应关系。
在此，例如，在聚焦指标值的显示目标区域固定在取景器23的中心等处的情况下，如果要被聚焦的被摄体移出该区域则不能使用聚焦指标值。
相比之下，根据本技术，自动跟踪期望类型的被摄体，并显示对于被摄体的聚焦指标值。当存在多个要显示聚焦指标值的被摄体时，单独显示聚焦指标值。被摄体和聚焦指标值以针对每个被摄体的不同显示模式相关联。
这允许用户(例如，摄影师)容易地对期望的被摄体执行聚焦调整。
此后，处理返回到步骤S1并且执行步骤S1之后的处理。
<峰化突出显示处理>
接下来，将参考图7的流程图描述由信息处理系统1执行的峰化突出显示处理。
这个处理例如在用户使用操作面板16输入开始峰化突出显示的指示时开始，并在用户输入停止峰化突出显示的指示时结束。
这里的峰化突出显示是对视频帧中的高频成分进行突出显示的功能，也称为细节突出显示。例如，峰化突出显示用于辅助手动聚焦操作。
在步骤S21中，以与图5的步骤S1中的处理相同的方式执行成像处理。
在步骤S22中，CCU 15的识别单元131执行被摄体识别。例如，识别单元131使用物体检测、语义分割等来识别视频帧中每个被摄体的区域和类型。
在步骤S23中，CCU 15生成识别元数据。具体而言，识别元数据生成单元132生成包括由识别单元131识别出的每个被摄体的位置和类型的识别元数据，并将识别元数据供给CPU 52。元数据输出单元102将识别元数据输出到相机11的CPU 33。
在步骤S24中，相机11的取景器23在显示控制单元74的控制下通过基于识别元数据限定区域来执行峰化突出显示。
图8示意性地示出了针对高尔夫球开球场景的峰化突出显示的示例。图8A示出在峰化突出显示之前显示在取景器23上的实时取景图像的示例。图8B示出了在峰化突出显示之后在取景器23上显示的实时取景图像的示例，其中突出显示的区域被阴影化。
例如，如果对实时取景图像整体执行峰化突出显示，那么背景中的高频分量也被突出显示，这会降低可视性。
另一方面，在本技术中，有可能限制要用峰化突出显示来显示的被摄体。例如，如图8B中所示，可以将要用峰化突出显示来显示的被摄体限制到包含人的阴影区域。在这种情况下，在实际的实时取景图像中，使用辅助线等来突出显示诸如阴影区域的边缘之类的高频分量。
这提高了峰化突出显示的可见性，并且使得例如用户(例如，摄影师)更容易手动聚焦在期望的被摄体上。
此后，处理返回到步骤S21并且执行步骤S21之后的处理。
<视频遮蔽处理>
接下来，将参考图9的流程图描述由信息处理系统1执行的视频掩蔽处理。
这个处理例如在用户使用操作面板16输入开始视频掩蔽处理的指令时开始，并且在用户输入停止视频掩蔽处理的指令时结束。
在步骤S41中，以与图5的步骤S1中的处理相同的方式执行成像处理。
在步骤S42中，CCU 15的识别单元131执行区域识别。例如，识别单元131通过对视频帧执行语义分割将视频帧划分为针对每个被摄体类型的多个区域。
在步骤S43中，CCU 15生成识别元数据。具体而言，识别元数据生成单元132生成包括由识别单元131识别出的视频帧内的区域和类型的识别元数据，并将识别元数据供给CPU52。元数据输出单元102将识别元数据供给掩蔽处理单元55。
在步骤S44中，掩蔽处理单元55执行掩蔽处理。
例如，用户使用操作面板16来选择用户希望留下而不掩蔽的被摄体类型。控制单元101将指示用户选择的被摄体的类型的数据供给掩蔽处理单元55。
掩蔽处理单元55对视频帧中用户选择的类型以外的被摄体区域(掩蔽区域)执行掩蔽处理。
在下文中，用户选择的类型的被摄体区域将被称为识别目标区域。
在此，将参考图10至12描述掩蔽处理的具体示例。
图10示意性地示出了其中捕获高尔夫球开球的视频帧的示例。
图11示出了对图10的视频帧执行区域识别的结果的示例。在这个示例中，视频帧被划分为区域251至255，并且每个区域以不同的模式示出。区域251是其中示出人的区域(在下文中称为人区域)。区域252是其中示出地面的区域。区域253是其中示出树木的区域。区域254是其中示出天空的区域。区域255是其中示出发球区标记的区域。
图12示意性地示出了针对图10的视频帧设置识别目标区域和掩蔽区域的示例。在这个示例中，阴影区域(与图11中的区域252至255对应的区域)被设置为掩蔽区域。此外，非阴影区域(与图11中的区域251对应的区域)被设置为识别目标区域。
注意的是，还有可能将多种类型的被摄体的区域设置为识别目标区域。
在此，将描述三种类型的掩蔽处理方法。
在第一种方法的掩蔽处理中，掩蔽区域中的像素信号被黑信号替换。即，遮蔽区域被涂黑。另一方面，识别目标区域的像素信号没有特别改变。
在第二种方法的掩蔽处理中，掩蔽区域中的像素信号的色度分量被降低。例如，掩蔽区域中像素信号的色度分量的U和V分量被设置为零。另一方面，掩蔽区域中的像素信号的亮度分量没有特别改变。识别目标区域的像素信号没有特别改变。
在第三种方法的掩蔽处理中，以与第二种方法的掩蔽处理相同的方式减少掩蔽区域中像素信号的色度分量。例如，掩蔽区域中像素信号的色度分量的U和V分量被设置为零。掩蔽区域的亮度分量减少。例如，掩蔽区域的亮度分量由下面的等式(1)转换，并且掩蔽区域的亮度分量的对比度被压缩。另一方面，识别目标区域中的像素信号没有特别改变。
Yout＝Yinxgain+offset…(1)
Yin指示掩蔽处理之前的亮度分量。Yout指示掩蔽处理之后的亮度分量。Gain指示预定增益并且被设置为小于1.0的值。Offset指示偏移量值。
掩蔽处理单元55将掩蔽处理之后的视频帧布置(添加)到预定格式的输出信号，并将输出信号输出到监视器17。
在步骤S45中，监视器17显示遮蔽处理之后的视频和波形。具体而言，监视器17基于从掩蔽处理单元55获取的输出信号显示基于掩蔽处理之后的视频帧的视频。监视器17还显示用于明亮度调整的掩蔽处理之后的视频帧的亮度波形。监视器17显示用于色调调整的掩蔽处理之后的视频帧的向量示波器。
现在，参考图13至16，将比较上述第一至第三掩蔽处理方法。
图13至16示出了图10中视频帧的亮度波形和向量示波器的显示示例。
图13A示出了遮蔽处理之前的视频帧的亮度波形的显示示例，并且图13B示出了掩蔽处理之前的视频帧的向量示波器的显示示例。
亮度波形的横轴指示视频帧的水平位置，并且纵轴指示亮度的振幅。向量示波器的圆周方向指示色相，并且径向方向指示饱和度。这也适用于图14至16。
在掩蔽处理之前的亮度波形中，显示了整个视频帧的亮度波形。类似地，在掩蔽处理之前的向量示波器中，显示了整个视频帧的色相和饱和度波形。
在掩蔽处理之前的亮度波形和向量示波器中，识别目标区域以外的区域中的亮度分量和色度分量变为噪声。另外，例如，当调整多个相机之间的颜色平衡时，同一被摄体的区域的明亮度波形和向量示波器波形根据被摄体是顺光还是逆光而有很大不同。因此，对于没有经验的用户来说，在观察掩蔽处理之前的亮度波形和向量示波器的同时调整识别目标区域的明亮度和色调是特别困难的。
图14A示出了第一种方法的掩蔽处理之后的视频帧的亮度波形的显示示例，并且图14B示出了第一种方法的掩蔽处理之后的视频帧的向量示波器的显示示例。
在第一种方法的掩蔽处理之后的亮度波形中，仅显示作为识别目标区域的人区域的亮度波形。因此，例如，变得容易只对人调整明亮度。
在第一种方法的掩蔽处理之后的向量示波器中，仅显示作为识别目标区域的人区域的色相和饱和度波形。因此，例如，变得容易只对人调整色调。
但是，在第一种方法的掩蔽处理之后的视频帧中，因为掩蔽区域被涂黑，所以视频帧的可见性降低。换句话说，用户无法确认识别目标区域以外的视频。
图15A示出了第二种方法的掩蔽处理之后的视频帧的亮度波形的显示示例，并且图15B示出了第二种方法的掩蔽处理之后的视频帧的向量示波器的显示示例。
第二种方法的掩蔽处理之后的亮度波形与图13A中掩蔽处理之前的亮度波形相似。因此，例如，变得难以只对人调整明亮度。
第二种方法的遮蔽处理之后的向量示波器波形与图14B中第一种方法的遮蔽处理之后的向量示波器波形相似。因此，例如，变得容易只对人调整色调。
此外，由于掩蔽区域的亮度分量在第二种方法的掩蔽处理之后的视频帧中保持原样，因此与第一种方法的掩蔽处理之后的视频帧相比，可见性提高。
图16A示出了第三种方法的掩蔽处理之后的视频帧的亮度波形的显示示例，并且图16B示出了第三种方法的掩蔽处理之后的视频帧的向量示波器的显示示例。
在第三种方法的掩蔽处理之后的亮度波形中，作为识别目标区域的人区域的波形看起来突出，因为掩蔽区域的对比度被压缩。因此，例如，变得容易只对人调整明亮度。
第三种方法的掩蔽处理之后的向量示波器波形与图14B中第一种方法的掩蔽处理之后的向量示波器波形相似。因此，例如，变得容易只对人调整色调。
此外，由于在第三种方法的掩蔽处理之后的视频帧中，即使对比度被压缩，掩蔽区域的亮度分量也仍保持原样，因此与第一种方法的掩蔽处理之后的视频帧相比，可见性得到提高。
因此，根据第三种方法的掩蔽处理，有可能在确保视频帧的掩蔽区域的可见性的同时容易地调整识别目标区域的明亮度和色调。
注意的是，例如，可以通过诸如调色板显示和直方图之类的其它方法来显示视频帧的亮度。在这种情况下，可以通过使用第一或第三种方法的掩蔽处理容易地调整识别目标区域的明亮度。
之后，处理返回到步骤S41，并且执行步骤S41以后的处理。
以这种方式，可以在维持视频帧的可见性的同时容易地调整被摄体的期望明亮度和色调。由于监视器17不需要执行特殊处理，因此可以使用现有的监视器作为监视器17。
注意的是，例如，在步骤S43中，元数据输出单元102也可以将识别元数据输出到相机11。然后，在相机11中，区域识别的结果可以被用于选择用于自动光圈和白平衡调整功能的检测区域。
<参考方向校正处理>
接下来，将参考图17的流程图描述由信息处理系统1执行的参考方向校正处理。
这个处理例如在相机11开始成像时开始，并且在相机11完成成像时结束。
在步骤S61中，信息处理系统1开始成像处理。即，类似于上述图5中步骤S1的成像处理开始。
在步骤S62中，CCU 15开始在输出信号中嵌入视频帧和元数据并将输出信号输出的处理。具体而言，元数据输出单元102开始组织从相机11获取的相机元数据以生成附加元数据并将附加元数据供给输出单元54的处理。输出单元54开始将视频帧和附加元数据布置(添加)到预定格式的输出信号并且将输出信号输出到监视器17的处理。
在步骤S63中，CCU 15的识别单元131开始更新特征点图。具体而言，识别单元131开始检测视频帧的特征点并基于检测结果更新指示特征点在相机11周围的分布的特征点图的处理。
图18示出了特征点图的示例。图中的十字标记指示特征点的位置。
例如，识别单元131通过连接通过对相机11周围成像而获得的视频帧的特征点的检测结果来生成和更新指示相机11周围场景的特征点的位置和特征量向量的特征点图。在这个特征点图中，特征点的位置例如由基于相机11的参考方向的方向和深度方向上的距离来表示。
在步骤S64中，CCU 15的识别单元131检测成像方向的偏差。具体而言，识别单元131通过将从视频帧中检测到的特征点与特征点图进行匹配来检测相机11的成像方向。
例如，图19示出了当相机11面向参考方向时的视频帧的示例。图20示出了当相机11在摇摄方向上面向距参考方向-7度(逆时针方向7度)时的视频帧的示例。
例如，识别单元131通过匹配图18的特征点图的特征点与图19或20的视频帧的特征点来检测相机11的成像方向。
然后，识别单元131检测基于视频帧检测到的成像方向与相机11使用运动传感器32检测到的成像方向之间的差异作为成像方向的偏差。即，检测到的偏差与由相机11的成像方向检测单元72累积计算由运动传感器32检测到的角速度所造成的累积误差对应。
在步骤S65中，CCU 15生成识别元数据。具体而言，识别元数据生成单元132生成包括基于检测到的成像方向的偏差的数据的识别元数据。例如，识别元数据生成单元132基于检测到的成像方向的偏差计算参考方向的校正值，并且生成包括参考方向的校正值的识别元数据。识别元数据生成单元132将生成的识别元数据供给CPU 52。
元数据输出单元102将识别元数据输出到相机11。
在步骤S66中，相机11的成像方向检测单元72基于包括在识别元数据中的参考方向的校正值来校正参考方向。此时，成像方向检测单元72使用例如α混合(IIR(无限脉冲响应)处理)来连续多次校正参考方向。因此，参考方向逐渐平滑地改变。
此后，处理返回到步骤S64并且执行步骤S64之后的处理。
通过以这种方式适当地校正相机11的参考方向，提高了相机11的成像方向的检测准确性。
相机11基于CCU 15的视频帧识别处理的结果校正参考方向。因此，与CCU 15使用要求处理时间的识别处理直接校正成像方向的情况相比，校正相机11的成像方向的偏差的延迟被缩短。
<被摄体识别和元数据嵌入处理>
接下来，将参考图21的流程图描述信息处理系统1执行的被摄体识别和元数据嵌入处理。
这个处理例如在用户使用操作面板16输入开始被摄体识别和嵌入处理的指令时开始，并且在用户输入停止被摄体识别和嵌入处理的指令时结束。
在步骤S81中，以与图5的步骤S1中的处理相同的方式执行成像处理。
在步骤S82中，CCU 15的识别单元131执行被摄体识别。例如，识别单元131通过对视频帧执行被摄体识别和动作识别来识别视频帧中每个物体的位置、类型和动作。
在步骤S83中，CCU 15生成识别元数据。具体而言，识别元数据生成单元132生成包括由识别单元131识别出的每个物体的位置、类型和动作的识别元数据，并将识别元数据供给CPU 52。
元数据输出单元102基于从相机11获取的相机元数据和从识别元数据生成单元132获取的识别元数据生成附加元数据。附加元数据包括例如相机11的成像方向信息、透镜信息和控制信息，以及视频帧中每个物体的位置、类型和动作的识别结果。元数据输出单元102将附加元数据供给输出单元54。
在步骤S84中，输出单元54将视频帧和元数据嵌入到输出信号中并将输出信号输出。具体而言，输出单元54将视频帧和附加元数据布置(添加)到预定格式的输出信号，并将输出信号输出到监视器17。
监视器17显示如图22中所示的视频，例如，基于输出信号。图22中的视频是图10中的视频叠加指示包括在附加元数据中的物体的位置、类型和动作识别结果的信息。
在这个示例中，显示视频中人、高尔夫球杆、球和山的位置。作为人的动作，示出了开球的人。
此后，处理返回到步骤S81并且执行步骤S81之后的处理。
以这种方式，包括视频帧的被摄体识别的结果的元数据可以被实时嵌入在输出信号中而无人工干预。因此，例如，如图22中所示，有可能快速呈现被摄体识别的结果。
此外，有可能省略在后级中在设备中执行视频帧的识别处理和分析处理以及添加元数据的处理。
<本技术的效果的概要>
如上所述，CCU 15在相机11执行成像的同时对视频帧执行识别处理，并且CCU 15外部的相机11和监视器17可以实时使用识别处理的结果。
例如，相机11的取景器23可以显示基于识别处理的结果的信息以实时叠加在实时取景图像上。监视器17可以实时显示基于识别处理的结果的信息以叠加在基于视频帧的视频上，并实时显示掩蔽处理之后的视频。这提高了诸如摄影师和VE之类的用户的可操作性。
而且，相机11可以基于通过识别处理获得的参考方向的校正值来实时校正成像方向的检测结果。这提高了成像方向的检测准确性。
《2.修改示例》
在下文中，将描述本技术的前述实施例的修改示例。
<处理的分担的修改示例>
例如，可以改变相机11和CCU 15之间的处理的分担。例如，相机11可以执行CCU 15的信息处理单元53的处理的部分或全部。
但是，例如，如果相机11执行信息处理单元53的所有处理，那么相机11的处理负荷增加，相机11的外壳的尺寸增加，并且相机11的功耗和发热增加。相机11的外壳尺寸的增加和发热的增加是不期望的，因为它们阻碍了相机11的线缆的布线。另外，例如，当信息处理系统1通过基带处理单元通过4K/8K成像、高帧率成像等执行信号处理时，相机11难以像信息处理单元53一样显影整个视频帧并执行识别处理。
另外，例如，CCU 15的后级中的诸如PC(个人计算机)、服务器等的设备可以执行信息处理单元53的处理。在这种情况下，CCU 15将视频帧和相机元数据输出到后级的设备，并且后级的设备需要执行上述识别处理等以生成识别元数据并将其输出到CCU 15。为此，处理延迟以及CCU 15和后级的设备之间的传输频带的确保造成问题。特别地，与相机11的操作相关的处理(诸如聚焦操作)中的延迟造成问题。
因此，考虑到向输出信号添加元数据、向相机11输出识别元数据、在取景器23和监视器17上显示识别处理的结果等，最适合在CCU 15中提供信息处理单元53，如上所述。
<其它修改示例>
例如，输出单元54可以输出与输出信号相关联的附加元数据而不将其嵌入输出信号中。
例如，CCU 15的识别元数据生成单元132可以生成包括成像方向的偏差的检测值而不是参考方向的校正值的识别元数据作为用于参考方向的校正的数据。然后，相机11的成像方向检测单元72可以基于成像方向的偏差的检测值来校正参考方向。
《3.其它》
<计算机的配置示例>
上述一系列处理可以由硬件执行或者可以由软件执行。当一系列处理步骤由软件执行时，软件的程序被安装在计算机中。在此，计算机包括嵌入在专用硬件中的计算机或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。
图23是示出根据程序执行上述系列处理的计算机的硬件配置的示例的框图。
在计算机1000中，CPU(中央处理单元)1001、ROM(只读存储器)1002和RAM(随机存取存储器)1003通过总线1004彼此连接。
输入/输出接口1005还连接到总线1004。输入单元1006、输出单元1007、记录单元1008、通信单元1009和驱动器1010连接到输入/输出接口1005。
输入单元1006由输入开关、按钮、麦克风、成像元件等构成。输出单元1007由显示器、扬声器等构成。记录单元1008由硬盘、非易失性存储器等构成。通信单元1009由网络接口等构成。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质1011。
在如上所述配置的计算机1000中，例如，CPU 1001经由输入/输出接口1005和总线1004将记录在记录单元1008中的程序加载到RAM 1003中，并执行该程序以执行上述一系列处理。
由计算机1000(CPU 1001)执行的程序可以被记录在例如作为包装介质等的可移动介质1011上以被提供。该程序还可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供。
在计算机1000中，可以通过将可移动介质1011插入驱动器1010经由输入/输出接口1005将程序安装到记录单元1008。此外，通信单元1009可以经由有线或无线传输介质接收程序以安装在记录单元1008中。此外，程序可以预先安装在ROM 1002或记录单元1008中。
注意的是，由计算机执行的程序可以是按照本说明书中描述的次序按时间顺序执行处理的程序，或者可以是并行地或在必要时(诸如被调用的时间)执行处理的程序。
在本说明书中，系统是指多个组成元件(设备、模块(组件)等)的集合，并且所有组成元件可以包括或者可以不包括在同一外壳中。因而，容纳在分开的外壳中并经由网络连接的多个设备和其中多个模块容纳在一个外壳中的一个设备都构成系统。
另外，本技术的实施例不限于上面提到的实施例，并且在不脱离本技术的主旨的情况下可以进行各种修改。
例如，本技术可以被配置为云计算，其中多个设备经由网络分担并协同处理一个功能。
此外，上述流程图中描述的每个步骤可以由一个设备执行，或者由多个设备以分担的方式执行。
此外，在一个步骤包括多个过程的情况下，一个步骤中包括的多个过程可以由一个设备执行，或者由多个设备以分担的方式执行。
<配置的组合示例>
本技术还可以具有以下配置。
(1)
一种信息处理系统，包括：
成像设备，捕获所捕获的图像；以及
信息处理设备，控制成像设备，其中
信息处理设备包括：
识别单元，对捕获的图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，将识别元数据输出到成像设备。
(2)
根据(1)所述的信息处理系统，其中
识别单元执行在捕获的图像中的被摄体识别和区域识别中的至少一种，以及
识别元数据包括被摄体识别的结果和区域识别的结果中的至少一个。
(3)
根据(2)所述的信息处理系统，其中
成像设备包括：
显示单元，显示实时取景图像；以及
显示控制单元，基于识别元数据控制实时取景图像的显示。
(4)
根据(3)所述的信息处理系统，其中
识别单元计算对于通过被摄体识别而识别出的预定类型的被摄体的聚焦指标值，
识别元数据还包括聚焦指标值，以及
显示控制单元将指示被摄体的位置的图像和对于被摄体的聚焦指标值叠加在实时取景图像上。
(5)
根据(4)所述的信息处理系统，其中
显示控制单元将指示被摄体的位置的图像和聚焦指标值针对每个被摄体以不同的显示模式叠加在实时取景图像上。
(6)
根据(3)至(5)中的任一项所述的信息处理系统，其中
显示控制单元基于识别元数据执行实时取景图像的峰化突出显示，峰化突出显示被限制于预定类型的被摄体的区域。
(7)
根据(1)至(6)中的任一项所述的信息处理系统，其中
成像设备包括：
成像方向检测单元，检测成像设备相对于预定参考方向的成像方向；以及
相机元数据生成单元，生成包括检测到的成像方向的相机元数据并将相机元数据输出到信息处理设备，
识别单元基于捕获的图像检测包括在相机元数据中的成像方向的偏差，以及
识别元数据包括基于检测到的成像方向的偏差的数据。
(8)
根据(7)所述的信息处理系统，其中
识别元数据生成单元基于检测到的成像方向的偏差生成包括用于校正参考方向的数据的识别元数据，以及
成像方向检测单元基于识别元数据校正参考方向。
(9)
一种信息处理方法，允许控制捕获所捕获的图像的成像设备的信息处理设备进行：
对捕获的图像执行识别处理；
生成包括基于识别处理的结果的数据的识别元数据；以及
将识别元数据输出到成像设备。
(10)
一种信息处理系统，包括：
成像设备，捕获所捕获的图像；以及
信息处理设备，控制成像设备，其中
信息处理设备包括：
识别单元，对捕获的图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，将识别元数据输出到后级的设备。
(11)
根据(10)所述的信息处理系统，其中
识别单元执行在捕获的图像中的被摄体识别和区域识别中的至少一种，以及
识别元数据包括被摄体识别的结果和区域识别的结果中的至少一个。
(12)
根据(11)所述的信息处理系统，还包括：
遮蔽处理单元，对作为捕获的图像中预定类型的被摄体的区域以外的区域的遮蔽区域执行遮蔽处理，并将遮蔽处理之后的捕获的图像输出到后级的设备。
(13)
根据(12)所述的信息处理系统，其中
掩蔽处理单元降低掩蔽区域的色度分量并压缩掩蔽区域的亮度分量的对比度。
(14)
根据(10)至(13)中的任一项所述的信息处理系统，其中
输出单元将识别元数据的至少一部分添加到包含捕获的图像的输出信号中，并将输出信号输出到后级的设备。
(15)
根据(14)所述的信息处理系统，其中
成像设备包括：
相机元数据生成单元，生成包括成像设备的成像方向的检测结果的相机元数据，并将相机元数据输出到信息处理设备，以及
输出单元还将相机元数据的至少一部分添加到输出信号。
(16)
根据(15)所述的信息处理系统，其中
相机元数据还包括成像设备的控制信息和与成像设备的透镜有关的透镜信息中的至少一个。
(17)
一种信息处理方法，允许控制捕获所捕获的图像的成像设备的信息处理设备进行：
对捕获图像执行识别处理；
生成包括基于识别处理的结果的数据的识别元数据；以及
将识别元数据输出到后级的设备。
(18)
一种信息处理设备，包括：
识别单元，对由成像设备捕获的捕获图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，输出识别元数据。
(19)
根据(18)所述的信息处理设备，其中
输出单元将识别元数据输出到成像设备。
(20)
根据(18)或(19)所述的信息处理设备，其中
输出单元将识别元数据输出到后级的设备。
本说明书中描述的有利效果仅仅是示例性的而不是限制性的，并且可以获得其它有利效果。
[附图标记列表]
1 信息处理系统
11 相机
15 CCU
16 操作面板
17 显示器
21 主体部分
22 透镜
23 取景器
31 信号处理单元
32 运动传感器
33 CPU
51 信号处理单元
52 CPU
53 信息处理单元
54 输出单元
55 掩蔽处理单元
71 控制单元
72 成像方向检测单元
73 相机元数据生成单元
74 显示控制单元
101 控制单元
102 元数据输出单元
131 识别单元
132 识别元数据生成单元

Claims (20)

1.一种信息处理系统，包括：
成像设备，捕获所捕获的图像；以及
信息处理设备，控制成像设备，其中
信息处理设备包括：
识别单元，对捕获的图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，将识别元数据输出到成像设备。
2.根据权利要求1所述的信息处理系统，其中
识别单元执行在捕获的图像中的被摄体识别和区域识别中的至少一种，以及
识别元数据包括被摄体识别的结果和区域识别的结果中的至少一个。
3.根据权利要求2所述的信息处理系统，其中
成像设备包括：
显示单元，显示实时取景图像；以及
显示控制单元，基于识别元数据控制实时取景图像的显示。
4.根据权利要求3所述的信息处理系统，其中
识别单元计算对于通过被摄体识别而识别出的预定类型的被摄体的聚焦指标值，
识别元数据还包括聚焦指标值，以及
显示控制单元将指示被摄体的位置的图像和对于被摄体的聚焦指标值叠加在实时取景图像上。
5.根据权利要求4所述的信息处理系统，其中
显示控制单元将指示被摄体的位置的图像和聚焦指标值针对每个被摄体以不同的显示模式叠加在实时取景图像上。
6.根据权利要求3所述的信息处理系统，其中
显示控制单元基于识别元数据执行实时取景图像的峰化突出显示，峰化突出显示被限制于预定类型的被摄体的区域。
7.根据权利要求1所述的信息处理系统，其中
成像设备包括：
成像方向检测单元，检测成像设备相对于预定参考方向的成像方向；以及
相机元数据生成单元，生成包括检测到的成像方向的相机元数据并将相机元数据输出到信息处理设备，
识别单元基于捕获的图像检测包括在相机元数据中的成像方向的偏差，以及
识别元数据包括基于检测到的成像方向的偏差的数据。
8.根据权利要求7所述的信息处理系统，其中
识别元数据生成单元基于检测到的成像方向的偏差生成包括用于校正参考方向的数据的识别元数据，以及
成像方向检测单元基于识别元数据校正参考方向。
9.一种信息处理方法，允许控制捕获所捕获的图像的成像设备的信息处理设备进行：
对捕获的图像执行识别处理；
生成包括基于识别处理的结果的数据的识别元数据；以及
将识别元数据输出到成像设备。
10.一种信息处理系统，包括：
成像设备，捕获所捕获的图像；以及
信息处理设备，控制成像设备，其中
信息处理设备包括：
识别单元，对捕获的图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，将识别元数据输出到后级的设备。
11.根据权利要求10所述的信息处理系统，其中
识别单元执行在捕获的图像中的被摄体识别和区域识别中的至少一种，以及
识别元数据包括被摄体识别的结果和区域识别的结果中的至少一个。
12.根据权利要求11所述的信息处理系统，还包括：
遮蔽处理单元，对作为捕获的图像中预定类型的被摄体的区域以外的区域的遮蔽区域执行遮蔽处理，并将遮蔽处理之后的捕获的图像输出到后级的设备。
13.根据权利要求12所述的信息处理系统，其中
掩蔽处理单元降低掩蔽区域的色度分量并压缩掩蔽区域的亮度分量的对比度。
14.根据权利要求10所述的信息处理系统，其中
输出单元将识别元数据的至少一部分添加到包含捕获的图像的输出信号中，并将输出信号输出到后级的设备。
15.根据权利要求14所述的信息处理系统，其中
成像设备包括：
相机元数据生成单元，生成包括成像设备的成像方向的检测结果的相机元数据，并将相机元数据输出到信息处理设备，以及
输出单元还将相机元数据的至少一部分添加到输出信号。
16.根据权利要求15所述的信息处理系统，其中
相机元数据还包括成像设备的控制信息和与成像设备的透镜有关的透镜信息中的至少一个。
17.一种信息处理方法，允许控制捕获所捕获的图像的成像设备的信息处理设备进行：
对捕获图像执行识别处理；
生成包括基于识别处理的结果的数据的识别元数据；以及
将识别元数据输出到后级的设备。
18.一种信息处理设备，包括：
识别单元，对由成像设备捕获的捕获图像执行识别处理；
识别元数据生成单元，生成包括基于识别处理的结果的数据的识别元数据；以及
输出单元，输出识别元数据。
19.根据权利要求18所述的信息处理设备，其中
输出单元将识别元数据输出到成像设备。
20.根据权利要求18所述的信息处理设备，其中
输出单元将识别元数据输出到后级的设备。
CN202280022488.0A 2021-03-26 2022-01-25 信息处理系统、信息处理方法和信息处理设备 Pending CN117015974A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-053269 2021-03-26
JP2021053269 2021-03-26
PCT/JP2022/002504 WO2022201826A1 (ja) 2021-03-26 2022-01-25 情報処理システム、情報処理方法、及び、情報処理装置

Publications (1)

Publication Number Publication Date
CN117015974A true CN117015974A (zh) 2023-11-07

Family

ID=83395372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280022488.0A Pending CN117015974A (zh) 2021-03-26 2022-01-25 信息处理系统、信息处理方法和信息处理设备

Country Status (5)

Country Link
US (1) US20240171853A1 (zh)
EP (1) EP4319131A1 (zh)
JP (1) JPWO2022201826A1 (zh)
CN (1) CN117015974A (zh)
WO (1) WO2022201826A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113097A (ja) * 1998-08-04 2000-04-21 Ricoh Co Ltd 画像認識装置，画像認識方法及び記憶媒体
JP2015049294A (ja) * 2013-08-30 2015-03-16 リコーイメージング株式会社 撮像装置
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
JP2015233261A (ja) * 2014-06-11 2015-12-24 キヤノン株式会社 撮像装置及び照合システム

Also Published As

Publication number Publication date
WO2022201826A1 (ja) 2022-09-29
EP4319131A1 (en) 2024-02-07
US20240171853A1 (en) 2024-05-23
JPWO2022201826A1 (zh) 2022-09-29

Similar Documents

Publication Publication Date Title
US8045014B2 (en) Auto white balance correction value calculation device, method, program, and image pickup device
US9787905B2 (en) Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
US8885061B2 (en) Image processing apparatus, image processing method and program
CN102104727B (zh) 摄像装置以及摄像方法
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
US20070266312A1 (en) Method for displaying face detection frame, method for displaying character information, and image-taking device
US8379140B2 (en) Video image pickup apparatus and exposure guide display method
US20110311150A1 (en) Image processing apparatus
WO2021134179A1 (zh) 对焦方法、装置、拍摄设备、可移动平台和存储介质
CN111246093B (zh) 图像处理方法、装置、存储介质及电子设备
US20100123790A1 (en) Autofocus system
WO2019163558A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JPH0918773A (ja) 撮像装置
KR101456494B1 (ko) 잔류 영상을 표시하는 디지털 촬영 장치의 제어 방법, 상기제어 방법에 따라 구동하는 디지털 촬영 장치 및 상기제어 방법을 기록한 기록 매체
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
US20060197005A1 (en) System and method for automatic focusing of images
KR20130059091A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2019047336A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP4319131A1 (en) Information processing system, information processing method, and information processing device
JP3399995B2 (ja) 映像信号追尾方法及びビデオカメラシステム
WO2012099174A1 (ja) オートフォーカスシステム
WO2023106118A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20100118151A1 (en) Autofocus system
US20220408022A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination