CN112292847A - 图像处理设备、移动设备、方法和程序 - Google Patents

图像处理设备、移动设备、方法和程序 Download PDF

Info

Publication number
CN112292847A
CN112292847A CN201980041155.0A CN201980041155A CN112292847A CN 112292847 A CN112292847 A CN 112292847A CN 201980041155 A CN201980041155 A CN 201980041155A CN 112292847 A CN112292847 A CN 112292847A
Authority
CN
China
Prior art keywords
image
unit
transmission
raw image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980041155.0A
Other languages
English (en)
Other versions
CN112292847B (zh
Inventor
佐藤竜太
青木卓
山本启太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112292847A publication Critical patent/CN112292847A/zh
Application granted granted Critical
Publication of CN112292847B publication Critical patent/CN112292847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的是仅选择在根据例如要求高精度图像分析的指定条件选择的RAW图像并将其发送到服务器。该图像处理设备包括：安装在移动装置上的成像单元；图像信号处理单元，其通过对作为成像单元的成像元件的输出的RAW图像进行信号处理而生成彩色图像；图像分析单元，其执行虽彩色图像的分析处理；发送必要性确定单元，其确定是否将RAW图像发送到服务器；以及发送单元，其根据判定结果将RAW图像发送到外部服务器。发送必要性确定单元基于以恒定周期的发送定时控制或成像、信号处理参数、图像分析结果、设备信息等来确定RAW图像的发送必要性。

Description

图像处理设备、移动设备、方法和程序
技术领域
本公开涉及图像处理设备、移动设备、方法和程序。更具体而言，本公开涉及对由在诸如汽车之类的移动设备中提供的相机捕获的图像执行分析以检测诸如人之类的障碍物的图像处理设备、移动设备、方法和程序。
背景技术
在汽车行驶过程中，许多系统被用于通过分析由相机捕获的图像来检查在行驶方向上是否存在障碍物，诸如人。
在执行图像分析的情况下，一般使用彩色图像(诸如对作为相机成像元件(图像传感器)的输出的RAW图像进行图像信号处理之后的图像，例如，去马赛克处理或白平衡调整处理之后的RGB图像)执行分析。但是，在比较RAW图像与RGB图像的情况下，RAW图像具有更大的信息量，因此可以通过使用RAW图像执行分析来获得更详细的图像分析结果。
注意的是，作为现有技术中的技术，存在其中公开了使用RAW图像的图像分析的专利文献1(日本专利申请特许公开No.2009-239772)等。
但是，由于RAW图像具有比RGB图像更大的信息量，因此存在例如花费时间进行数据传送和数据处理的问题。
引文列表
专利文件
专利文献1：日本专利申请特许公开No.2009-239772
发明内容
本发明要解决的问题
鉴于上述问题已做出本公开，并且例如在通过使用由安装在诸如汽车之类的移动设备上的相机捕获的图像来检测人、障碍物等的配置中，作为来自相机的成像元件(图像传感器)的输出的RAW图像被选择性地发送到服务器，并且在服务器侧对该RAW图像执行分析。提供了可以通过选择性地执行RAW图像向服务器的发送处理来获取高精度的分析结果而不增加移动设备中的处理负荷的图像处理设备、移动设备、方法和程序。
问题的解决方案
本公开的第一方面是一种图像处理设备，包括
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像。
而且，本公开的第二方面是一种移动设备，包括
成像单元，其安装在移动设备上；
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像。
而且，本公开的第三方面是一种图像处理系统，包括：图像处理设备；以及服务器，
其中图像处理设备包括
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像，并且
服务器从图像处理设备接收RAW图像并执行RAW图像的分析处理。
而且，本公开的第四方面是在图像处理设备中执行的图像处理方法，该图像处理方法包括
图像信号处理步骤，由图像信号处理器对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析步骤，由图像分析单元对在图像信号处理步骤中生成的彩色图像执行分析处理；
发送必要性判定步骤，由发送必要性判定单元决定是否要将RAW图像发送到外部服务器；以及
发送步骤，由发送单元根据发送必要性判定步骤的判定结果向外部服务器发送RAW图像。
而且，本公开的第五方面是一种使得图像处理设备执行图像处理的程序，该程序使得：
图像信号处理器执行对作为成像单元的成像元件的输出的RAW图像执行信号处理并生成彩色图像的图像信号处理步骤；
图像分析单元执行对在图像信号处理步骤中生成的彩色图像执行分析处理的图像分析步骤；
发送必要性判定单元执行决定是否要将RAW图像发送到外部服务器的发送必要性判定步骤；以及
发送单元执行根据发送必要性判定步骤的判定结果向外部服务器发送RAW图像的发送步骤。
注意的是，本公开的程序是例如可以由以计算机可读格式提供的存储介质或通信介质提供给可以执行各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读格式提供这种程序，在信息处理设备或计算机系统上实现根据该程序的处理。
根据基于以下描述的本公开的实施例和附图的更详细描述，本公开的其它目的、特征和优点将变得显而易见。注意的是，在本说明书中，系统是多个设备的逻辑集合配置，并且不限于其中相应配置的设备在同一壳体中的系统。
发明的效果
根据本公开的一个实施例的配置，例如在要求高精度的图像分析的情况下，实现了其中仅选择根据指定条件选择的RAW图像并将其发送到服务器的配置。
具体而言，例如，提供了安装在移动设备上的成像单元、通过对作为成像单元的成像元件的输出的RAW图像进行信号处理而生成彩色图像的图像信号处理器、执行彩色图像的分析处理的图像分析单元、确定RAW图像是否需要向服务器发送的发送必要性判定单元，以及根据判定结果将RAW图像发送到外部服务器的发送单元。发送必要性判定单元基于以恒定周期进行的发送定时控制、成像和信号处理参数、图像分析结果、设备信息等来决定RAW图像的发送必要性。
利用该配置，例如，在要求高精度的图像分析的情况下，实现了其中仅选择根据指定条件选择的RAW图像并将其发送到服务器的配置。
注意的是，本说明书中描述的效果仅是示例，并且不受限制，并且可以具有附加的效果。
附图说明
图1是用于描述本公开的配置和处理的概要的图。
图2是用于描述本公开的图像处理设备的配置示例的图。
图3是图示用于描述由本公开的图像处理设备执行的处理序列的流程图的图。
图4是用于描述本公开的图像处理设备的配置示例的图。
图5是用于描述成像参数和信号处理参数的图。
图6是图示用于描述由本公开的图像处理设备执行的处理序列的流程图的图。
图7是用于描述本公开的图像处理设备的配置示例的图。
图8是用于描述由图像分析单元生成的分析结果信息的示例的图。
图9是图示用于描述由本公开的图像处理设备执行的处理序列的流程图的图。
图10是用于描述本公开的图像处理设备的配置示例的图。
图11是用于描述本公开的图像处理设备的配置示例的图。
图12是用于描述设备信息的示例的图。
图13是图示用于描述由本公开的图像处理设备执行的处理序列的流程图的图。
图14是用于描述本公开的图像处理设备的配置示例的图。
图15是用于描述本公开的图像处理设备的配置示例的图。
图16是图示用于描述由本公开的图像处理设备执行的处理序列的流程图的图。
图17是用于描述图像处理设备的硬件配置示例的图。
具体实施方式
在下文中，将参考附图描述本公开的图像处理设备、移动设备、方法和程序的细节。注意的是，将根据以下项目给出描述。
1.本公开的配置和处理的概述
2.关于图像处理设备的配置和处理的具体示例
2-1.(实施例1)以恒定周期间歇地发送RAW图像的实施例
2-2.(实施例2)基于参数执行RAW图像的发送必要性判定的实施例
2-3.(实施例3)基于图像分析结果执行RAW图像的发送必要性判定的实施例
2-4.(实施例4)基于设备信息执行RAW图像的发送必要性判定的实施例
2-5.(实施例5)在服务器上基于彩色图像分析结果执行RAW图像的发送必要性判定的实施例
3.关于图像处理设备的硬件配置示例
4.本公开的配置的摘要
[1.本公开的配置和处理的概述]
首先，将参考图1和后续附图描述本公开的配置和处理的概要。
图1是用于描述本公开的配置和处理的概要的图。
注意的是，在以下实施例中，将描述汽车(车辆)10的示例作为移动设备的示例，但是本公开的处理可以用在除汽车以外的各种移动设备中。
例如，本公开的处理可以应用于无人机、诸如物流机器人之类的机器人类型的移动物体等。
如图1中所示，汽车10配备有相机11。
注意的是，在以下实施例中，将描述使用由对汽车10的前方成像的相机11捕获的图像的实施例，但是本公开的配置和处理不限于对前方成像的相机，并且可以应用于由对其它各个方向(诸如后方)成像的相机捕获的图像。另外，作为相机11，也可以使用捕获普通图像的相机或设有诸如鱼眼透镜之类的广角透镜的相机。
汽车10具有能够经由网络30与服务器20通信的配置。
如图中所示，作为汽车10的相机11的成像元件(图像传感器)的输出的RAW图像41经由网络发送到服务器20。
服务器20基于这个RAW图像执行图像分析。
图1的右侧图示了安装在汽车10上的图像处理器的配置以及服务器20中的图像处理器的配置。将描述安装在图1的右下方所示的汽车10上的图像处理器的配置。
作为相机11的成像元件(图像传感器)的输出的RAW图像41由图像信号处理器(ISP)12进行图像处理。例如，执行用于生成彩色图像(例如，RGB图像)的处理，诸如用于为每个像素设置RGB像素值的去马赛克处理和白平衡调整处理。
由图像信号处理器(ISP)12生成的RGB图像43被输入到图像分析单元13。图像分析单元13使用RGB图像43执行图像分析，并且执行检测例如人、障碍物等的处理。由图像分析单元13生成的RGB图像分析结果44被输出到输出单元(显示单元)14。
例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
另一方面，服务器20将从汽车10接收到的RAW图像41输入到图像分析单元21和学习处理器22。图像分析单元21使用RAW图像41执行图像分析，并且执行检测例如人、障碍物等的处理。由图像分析单元21生成的RAW图像分析结果42经由网络30被发送到汽车10，并输出到汽车10的输出单元(显示单元)14。
注意的是，服务器20的图像分析单元21的分析结果被输入到学习处理器22。学习处理器22输入RAW图像41和图像分析单元21的分析结果，执行与人和其它物体的检测相关的学习处理，并且生成用于通过图像分析提高物体表现(manifestation)的精度的学习数据并将其存储在学习数据存储单元23中。在图像分析单元21执行图像分析的情况下，执行参考存储在学习数据存储单元23中的学习数据的分析处理。使用这种学习数据进行的分析使得能够进行高精度的物体检测和特定处理。
在本公开的配置中，如图1中所示，作为安装在汽车10上的相机11的成像元件(图像传感器)的输出的RAW图像41被发送到服务器20，并且服务器20执行RAW图像的分析。由于RAW图像的信息量比RGB图像的信息量大，因此可以获得高精度的分析结果。
但是，由于RAW图像具有大量数据，因此，如果执行将从相机11输出的所有RAW图像连续发送到服务器20的处理，那么汽车10侧的处理负荷和网络带宽负荷将变得过大。因此，存在数据发送延迟、汽车10侧的图像处理器的处理延迟等可能发生的可能性。
为了解决这种问题，汽车10的图像处理设备选择性地将从相机11输出的RAW图像的仅一部分发送到服务器20。在下文中，将描述执行这个处理的图像处理设备的配置以及该处理的具体示例。
[2.关于图像处理设备的配置和处理的具体示例]
将参考图2和后续的附图描述在汽车中配置的图像处理设备的配置和处理的具体示例。
将依次描述以下多个实施例。
(实施例1)以恒定周期间歇地发送RAW图像的实施例
(实施例2)基于参数执行RAW图像的发送必要性判定的实施例
(实施例3)基于图像分析结果执行RAW图像的发送必要性判定的实施例
(实施例4)基于设备信息执行RAW图像的发送必要性判定的实施例
(实施例5)在服务器上基于彩色图像分析结果执行RAW图像的发送必要性判定的实施例
(2-1.(实施例1)以恒定周期间歇地发送RAW图像的实施例)
首先，作为本公开的图像处理设备的实施例1，将参考图2和后续附图描述以恒定周期间歇地发送RAW图像的实施例。
将参考图2描述实施例1的图像处理设备100的配置示例。
图2中所示的图像处理设备100是在汽车10中配置的图像处理设备。图像处理设备100具有成像单元(相机)101、图像信号处理器(ISP)102、图像分析单元103、参数获取单元104、发送缓冲器105、发送单元106和发送定时控制单元107。
作为来自成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像111被输入到图像信号处理器(ISP)102。图像信号处理器(ISP)102对RAW图像111执行图像信号处理。例如，执行用于生成彩色图像(例如，RGB图像)的处理，诸如用于为每个像素设置RGB像素值的去马赛克处理和白平衡调整处理。
由图像信号处理器(ISP)102生成的RGB图像112被输入到图像分析单元103。图像分析单元103使用RGB图像112执行图像分析，并且执行检测例如人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
参数获取单元104在成像单元101中捕获图像时获取成像参数121，并且在图像信号处理器(ISP)102中获取信号处理参数122。
例如，成像参数包括快门速度、模拟增益等。另外，信号处理参数包括数字增益、白平衡(AWB)控制值、高动态范围(HDR)控制值等。
由参数获取单元104获取的成像和信号处理参数123与RAW图像111一起被存储在发送缓冲器105中，该RAW图像111是来自成像单元(相机)101的成像元件(图像传感器)的输出。
发送单元106将存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123发送到服务器20。
但是，如上所述，由于RAW图像具有大量数据，因此，如果执行将从成像单元(相机)101的成像元件(图像传感器)输出的所有RAW图像连续发送到服务器20的处理，那么汽车10侧的处理负荷和网络带宽负荷会变得过大，因此存在汽车10的图像处理器100的处理延迟、数据传送延迟等可能发生的可能性。
在这个实施例中，为了防止这种问题，用作发送必要性判定单元的发送定时控制单元107以恒定的周期间歇地执行RAW图像的发送。例如，仅以恒定的周期(诸如每N帧或每Msec)选择的RAW图像被发送到服务器20。
要发送到服务器20的数据是例如RAW图像111以及成像和信号处理参数123。成像和信号处理参数123是包括捕获RAW图像111时的成像参数和应用于RAW图像111的图像信号处理的图像信号处理参数的参数集。
注意的是，在包括这个实施例的以下描述的实施例中，描述了其中RAW图像111以及成像和信号处理参数123从汽车侧的图像处理设备100被发送到服务器20的示例，但是在上述实施例的任何实施例中可以进行各种设置，诸如仅发送RAW图像的配置、发送RAW图像和成像参数或者RAW图像和信号处理参数的配置。
在实施例1中，由于用作发送必要性判定单元的发送定时控制单元107被配置为以恒定的周期间歇地执行RAW图像的发送，因此有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
接下来，将参考图3中所示的流程图描述实施例1的处理序列。
注意的是，根据图3中所示的流程的处理可以根据例如存储在图像处理设备100的存储单元中的程序来执行，并且例如在具有程序执行功能的控制单元(诸如CPU)的控制下执行。在下文中，将依次描述图3中所示的流程的每个步骤的处理。
(步骤S101)
首先，在步骤S101中获取RAW图像。
获取作为来自图3所示的成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像。
(步骤S102)
步骤S102的处理和步骤S103至S105的处理可以并行执行。
首先，在步骤S102中，获取成像参数。这个处理是由图3所示的参数获取单元104执行的处理。成像参数是在成像单元(相机)101中捕获图像时的参数，并且例如是诸如快门速度和模拟增益之类的参数。
(步骤S103)
步骤S103是由图3中所示的图像信号处理器(ISP)102执行的图像信号处理。图像信号处理器(ISP)102输入作为来自成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像，并且对RAW图像111执行图像信号处理。例如，执行用于生成彩色图像(例如，RGB图像)的处理，诸如用于为每个像素设置RGB像素值的去马赛克处理和白平衡调整处理。
(步骤S104)
在步骤S104中，获取信号处理参数。这个处理是由图3中所示的参数获取单元104执行的处理。信号处理参数是在图像信号处理器102中进行图像信号处理时应用的信号处理参数，并且例如是诸如数字增益、白平衡(AWB)控制值和高动态范围(HDR)控制值之类的参数。
(步骤S105)
步骤S105是由图像分析单元103执行的图像分析处理。图像分析单元103使用由图像信号处理器102生成的RGB图像执行图像分析，并且执行检测例如人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
(步骤S106)
步骤S106是发送定时确定处理，并且是由图3中所示的发送定时控制单元107执行的处理。发送定时控制单元107决定发送数据(即，RAW图像，以及RAW图像的成像参数和信号处理参数)到服务器的发送定时。具体而言，以恒定周期的发送定时(诸如每N帧或每Msec)向服务器发送RAW图像和参数。
在步骤S106中，确定是否已经达到指定的发送定时。在确定已经到达指定的发送定时的情况下，处理前进到步骤S107，除此之外，处理待机。
(步骤S107)
在步骤S106中确定已经达到指定的发送定时的情况下，处理前进到步骤S107。在步骤S107中，发送单元106将RAW图像、捕获RAW图像时的成像参数以及RAW图像的信号处理参数发送到服务器20。
如上所述，在实施例1中，由于采用以恒定的周期间歇地执行RAW图像向服务器发送的配置，因此有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑处理，而不会造成数据传送延迟和处理延迟。
(2-2.(实施例2)基于参数执行RAW图像的发送必要性判定的实施例)
接下来，作为本公开的图像处理设备的实施例2，将参考图4和后续的附图描述基于参数执行RAW图像的发送必要性判定的实施例。
将参考图4描述实施例2的图像处理设备100的配置示例。
图4中所示的图像处理设备100具有与上面如(实施例1)所述图2中所示的图像处理设备100基本上相同的结构。不同之处在于，删除了图2中所示的发送定时控制单元107，并且添加了发送必要性判定单元201。
由于其它配置相似，因此将省略其描述，并且将仅描述与实施例1的不同之处。
发送必要性判定单元201输入从参数获取单元104获取的参数。即，发送必要性判定单元201输入从参数获取单元104获取的成像和信号处理参数123。成像和信号处理参数123包括在成像单元101中捕获图像时的成像参数121和图像信号处理器(ISP)102中的信号处理参数122。
例如，成像参数包括快门速度、模拟增益等。另外，信号处理参数包括数字增益、白平衡(AWB)控制值、高动态范围(HDR)控制值等。
发送必要性判定单元201基于这些参数来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。
图5图示了在数据向服务器20的发送必要性判定处理中使用的参数的示例。如图5中所示，存在以下参数作为在数据到服务器20的发送必要性判定处理中使用的参数。
(1)成像参数
(1a)快门速度，
(1b)模拟增益
(2)信号处理参数
(2a)数字增益
(2b)白平衡(AWB)控制值
(2c)动态范围(HDR)控制值
发送必要性判定单元201基于这些参数来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。例如，在快门速度低的情况下，很有可能已经在黑暗的环境中(诸如晚上)执行了成像。在这种情况下，降低了在RGB图像的分析中获得高精度的分析结果的可能性。在这种情况下，设置使得RAW图像和参数被发送到服务器20，并且服务器20基于RAW图像执行图像分析。
注意的是，发送必要性判定单元201将针对图5中所示的每个参数的阈值预先存储在存储器中，并且通过将输入参数与阈值进行比较来确定数据向服务器发送的发送必要性。
发送必要性判定单元201中的判定结果(即，关于是否有必要将RAW图像和参数发送到服务器20的信息)被输出到发送单元106。
仅在从发送必要性判定单元201输入了指示有必要发送的判定结果的情况下，发送单元106才获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例2中，发送必要性判定单元201基于成像参数和信号处理参数来确定是否应当执行基于RAW图像的分析，并且仅在确定应当执行基于RAW图像的分析的情况下才将RAW图像111以及成像和信号处理参数123发送到服务器20。
在实施例2中，类似于上述实施例1，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
接下来，将参考图6中所示的流程图描述实施例2的处理序列。
注意的是，根据图6所示的流程的处理可以根据例如存储在图像处理设备100的存储单元中的程序来执行，并且例如在具有程序执行功能的控制单元(诸如CPU)的控制下执行。在下文中，将依次描述图6中所示的流程的每个步骤的处理。
(步骤S201至S205)
步骤S201至S205的处理与在实施例1中描述的图3中所示的流程的步骤S101至S105的处理类似，将对其进行简要描述。
首先，在步骤S201中获取RAW图像。
获取作为来自图4中所示的成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像。
接下来，在步骤S202中，参数获取单元104获取在成像单元(相机)101中捕获图像时的参数，例如，诸如快门速度和模拟增益之类的参数。
另外，在步骤S203中，图像信号处理器(ISP)102对RAW图像执行图像信号处理。例如，执行生成彩色图像(例如，RGB图像)的处理，诸如去马赛克处理和白平衡调整处理。
在步骤S204中，参数获取单元104获取应用于图像信号处理器102中的图像信号处理的信号处理参数，例如，诸如数字增益、白平衡(AWB)控制值和高动态范围(HDR)控制值之类的参数。
步骤S205是在图像分析单元103中使用RGB图像的图像分析处理。例如，执行检测人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
(步骤S206和S207)
步骤S206和S207是基于成像和信号处理参数123确定RAW图像向服务器的发送必要性的步骤，其由图4中所示的发送必要性判定单元201执行。
发送必要性判定单元201输入从参数获取单元104获取的成像和信号处理参数123。成像和信号处理参数123包括在成像单元101中捕获图像时的成像参数121和图像信号处理器(ISP)102中的信号处理参数122。如参考图5所述，参数如下：
(1)成像参数
(1a)快门速度
(1b)模拟增益
(2)信号处理参数
(2a)数字增益
(2b)白平衡(AWB)控制值
(2c)动态范围(HDR)控制值。
发送必要性判定单元201基于这些参数来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。例如，发送必要性判定单元201通过将输入参数与阈值进行比较来确定向数据服务器的发送必要性。如上所述，在快门速度低的情况下，很有可能已经在黑暗的环境中(诸如晚上)执行了成像。在这种情况下，降低了在RGB图像的分析中获得高精度的分析结果的可能性。在这种情况下，设置使得RAW图像和参数被发送到服务器20，并且服务器20基于RAW图像执行图像分析。
(步骤S208)
在发送必要性判定单元201在步骤S207中确定发送是必要的情况下，处理前进到步骤S208。在步骤S208中，发送单元106获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例2中，类似于上述实施例1，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
(2-3.(实施例3)基于图像分析结果执行RAW图像的发送必要性判定的实施例)
接下来，作为本公开的图像处理设备的实施例3，将参考图7和后续附图描述基于图像分析结果执行RAW图像的发送必要性判定的实施例。
将参考图7描述实施例3的图像处理设备100的配置示例。
图7中所示的图像处理设备100具有与上面如(实施例1)所述图2中所示的图像处理设备100基本上相同的配置。不同之处在于，删除了图2中所示的发送定时控制单元107，并且添加了发送必要性判定单元202。
由于其它配置相似，因此将省略其描述，并且将仅描述与实施例1的不同之处。
发送必要性判定单元202输入由图像分析单元103生成的图像分析结果124。发送必要性判定单元202基于由图像分析单元103生成的图像分析结果124来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。
将参考图8描述由图像分析单元103生成的图像分析结果124的配置数据的示例。
由图像分析单元103生成的图像分析结果124包括例如以下数据。
(1)识别结果置信度
(2)识别类
(1)识别结果置信度是关于从图像中识别出的物体的类型的置信度。例如，置信度指示识别出的物体是否是人。
将参考图8的下部中所示的(具体示例1)来描述识别结果置信度。
在从图像中检测出某个物体作为分析对象的情况下，例如通过对物体执行图案匹配等来估计对象的类型。
(具体示例1)中示出的示例是从图像中检测到两个物体的示例。左侧的物体与预先存储在存储器中的人的图案具有高匹配率，并且获得0.99的识别分数作为图像分析结果。在这种情况下，确定物体类型是人的置信度高。
另一方面，右侧的物体与人的图案的匹配率不是很高，并且获得0.59的识别分数作为图像分析结果。在这种情况下，确定物体类型是人的置信度低。
例如，发送必要性判定单元202将预定阈值与作为图像分析结果而获取的识别分数进行比较，并且在获得等于或低于阈值的识别分数的情况下，发送必要性判定单元202确定是否有必要将RAW图像发送到服务器20，以便使服务器20基于RAW图像执行高精度的分析。
另外，(2)识别类是定义从图像中识别出的物体的类型的类，并且与物体类型对应，使得例如物体是人、狗或汽车。
在难以确定识别类的情况下，或者在识别类是罕见类的情况下，发送必要性判定单元202确定有必要将RAW图像发送到服务器20，以便使得服务器20基于RAW图像执行高精度的分析。
在图8的下部的(具体示例2)中，将狗(Dog)检测为被检测物体。
与置信度对应的识别分数是高的0.85，但是由于在道路上不太可能检测到物体，即，罕见类是狗，因此，发送必要性判定单元202确定有必要向服务器20发送RAW图像，以便使得服务器20基于RAW图像执行高精度的分析。
以这种方式，发送必要性判定单元202输入图像分析单元103的图像分析结果，并且基于该图像分析结果来确定RAW图像111以及成像和信号处理参数123向服务器20的发送必要性。
如上所述，在实施例3中，发送必要性判定单元202基于图像分析单元103的图像分析结果来确定RAW图像111以及成像和信号处理参数123向服务器20的发送必要性。除了图8中所示的数据之外，用于这个确定的图像分析结果还包括例如通过语义分割的分析结果、使用距离图像的分析结果、使用人体识别设备的识别结果等。
语义分割是一种技术，其基于图像中的物体与用于基于各种实际物体形状和其它特征信息的物体识别的词典数据(学习到的数据)之间的匹配程度来识别图像的每个构成像素属于什么类别。
例如，(S1)使用语义分割和距离图像来提取路面，(S2)从地图信息获取与当前位置对应的路面位置信息，以及(S3)在(S1)和(S2)中获取的路面位置彼此偏离预定阈值或更大的情况下，将RAW图像发送到服务器，从而执行基于RAW图像的高精度的分析。
另外，使用人体识别设备根据识别结果执行碰撞预测，并且在碰撞风险高的情况下，将RAW图像发送到服务器，从而执行基于RAW图像的高精度的分析。
此外，发送必要性判定单元202可以使用的图像分析结果包括例如指示物体检测位置的坐标数据、物体的特征量、和与应用于物体检测的学习数据的差异对应的距离数据等。
例如，在通过图像分析处理检测到的物体与学习数据之间的差异大的情况下，将RAW图像发送到服务器，从而执行基于RAW图像的高精度的分析。
另外，可以进行设置，使得即使在检测到人物体并且检测到的人与预先在数据库中注册的人不同的情况下，也将RAW图像发送到服务器，从而执行分析。
注意的是，发送必要性判定单元202将与从图像分析单元103输出的图像分析结果的每条数据对应的阈值存储在存储器中，并且通过比较输入结果与阈值数据来确定向服务器的发送必要性。
发送必要性判定单元202中的判定结果(即，关于是否有必要将RAW图像和参数发送到服务器20的信息)被输出到发送单元106。
仅在从发送必要性判定单元202输入了指示有必要发送的判定结果的情况下，发送单元106才获取存储在发送缓冲器105中的RAW图像111以及成像信号处理参数123并将其发送到服务器20。
在实施例3中，发送必要性判定单元202基于图像分析单元103生成的图像分析结果来确定是否应当执行基于RAW图像的分析，并且仅在确定应当执行基于RAW图像的分析的情况下才向服务器20发送RAW图像111以及成像和信号处理参数123。
在实施例3中，类似于上述实施例1和2，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
接下来，将参考图9中所示的流程图描述实施例3的处理序列。
注意的是，根据图9中所示的流程的处理可以根据例如存储在图像处理设备100的存储单元中的程序来执行，并且例如在具有程序执行功能的控制单元(诸如CPU)的控制下执行。在下文中，将依次描述图9所示的流程的每个步骤的处理。
(步骤S301至S305)
步骤S301至S305的处理与在实施例1中描述的图3中所示的流程的步骤S101至S105的处理类似，将对其进行简要描述。
首先，在步骤S301中获取RAW图像。
获取作为来自图7中所示的成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像。
接下来，在步骤S302中，参数获取单元104获取在成像单元(相机)101中捕获图像时的参数，例如，诸如快门速度和模拟增益之类的参数。
另外，在步骤S303中，图像信号处理器(ISP)102对RAW图像执行图像信号处理。例如，执行生成彩色图像(例如，RGB图像)的处理，诸如去马赛克处理和白平衡调整处理。
在步骤S304中，参数获取单元104获取应用于图像信号处理器102中的图像信号处理的信号处理参数，例如，诸如数字增益、白平衡(AWB)控制值和高动态范围(HDR)控制值之类的参数。
步骤S305是在图像分析单元103中使用RGB图像的图像分析处理。例如，执行检测人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
(步骤S306和S307)
步骤S306和S307是基于由图像分析单元103生成的图像分析结果124确定RAW图像向服务器的发送必要性的步骤，其由图7中所示的发送必要性判定单元202执行。
发送必要性判定单元202输入由图像分析单元103生成的图像分析结果124。如参考图8所述，图像分析结果124包括分析结果数据，例如，
(1)识别结果置信度
(2)识别类。
发送必要性判定单元202基于由图像分析单元103生成的图像分析结果124来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。如参考图8所述，例如，在识别结果置信度低于阈值的情况下、在难以确定识别类的情况下，或在识别类为罕见类的情况下，将RAW图像和参数发送到服务器20，从而服务器20基于RAW图像执行图像分析。
(步骤S308)
在发送必要性判定单元202在步骤S307中确定发送是必要的情况下，处理前进行到步骤S308。在步骤S308中，发送单元106获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例3中，类似于上述实施例1和2，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
注意的是，作为实施例3的修改示例，例如，如图10中所示的配置也是可能的。
图10中所示的图像处理设备100具有以下配置，其中参数获取单元104仅从图像信号处理器102获取信号处理参数122。即，省略了从成像单元101获取成像参数。
在图10所示的配置中，仅由参数获取单元104获取的信号处理参数122与RAW图像111一起被发送到服务器20。
注意的是，作为反向配置，参数获取单元104仅从成像单元101获取成像参数并且仅将成像参数与RAW图像111一起发送到服务器20的配置也是可能的。
(2-4.(实施例4)基于设备信息执行RAW图像的发送必要性判定的实施例)
接下来，作为本公开的图像处理设备的实施例4，将参考图11和后续附图描述基于设备信息执行RAW图像的发送必要性判定的实施例。
将参考图11描述实施例4的图像处理设备100的配置示例。
图11中所示的图像处理设备100具有与上述图2中所示的(实施例1)图像处理设备100基本上相同的配置。不同之处在于，删除了图2中所示的发送定时控制单元107，并且添加了设备信息获取单元203和发送必要性判定单元204。
由于其它配置相似，因此将省略其描述，并且将仅描述与实施例1的不同之处。
设备信息获取单元203获取要应用于RAW图像的发送必要性判定的图像处理设备100的各种设备信息125，并且将设备信息125输出到发送必要性判定单元204。发送必要性判定单元204基于由设备信息获取单元203获取的设备信息125来确定是否有必要将RAW图像111以及成像和信号处理参数123发送到服务器20。
将参考图12描述由设备信息获取单元203获取的设备信息125的示例。
如图12中所示，由设备信息获取单元203获取的设备信息125包括例如以下信息。
(1)总线中流动的信息
(2)成像元件中的缺陷像素的数量
(3)信号处理器等的异常检测信息
(1)在总线中流动的信息是在图像处理设备100中的总线中流动的信息。除了用于正常数据处理的数据之外，例如，由连接到总线的每个组件输出的错误消息(诸如故障信息等)也在总线中流动。
错误消息被输入到例如执行图像处理设备100的控制的控制单元，并且，在控制单元的控制下，进行测量以减小错误(诸如错误修复处理或临时数据处理中止)的影响。
例如，在由设备信息获取单元203获取的在总线中流动的信息中包括错误消息(诸如故障信息)的情况下，发送必要性判定单元204确定图像处理设备100中的图像分析可能无法正确执行，并确定有必要将RAW图像发送到服务器20，以使服务器20基于RAW图像执行高精度的分析。
(2)成像元件的缺陷像素的数量是图像处理设备100的成像单元(相机)101的成像元件(图像传感器)的缺陷像素的数量。缺陷像素的数量被记录在图像处理设备100的存储器中并被更新。设备信息获取单元203获取这个信息，并将这个信息输出到发送必要性判定单元204。发送必要性判定单元204将预定阈值与缺陷像素的数量进行比较，并且在缺陷像素的数量等于或大于阈值的情况下，发送必要性判定单元204确定图像处理设备100中的图像分析可能无法正确执行，并且确定有必要将RAW图像发送到服务器20，以便使服务器20基于RAW图像执行高精度的分析。
(3)信号处理器等的异常检测信息例如是内置测试(Built in Test)等的检查结果信息，该内置测试是在每个数据处理器(例如图像信号处理器102)中执行的检查处理，具体而言，基于测试数据检查处理。在每个数据处理器中执行这个检查结果，并将结果信息记录在图像处理设备100的存储器中。设备信息获取单元203获取这个信息，并将这个信息输出到发送必要性判定单元204。在检查结果信息中包括异常检测信息的情况下，发送必要性判定单元204确定图像处理设备100中的图像分析可能没有正确执行，并且确定有必要将RAW图像发送到服务器20，以使服务器20基于RAW图像执行高精度的分析。
发送必要性判定单元204中的判定结果，即关于是否需要将RAW图像和参数发送至服务器20的信息被输出至发送单元106。
仅在从发送必要性判定单元202输入了指示发送是必要的判定结果的情况下，发送单元106才获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例4中，发送必要性判定单元204基于由设备信息获取单元203获取的设备信息125来确定是否应当在服务器20中执行基于RAW图像的分析，并且仅在确定应当执行基于RAW图像的分析的情况下才向服务器20发送RAW图像111以及成像和信号处理参数123。
在实施例4中，类似于上述实施例1和2，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
接下来，将参考图13中所示的流程图描述实施例4的处理序列。
注意的是，根据图13所示的流程的处理可以根据例如存储在图像处理设备100的存储单元中的程序来执行，并且例如在具有程序执行功能的控制单元(诸如CPU)的控制下执行。在下文中，将依次描述图13中所示的流程的每个步骤的处理。
(步骤S401至S405)
步骤S401至S405的处理与在实施例1中描述的图3中所示的流程的步骤S101至S105的处理类似，将对其进行简要描述。
首先，在步骤S401中获取RAW图像。
获取作为来自图11所示的成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像。
接下来，在步骤S402中，参数获取单元104获取在成像单元(相机)101中捕获图像时的参数，例如，诸如快门速度和模拟增益之类的参数。
另外，在步骤S403中，图像信号处理器(ISP)102对RAW图像执行图像信号处理。例如，执行生成彩色图像(例如，RGB图像)的处理，诸如去马赛克处理和白平衡调整处理。
在步骤S404中，参数获取单元104获取应用于图像信号处理器102中的图像信号处理的信号处理参数，例如，诸如数字增益、白平衡(AWB)控制值和高动态范围(HDR)控制值之类的参数。
步骤S405是在图像分析单元103中使用RGB图像的图像分析处理。例如，执行检测人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
(步骤S406和S407)
步骤S406和S407是由图11中所示的设备信息获取单元203和发送必要性判定单元204执行的处理，以及基于由设备信息获取单元203获取的设备信息125来确定RAW图像向服务器的发送必要性的步骤。
例如，如参考图12所述，图11中所示的设备信息获取单元203获取信息，并将该信息输出到发送必要性判定单元204，并且该信息如下：
(1)总线中流动的信息
(2)成像元件中的缺陷像素的数量
(3)信号处理器等的异常检测信息
发送必要性判定单元204基于设备信息确定是否有必要向服务器20发送RAW图像111以及成像和信号处理参数123。如参考图12所述，例如，在总线中流动的信息中包括错误信息的情况下、在成像元件的缺陷像素的数量等于或大于阈值的情况下，或者在从信号处理器等检测到异常检测信息的情况下，将RAW图像和参数发送到服务器20，以使服务器20基于RAW图像执行图像分析。
(步骤S408)
在发送必要性判定单元204在步骤S407中确定发送是必要的情况下，处理前进到步骤S408。在步骤S408中，发送单元106获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例4中，类似于上述实施例1至3，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
(2-5.(实施例5)在服务器上基于彩色图像分析结果执行RAW图像的发送必要性判定的实施例)
接下来，作为本公开的图像处理设备的实施例5，将参考图14和后续附图描述基于服务器中基于彩色图像(诸如RGB图像)的分析结果执行RAW图像的发送必要性判定的实施例。
将参考图14和图15描述实施例5的图像处理设备100的配置示例。
图14和图15是用于描述实施例5的图像处理设备100的两个阶段的处理的图。该配置本身与图14和图15两者中的配置相同。
图14是用于描述图像处理设备100将RGB图像112发送到服务器20的阶段的图。
图15是用于描述图像处理设备100随后将RAW图像111以及成像和信号处理参数123发送到服务器20的阶段的图。
图14和图15中所示的图像处理设备100具有与如上面(实施例1)所述的图2中图示的图像处理设备100基本上类似的配置。不同之处在于，删除了图2中所示的发送定时控制单元107，并且添加了用作发送必要性判定单元的发送必要性判定信息接收单元205。
由于其它配置相似，因此将省略其描述，并且将仅描述与实施例1的不同之处。
发送必要性判定信息接收单元205从服务器20接收RAW图像的发送必要性判定信息126。
即，在实施例5中，服务器20执行RAW图像的发送必要性判定处理。如图14中所示，首先，图像处理设备100将由图像信号处理器(ISP)102生成的RGB图像112经由发送单元106发送到服务器20。
服务器20执行从图像处理设备100接收到的RGB图像112的图像分析处理。
图14中所示的服务器20中的RGB图像分析单元281执行从图像处理设备100接收的RGB图像112的图像分析处理。分析结果被输入到RAW图像发送必要性判定单元282，并且基于RGB图像分析结果来确定RAW图像的发送必要性。例如，在RGB图像分析结果中没有不清楚的部分并且获得足够的分析结果的情况下，不必对RAW图像进行分析，并且确定RAW图像的发送是不必要的。另一方面，在RGB图像分析结果中存在不清楚的部分的情况下，对RAW图像进行分析是必要的，并且确定有必要发送RAW图像。
作为RAW图像发送必要性判定单元282的判定结果的发送必要性判定信息126经由发送必要性判定信息通知单元283被通知给图像处理设备100的发送必要性判定信息接收单元205。
到此为止的处理在图14中示出。
在图像处理设备100的发送必要性判定信息接收单元205从服务器20接收到的发送必要性判定信息126是指示RAW图像的“发送不必要”的信息的情况下，不执行RAW图像从图像处理设备100到服务器20的发送。
另一方面，在图像处理设备100的发送必要性判定信息接收单元205从服务器20接收到的发送必要性判定信息126是指示RAW图像的“发送必要”的信息的情况下，执行RAW图像从图像处理设备100到服务器20的发送。图15是用于描述其中RAW图像从图像处理设备100发送到服务器20的阶段的图。
如图15中所示，从服务器20向图像处理设备100的发送必要性判定信息接收部分205输入发送必要性判定信息126。
在发送必要性判定信息接收单元205接收到发送必要性判定信息126的情况下，发送必要性判定信息接收单元205将发送必要性判定信息126输出到发送单元106。
仅在发送必要性判定信息126是指示RAW图像的发送是必要的信息的情况下，发送单元106才获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例5中，服务器20基于服务器20中的RGB图像分析结果来确定RAW图像的传送和分析是否是必要的，并且图像处理设备100根据判定结果来决定是否执行RAW图像的发送。仅在服务器20确定应当执行基于RAW图像的分析的情况下，图像处理设备100才将RAW图像111以及成像和信号处理参数123发送到服务器20。
在实施例5中，类似于上述实施例1至4，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
接下来，将参考图16中所示的流程图描述实施例5的处理序列。
注意的是，根据图16所示的流程的处理可以根据例如存储在图像处理设备100的存储单元中的程序来执行，并且例如在具有程序执行功能的控制单元(诸如CPU)的控制下执行。在下文中，将依次描述图16中所示的流程的每个步骤的处理。
(步骤S501至S505)
步骤S501至S505的处理与在实施例1中描述的图3中所示的流程的步骤S101至S105的处理类似，将对其进行简要描述。
首先，在步骤S501中获取RAW图像。
获取作为来自图14和图15所示的成像单元(相机)101的成像元件(图像传感器)的输出的RAW图像。
接下来，在步骤S502中，参数获取单元104获取在成像单元(相机)101中捕获图像时的参数，例如，诸如快门速度和模拟增益之类的参数。
另外，在步骤S503中，图像信号处理器(ISP)102对RAW图像执行图像信号处理。例如，执行生成彩色图像(例如，RGB图像)的处理，诸如去马赛克处理和白平衡调整处理。
在步骤S504中，参数获取单元104获取应用于图像信号处理器102中的图像信号处理的信号处理参数，例如，诸如数字增益、白平衡(AWB)控制值和高动态范围(HDR)控制值之类的参数。
步骤S505是在图像分析单元103中使用RGB图像的图像分析处理。例如，执行检测人、障碍物等的处理。由图像分析单元103生成的RGB图像分析结果被输出到输出单元(显示单元)等(未示出)。例如，在检测到人的情况下，执行警告显示，诸如在人区域中显示检测框。
(步骤S506)
步骤S506是RGB图像的发送处理步骤。这是将由图14中所示的图像信号处理器(ISP)102生成的RGB图像112经由发送单元106发送到服务器20的步骤。
(步骤S507和S508)
步骤S507和S508是由图14中所示的图像处理设备100的发送必要性判定信息接收单元205执行的处理。发送必要性判定信息接收单元205基于从服务器20接收到的发送必要性判定信息126来确定RAW图像的发送必要性。
在发送必要性判定信息接收单元205从服务器20接收到的发送必要性判定信息126是指示RAW图像的“发送必要”的信息的情况下，执行RAW图像从图像处理设备100向服务器20的发送。另一方面，在从服务器20接收到的发送必要性判定信息126是指示RAW图像的“发送不必要”的信息的情况下，不执行RAW图像从图像处理设备100到服务器20的发送。
(步骤S509)
在步骤S508中，在发送必要性判定信息接收单元205基于从服务器20接收到的发送必要性判定信息126确定发送是必要的情况下，处理前进到步骤S509。在步骤S509中，发送单元106获取存储在发送缓冲器105中的RAW图像111以及成像和信号处理参数123并将其发送到服务器20。
在实施例5中，类似于上述实施例1至4，有选择地执行RAW图像的发送处理，并且有可能在不造成过度使用汽车侧的处理负载或传送带宽的情况下执行平滑的处理，而不会造成数据传送延迟和处理延迟。
虽然上面已经描述了多个实施例，但是这多个实施例不限于各个实施例的配置，并且可以采用组合任意多个实施例的配置。
[3.关于图像处理设备的硬件配置示例]
图17是图示执行上述处理的图像处理设备100的硬件配置的示例的图。
中央处理单元(CPU)301用作数据处理器，其根据存储在只读存储器(ROM)302或存储单元308中的程序执行各种处理。例如，执行根据上述实施例中描述的序列的处理。随机存取存储器(RAM)303存储由CPU 301执行的程序、数据等。这些CPU 301、ROM302和RAM 303通过总线304彼此连接。
CPU 301经由总线304连接到输入/输出接口305，并且包括各种开关、键盘、触摸面板、鼠标、麦克风还有状态数据获取单元(诸如传感器、相机和GPS)的输入单元306以及包括显示器、扬声器等的输出单元307连接到输入/输出接口305。
注意的是，来自相机321和传感器322(诸如距离传感器)的输入信息也被输入到输入单元306。
CPU 301输入从输入单元306输入的命令、状态数据等，执行各种处理，并且将处理结果输出到例如输出单元307。
连接到输入/输出接口305的存储单元308包括例如硬盘等，并且存储由CPU 301执行的程序和各种数据。通信单元309用作用于经由诸如互联网或局域网之类的网络进行数据通信的发送/接收单元，并且与外部设备通信。
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器(诸如存储卡)之类的可移动介质311，并执行数据的记录或读取。
注意的是，作为服务器20的硬件配置，例如，可以应用从图17所示的配置中省略相机321和传感器322(诸如距离传感器)的配置。
[4.本公开的配置的摘要]
上面已经参考具体实施例详细描述了本公开的实施例。但是，显然，本领域技术人员可以在不脱离本公开的范围的情况下修改或替代实施例。即，已经以示例的形式公开了本发明，并且不应当限制性地解释本发明。为了确定本公开的范围，应当考虑权利要求。
注意的是，本说明书中公开的技术可以具有以下配置。
(1)一种图像处理设备，包括：
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像。
(2)根据(1)所述的图像处理设备，
其中发送必要性判定单元执行发送定时控制，使得以预定时间周期或帧周期单位执行RAW图像向外部服务器的发送处理。
(3)根据(1)或(2)所述的图像处理设备，
其中发送必要性判定单元基于RAW图像的成像参数或由图像信号处理器应用到RAW图像的信号处理参数中的至少任意参数来决定是否需要将RAW图像向外部服务器发送。
(4)根据(3)所述的图像处理设备，
其中成像参数和信号处理参数包括快门速度、模拟增益、数字增益、白平衡控制值或高动态范围控制值中的至少任意一个。
(5)根据(1)至(4)中的任一项所述的图像处理设备，
其中发送必要性判定单元基于图像分析单元中的分析结果信息来决定是否需要将RAW图像向外部服务器发送。
(6)根据(5)所述的图像处理设备，
其中图像分析单元中的分析结果信息包括与从彩色图像中检测到的物体对应的识别结果置信度或识别类的至少任意信息。
(7)根据(1)至(6)中的任一项所述的图像处理设备，
其中发送必要性判定单元基于图像处理设备的设备信息来决定是否需要将RAW图像向外部服务器发送。
(8)根据(7)所述的图像处理设备，
其中设备信息包括在图像处理设备的总线中流动的信息、成像元件的缺陷像素的数量或图像处理设备的异常检测信息中的至少任意信息。
(9)根据(1)至(8)中的任一项所述的图像处理设备，
其中发送必要性判定单元基于从服务器输入的RAW图像发送必要性判定信息来决定是否需要将RAW图像向外部服务器发送。
(10)根据(9)所述的图像处理设备，
其中从服务器输入的RAW图像发送必要性判定信息是基于服务器关于从图像处理设备发送到服务器的彩色图像的分析结果的判定信息。
(11)根据(1)至(10)中的任一项所述的图像处理设备，
其中发送必要性判定单元决定是否将RAW图像的成像参数或由图像信号处理器应用到RAW图像的信号处理参数中的至少任意参数与RAW图像一起发送到外部服务器。
(12)根据(1)至(11)中的任一项所述的图像处理设备，
其中发送单元将RAW图像的成像参数或由图像信号处理器应用于RAW图像的信号处理参数中的至少任意参数与RAW图像一起发送到外部服务器。
(13)一种移动设备，包括：
成像单元，其安装在移动设备上；
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像。
(14)根据(13)所述的移动设备，
其中发送必要性判定单元执行发送定时控制处理，使得以预定时间周期或帧周期单位执行RAW图像向外部服务器的发送处理。
(15)根据(13)或(14)所述的移动设备，
其中发送必要性判定单元基于以下信息中的至少任意信息来决定是否需要将RAW图像向外部服务器发送：
RAW图像的成像参数或由图像信号处理器应用到RAW图像的信号处理参数中的至少任意参数，
图像分析单元中的分析结果信息，或者
图像处理设备的设备信息，或者
从服务器输入的RAW图像发送必要性判定信息。
(16)一种图像处理系统，包括：
图像处理设备；以及
服务器，
其中图像处理设备包括
图像信号处理器，其对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，其对由图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，其决定是否要将RAW图像发送到外部服务器；以及
发送单元，其根据发送必要性判定单元的判定结果向外部服务器发送RAW图像，并且
服务器从图像处理设备接收RAW图像并执行RAW图像的分析处理。
(17)一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：
图像信号处理步骤，由图像信号处理器对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析步骤，由图像分析单元对在图像信号处理步骤中生成的彩色图像执行分析处理；
发送必要性判定步骤，由发送必要性判定单元决定是否要将RAW图像发送到外部服务器；以及
发送步骤，使发送单元根据发送必要性判定步骤的判定结果向外部服务器发送RAW图像。
(18)一种使得图像处理设备执行图像处理的程序，该程序使得：
图像信号处理器执行对作为成像单元的成像元件的输出的RAW图像执行信号处理并生成彩色图像的图像信号处理步骤；
图像分析单元执行对在图像信号处理步骤中生成的彩色图像执行分析处理的图像分析步骤；
发送必要性判定单元执行决定是否要将RAW图像发送到外部服务器的发送必要性判定步骤；以及
发送单元执行根据发送必要性判定步骤的判定结果向外部服务器发送RAW图像的发送步骤。
另外，说明书中描述的一系列处理可以由硬件、软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下，可以通过将其中记录有处理序列的程序安装在专用硬件中结合的计算机的存储器中来执行该程序，或者可以通过将其安装在能够执行各种处理的通用计算机中来执行该程序。例如，程序可以预先记录在记录介质中。除了从记录介质在计算机中安装程序之外，还可以通过经由诸如局域网(LAN)或互联网之类的网络接收程序而将程序安装在诸如内置硬盘之类的记录介质中。
注意的是，说明书中描述的各种处理不仅可以根据描述按时间顺序执行，而且还可以根据执行处理的设备的处理能力或根据需要并行或单独地执行。另外，在本说明书中，系统是多个设备的逻辑集合配置，并且不限于其中相应配置的设备在同一壳体中的系统。
工业适用性
如上所述，根据本公开的一个实施例的配置，例如，在要求高精度的图像分析的情况下，实现了其中仅选择根据指定条件选择的RAW图像并将其发送到服务器的配置。
具体而言，例如，提供了安装在移动设备上的成像单元、通过对作为成像单元的成像元件的输出的RAW图像进行信号处理而生成彩色图像的图像信号处理器、执行彩色图像的分析处理的图像分析单元、确定RAW图像向服务器的发送必要性的发送必要性判定单元，以及根据判定结果将RAW图像发送到外部服务器的发送单元。发送必要性判定单元基于以恒定周期进行的发送定时控制、成像和信号处理参数、图像分析结果、设备信息等来决定RAW图像的发送必要性。
利用该配置，例如，在要求高精度的图像分析的情况下，实现了其中仅选择根据指定条件选择的RAW图像并将其发送到服务器的配置。
附图标记列表
10 汽车
11 相机
12 图像信号处理器(ISP)
13 图像分析单元
20 服务器
21 图像分析单元
22 学习处理器
23 学习数据存储单元
30 网络
100 图像处理设备
101 成像单元(相机)
102 图像信号处理器(ISP)
103 图像分析单元
104 参数获取单元
105 发送缓冲器
106 发送单元
107 发送定时控制单元
201 发送必要性判定单元
202 发送必要性判定单元
203 设备信息获取单元
204 发送必要性判定单元
205 发送必要性判定信息接收单元
281 RGB图像分析单元
282 RAW图像发送必要性判定单元
283 发送必要性判定信息通知单元
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入单元
307 输出单元
308 存储单元
309 通信单元
310 驱动器
311 可移动介质
321 相机
322 传感器

Claims (18)

1.一种图像处理设备，包括：
图像信号处理器，所述图像信号处理器对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，所述图像分析单元对由所述图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，所述发送必要性判定单元决定是否要将所述RAW图像发送到外部服务器；以及
发送单元，所述发送单元根据所述发送必要性判定单元的判定结果向外部服务器发送所述RAW图像。
2.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元执行发送定时控制，使得以预定时间周期或帧周期单位执行所述RAW图像向所述外部服务器的发送处理。
3.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元基于所述RAW图像的成像参数或由所述图像信号处理器应用到所述RAW图像的信号处理参数中的至少任意参数来决定是否需要将所述RAW图像向所述外部服务器发送。
4.根据权利要求3所述的图像处理设备，
其中所述成像参数和所述信号处理参数包括快门速度、模拟增益、数字增益、白平衡控制值或高动态范围控制值中的至少任意一个。
5.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元基于所述图像分析单元中的分析结果信息来决定是否需要将所述RAW图像向所述外部服务器发送。
6.根据权利要求5所述的图像处理设备，
其中所述图像分析单元中的分析结果信息包括与从所述彩色图像中检测到的物体对应的识别结果置信度或识别类的至少任意信息。
7.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元基于所述图像处理设备的设备信息来决定是否需要将所述RAW图像向所述外部服务器发送。
8.根据权利要求7所述的图像处理设备，
其中所述设备信息包括在所述图像处理设备的总线中流动的信息、所述成像元件的缺陷像素的数量、所述图像处理设备的异常检测信息中的至少任意信息。
9.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元基于从所述服务器输入的RAW图像发送必要性判定信息来决定是否需要将所述RAW图像向所述外部服务器发送。
10.根据权利要求9所述的图像处理设备，
其中从所述服务器输入的RAW图像发送必要性判定信息是基于所述服务器关于从所述图像处理设备发送到所述服务器的彩色图像的分析结果的判定信息。
11.根据权利要求1所述的图像处理设备，
其中所述发送必要性判定单元决定是否要将所述RAW图像的成像参数或由所述图像信号处理器应用到所述RAW图像的信号处理参数中的至少任意参数与所述RAW图像一起发送到所述外部服务器。
12.根据权利要求1所述的图像处理设备，
其中所述发送单元将所述RAW图像的成像参数或由所述图像信号处理器应用到所述RAW图像的信号处理参数中的至少任意参数与所述RAW图像一起发送到所述外部服务器。
13.一种移动设备，包括：
成像单元，所述成像单元安装在所述移动设备上；
图像信号处理器，所述图像信号处理器对作为所述成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，所述图像分析单元对由所述图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，所述发送必要性判定单元决定是否要将所述RAW图像发送到外部服务器；以及
发送单元，所述发送单元根据所述发送必要性判定单元的判定结果向所述外部服务器发送所述RAW图像。
14.根据权利要求13所述的移动设备，
其中所述发送必要性判定单元执行发送定时控制处理，使得以预定时间周期或帧周期单位执行所述RAW图像向所述外部服务器的发送处理。
15.根据权利要求13所述的移动设备，
其中所述发送必要性判定单元基于以下信息中的至少任意信息来决定是否需要将所述RAW图像向所述外部服务器发送：
所述RAW图像的成像参数或由所述图像信号处理器应用到所述RAW图像的信号处理参数中的至少任意参数，
所述图像分析单元中的分析结果信息，或者
所述图像处理设备的设备信息，或者
从所述服务器输入的RAW图像发送必要性判定信息。
16.一种图像处理系统，包括：
图像处理设备；以及
服务器，
其中所述图像处理设备包括
图像信号处理器，所述图像信号处理器对作为所述成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析单元，所述图像分析单元对由所述图像信号处理器生成的彩色图像执行分析处理；
发送必要性判定单元，所述发送必要性判定单元决定是否要将所述RAW图像发送到外部服务器；以及
发送单元，所述发送单元根据所述发送必要性判定单元的判定结果向所述外部服务器发送所述RAW图像，以及
所述服务器从所述图像处理设备接收所述RAW图像并执行所述RAW图像的分析处理。
17.一种在图像处理设备中执行的图像处理方法，所述图像处理方法包括：
图像信号处理步骤，由图像信号处理器对作为成像单元的成像元件的输出的RAW图像执行信号处理，并生成彩色图像；
图像分析步骤，由图像分析单元对在所述图像信号处理步骤中生成的彩色图像执行分析处理；
发送必要性判定步骤，由发送必要性判定单元决定是否要将所述RAW图像发送到外部服务器；以及
发送步骤，由发送单元根据所述发送必要性判定步骤的判定结果向所述外部服务器发送所述RAW图像。
18.一种使得图像处理设备执行图像处理的程序，所述程序使得：
图像信号处理器执行对作为成像单元的成像元件的输出的RAW图像执行信号处理并生成彩色图像的图像信号处理步骤；
图像分析单元执行对在所述图像信号处理步骤中生成的彩色图像执行分析处理的图像分析步骤；
发送必要性判定单元执行决定是否要将所述RAW图像发送到外部服务器的发送必要性判定步骤；以及
发送单元执行根据所述发送必要性判定步骤的判定结果向所述外部服务器发送所述RAW图像的发送步骤。
CN201980041155.0A 2018-06-25 2019-05-10 图像处理设备、移动设备、方法和存储介质 Active CN112292847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-120202 2018-06-25
JP2018120202 2018-06-25
PCT/JP2019/018771 WO2020003764A1 (ja) 2018-06-25 2019-05-10 画像処理装置、移動装置、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN112292847A true CN112292847A (zh) 2021-01-29
CN112292847B CN112292847B (zh) 2023-07-28

Family

ID=68984769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041155.0A Active CN112292847B (zh) 2018-06-25 2019-05-10 图像处理设备、移动设备、方法和存储介质

Country Status (6)

Country Link
US (1) US11917335B2 (zh)
EP (1) EP3813354A4 (zh)
JP (1) JP7384158B2 (zh)
KR (1) KR20210023859A (zh)
CN (1) CN112292847B (zh)
WO (1) WO2020003764A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845035A (zh) * 2021-01-30 2022-08-02 华为技术有限公司 一种分布式拍摄方法，电子设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022187301A (ja) * 2021-06-07 2022-12-19 キヤノン株式会社 撮像装置、制御方法、プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020092029A1 (en) * 2000-10-19 2002-07-11 Smith Edwin Derek Dynamic image provisioning
CN1533535A (zh) * 2002-05-17 2004-09-29 ������������ʽ���� 信息处理装置、方法、内容分配装置、方法及计算机程序
CN101031050A (zh) * 2006-03-02 2007-09-05 佳能株式会社 图像传输设备和其控制方法
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
JP2016127564A (ja) * 2015-01-08 2016-07-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN106385568A (zh) * 2016-10-26 2017-02-08 合肥润客软件科技有限公司 一种视频监控系统
WO2017038100A1 (ja) * 2015-09-03 2017-03-09 日本電気株式会社 監視サーバ、分散処理決定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN107592549A (zh) * 2017-10-27 2018-01-16 哈尔滨市舍科技有限公司 基于双向通信的全景视频播放拍照系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7430002B2 (en) * 2001-10-03 2008-09-30 Micron Technology, Inc. Digital imaging system and method for adjusting image-capturing parameters using image comparisons
JP2006345319A (ja) * 2005-06-09 2006-12-21 Canon Inc 撮像装置及びその制御方法
JP2009239772A (ja) 2008-03-28 2009-10-15 Sony Corp 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
CN102387287B (zh) * 2010-08-31 2014-07-23 卡西欧计算机株式会社 图像处理装置、图像处理方法以及图像处理系统
KR102173107B1 (ko) * 2013-12-11 2020-11-02 삼성전자주식회사 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템
CN105472312A (zh) * 2014-08-19 2016-04-06 北京奇虎科技有限公司 智能摄像系统的报警方法、智能摄像系统和网络摄像头
JP6406949B2 (ja) 2014-09-12 2018-10-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP6676948B2 (ja) 2015-12-14 2020-04-08 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US10942031B2 (en) * 2016-06-10 2021-03-09 Pioneer Corporation Information processing device, measurement device and control method
EP3637391A4 (en) 2017-06-07 2021-03-03 Pioneer Corporation INFORMATION PROCESSING DEVICE

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020092029A1 (en) * 2000-10-19 2002-07-11 Smith Edwin Derek Dynamic image provisioning
CN1533535A (zh) * 2002-05-17 2004-09-29 ������������ʽ���� 信息处理装置、方法、内容分配装置、方法及计算机程序
CN101031050A (zh) * 2006-03-02 2007-09-05 佳能株式会社 图像传输设备和其控制方法
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
JP2016127564A (ja) * 2015-01-08 2016-07-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
WO2017038100A1 (ja) * 2015-09-03 2017-03-09 日本電気株式会社 監視サーバ、分散処理決定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN106385568A (zh) * 2016-10-26 2017-02-08 合肥润客软件科技有限公司 一种视频监控系统
CN107592549A (zh) * 2017-10-27 2018-01-16 哈尔滨市舍科技有限公司 基于双向通信的全景视频播放拍照系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘浩森: "《基于H.264远程视频监控系统研究》", 《电子世界》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845035A (zh) * 2021-01-30 2022-08-02 华为技术有限公司 一种分布式拍摄方法，电子设备及介质
CN114845035B (zh) * 2021-01-30 2024-04-26 华为技术有限公司 一种分布式拍摄方法，电子设备及介质

Also Published As

Publication number Publication date
KR20210023859A (ko) 2021-03-04
EP3813354A4 (en) 2021-07-28
US11917335B2 (en) 2024-02-27
EP3813354A1 (en) 2021-04-28
JPWO2020003764A1 (ja) 2021-08-12
CN112292847B (zh) 2023-07-28
WO2020003764A1 (ja) 2020-01-02
JP7384158B2 (ja) 2023-11-21
US20210264638A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN112106345B (zh) 立体摄像装置
US20160007018A1 (en) Failure detection apparatus and failure detection program
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
CN112292847B (zh) 图像处理设备、移动设备、方法和存储介质
US10909365B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP4696991B2 (ja) 動き検出方法および動き検出装置
US11948363B2 (en) Person detection device and person detection method
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
US20150379364A1 (en) Object detection apparatus
US20210089818A1 (en) Deposit detection device and deposit detection method
CN115428043A (zh) 图像识别装置及图像识别方法
EP3009983A1 (en) Obstacle detection apparatus and method
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
EP3992906A1 (en) Information processing method and information processing system
US11887396B2 (en) Method for identifying a hand pose in a vehicle
US11157755B2 (en) Image processing apparatus
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
EP4270357A1 (en) Image processing device, image processing method, and program
CN112334944B (zh) 摄像机装置的标志识别方法及标志识别装置
EP4258243A1 (en) Image processing device, image processing method, and program
CN117670770A (zh) 汽车车身配置件的检测方法、系统、电子设备及存储介质
CN111445538A (zh) 识别红外发射模块的工作状态的方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant