CN111201787B - 成像装置、图像处理装置和图像处理方法 - Google Patents

成像装置、图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN111201787B
CN111201787B CN201880065676.5A CN201880065676A CN111201787B CN 111201787 B CN111201787 B CN 111201787B CN 201880065676 A CN201880065676 A CN 201880065676A CN 111201787 B CN111201787 B CN 111201787B
Authority
CN
China
Prior art keywords
area
unit
forwarding
image
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065676.5A
Other languages
English (en)
Other versions
CN111201787A (zh
Inventor
粟井昌一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111201787A publication Critical patent/CN111201787A/zh
Application granted granted Critical
Publication of CN111201787B publication Critical patent/CN111201787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本技术涉及能够减少图像的转发量的成像装置、图像处理装置和图像处理方法。该成像装置设置有：成像单元，其拍摄物体图像的照片；以及发送控制单元，其执行发送控制，用于以针对多个转发区域中的每一个转发区域设置的帧速率在该转发区域中发送区域图像，该多个转发区域是作为物体图像的整个区域或部分区域。本发明可以应用于对例如拍摄移动体的周围环境进行拍摄的相机，诸如对执行自动驾驶的车辆的周围环境进行拍摄的相机。

Description

成像装置、图像处理装置和图像处理方法
技术领域
本发明涉及成像装置、图像处理装置和图像处理方法，并且更具体地涉及可以减少图像的转发量的成像装置、图像处理装置和图像处理方法。
背景技术
假设执行自动驾驶的车辆设有大量成像装置，以便准确且详细地识别周围情况。
同时，近年来，提高了成像装置的分辨率和帧速率，并且正在研究用于提高处理速度和增加数据量的措施(例如，参见专利文献1)。
引文列表
专利文件
专利文献1：日本专利申请特许公开No.2006-197194
发明内容
本发明要解决的问题
因此，预测将来将进一步增加由每个成像装置成像的图像的数据量，并且将进一步增加用于图像转发的总线等所需的容量和转发速率。
鉴于这样的情况而做出了本技术，并且本技术旨在能够减少图像的转发量。
问题解决方案
根据本技术的第一方面的成像装置包括：成像单元，其执行成像以获得捕获图像；以及发送控制单元，其执行发送控制：以针对每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像。
在根据本技术的第一方面的图像处理方法中，成像装置执行成像以获得捕获图像，并且执行发送控制以针对每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像。
根据本技术的第二方面的图像处理装置包括：区域设置单元，其基于捕获图像内的物体或特征点中的至少一个来设置多个转发区域，该多个转发区域与由成像装置进行成像的捕获图像的整个区域或部分区域对应；帧速率设置单元，其设置每一个转发区域的帧速率；发送控制单元，其控制区域设置信息向成像装置的发送，该区域设置信息与每一个转发区域和每一个转发区域的帧速率相关；以及接收控制单元，其控制以基于区域设置信息的帧速率从成像装置发送来的每一个转发区域内的区域图像的接收。
在根据本技术的第二方面的图像处理方法中，图像处理装置基于捕获图像内的物体或特征点中的至少一个来设置与由成像装置进行成像的捕获图像的整个区域或部分区域对应的多个转发区域，设置每一个转发区域的帧速率，控制与每一个转发区域和每一个转发区域的帧速率相关的区域设置信息向成像装置的发送，以及控制以基于区域设置信息的帧速率从成像装置发送来的每一个转发区域内的区域图像的接收。
在本技术的第一方面，对捕获图像进行成像，并且以针对每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像。
在本技术的第二方面，基于捕获图像内的物体或特征点中的至少一个来设置与由成像装置进行成像的捕获图像的整个区域或部分区域对应的多个转发区域，设置每一个转发区域的帧速率，将与每一个转发区域和每一个转发区域的帧速率相关的区域设置信息发送到成像装置，并且接收以基于区域设置信息的帧速率从成像装置发送的每一个转发区域内的区域图像。
发明效果
根据本技术的第一方面或第二方面，可以减少图像的转发量。
要注意的是，本技术具有的效果不必限于本文描述的效果，而是可以具有本公开中描述的任何效果。
附图说明
图1是图示可以对其应用本技术的车辆控制系统的一般功能的配置示例的框图。
图2是图示对其应用本技术的车外信息检测系统的实施例的框图。
图3是图示由相机的控制单元实现的功能的配置示例的框图。
图4是图示由主机的控制单元实现的功能的配置示例的框图。
图5是用于解释主机处理的第一实施例的流程图。
图6是示意性图示周围图像的示例的图。
图7是图示特征点和转发区域的示例的图。
图8是用于解释设置转发区域的帧速率的方法的示例的图。
图9是用于解释相机处理的流程图。
图10是图示转发数据的配置示例的图。
图11是用于解释主机处理的第二实施例的流程图。
图12是图示计算机的配置示例的图。
具体实施方式
下面将描述用于执行本技术的模式。将按照以下次序进行描述。
1.车辆控制系统的配置示例
2.第一实施例
3.第二实施例
4.变化例
5.其它
<<1.车辆控制系统的配置示例>>
图1是图示车辆控制系统100的一般功能的配置示例的框图，该车辆控制系统100是可以对其应用本技术的移动体控制系统的示例。
车辆控制系统100是设置在车辆10中并执行车辆10的各种控制的系统。要注意的是，在下文中在车辆10要与另一个车辆区分开的情况下，车辆10将被称为系统的车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108，车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制器112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制器112经由通信网络121连接到彼此。通信网络121包括符合任意标准(例如，诸如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标))的车载通信网络、总线等。要注意的是，在一些情况下，车辆控制系统100的单元在没有通信网络121的情况下直接连接。
要注意的是，在下文中，在车辆控制系统100的单元经由通信网络121执行通信的情况下，将不提及通信网络121。例如，在输入单元101和自动驾驶控制器112经由通信网络121执行通信的情况下，将简单地描述输入单元101和自动驾驶控制器112执行通信。
输入单元101包括乘员用来输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关、操纵杆之类的操作设备，以及通过除手动操作以外的方法(诸如通过语音或手势等)来进行输入的操作设备。替代地，例如，输入单元101可以是使用红外线或其它无线电波的遥控设备，或者支持车辆控制系统100的操作的外部连接设备(诸如移动设备或可穿戴设备)。输入单元101基于乘员输入的数据、指令等生成输入信号，并将该输入信号供应到车辆控制系统100的每个单元。
数据获取单元102包括获取用于车辆控制系统100的处理的数据的各种传感器等，并将获取的数据供应给车辆控制系统100的每个单元。
例如，数据获取单元102包括检测车辆10的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)，以及用于检测对油门踏板的操作量、对制动踏板的操作量、方向盘的转向角、发动机速度、电动机速度、车轮的转速等的传感器。
此外，例如，数据获取单元102包括检测车辆10外部的信息的各种传感器。具体而言，例如，数据获取单元102包括成像装置，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机。此外，例如，数据获取单元102包括检测气候或天气等的环境传感器以及检测车辆10周围的物体的周围信息传感器。环境传感器包括例如雨滴传感器、雾传感器、太阳辐射传感器、雪传感器等。周围信息传感器包括例如超声传感器、雷达、光检测和测距、激光成像检测和测距(LiDAR)、声纳等。
此外，例如，数据获取单元102包括检测车辆10的当前位置的各种传感器。具体而言，例如，数据获取单元102包括全球导航卫星系统(GNSS)接收器等，其从GNSS卫星接收GNSS信号。
此外，例如，数据获取单元102包括检测车辆内部的信息的各种传感器。具体而言，例如，数据获取单元102包括对驾驶员进行成像的成像装置、检测驾驶员的生物特征信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上，并检测坐在座位上的乘员或握着方向盘的驾驶员的生物特征信息。
通信单元103与车载设备104以及车辆外部的各种设备、服务器、基站等通信，由此发送从车辆控制系统100的每个单元供应的数据，并将接收到的数据供应给车辆控制系统100的每个单元。要注意的是，通信单元103所支持的通信协议没有特别限制，并且通信单元103也可以支持多种类型的通信协议。
例如，通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载设备104执行无线通信。而且，例如，通信单元103经由未示出的连接端子(如果必要还有电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、移动高清链接(MHL)等与车载设备104执行有线通信。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，互联网、云网络或运营商特定的网络)上的设备(例如，应用服务器或控制服务器)通信。而且，例如，通信单元103使用对等(P2P)技术与在车辆10附近的终端(例如，由行人持有或放置在商店中的终端，或机器类型通信(MTC)终端)通信。而且，例如，通信单元103执行V2X通信，诸如车辆对车辆通信、车辆对基础设施通信、车辆10与家庭之间的通信(车辆对家庭通信)以及车辆对行人通信。而且，例如，通信单元103包括信标接收器，以接收从安装在道路上的无线站等发送的无线电波或电磁波，并获取关于当前位置、交通拥堵、交通管制、所需时间等的信息。
车载设备104包括例如由乘员拥有的移动设备或可穿戴设备、携带或附接在车辆10中的信息设备、搜索到任意目的地的路线的导航设备等。
输出控制单元105控制各种信息向车辆10的乘员或车辆外部的输出。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，音频数据)中的至少一种信息的输出信号、将该输出信号供应到输出单元106，并控制来自输出单元106的视觉信息和/或听觉信息的输出。具体而言，例如，输出控制单元105通过对由数据获取单元102的不同成像装置成像的图像数据进行组合来生成鸟瞰图像、全景图像等，并将包括所生成的图像的输出信号供应给输出单元106。而且，例如，输出控制单元105生成包括针对诸如碰撞、接触或进入危险区之类的危险的警告声音、警告消息等的音频数据，并将包括所生成的音频数据的输出信号供应给输出单元106。
输出单元106包括能够向车辆10的乘员或车辆外部输出视觉信息或听觉信息的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(诸如乘员穿戴的眼镜式显示器)、投影仪、灯等。输出单元106中包括的显示设备可以是具有正常显示器的设备，或者还可以是例如在驾驶员的视野内显示视觉信息的设备(诸如平视显示器、透射式显示器)或具有增强现实(AR)显示功能的设备。
驱动系统控制单元107通过生成各种控制信号并将它们供应到驱动系统108来控制驱动系统108。驱动系统控制单元107还根据需要向除驱动系统108以外的每个单元供应控制信号，并提供对驱动系统108等的控制状态的通知。
驱动系统108包括与车辆10的驱动系统相关的各种设备。例如，驱动系统108包括生成驱动力的驱动力生成器(诸如内燃机或驱动马达)、将驱动力传递给车轮的驱动力发送机构、调整转向角的转向机构、生成制动力的制动设备、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动助力转向设备等。
车身系统控制单元109通过生成各种控制信号并将其供应给车身系统110来控制车身系统110。车身系统控制单元109还根据需要向除车身系统110以外的每个单元供应控制信号，并提供对车身系统110等的控制状态的通知。
车身系统110包括安装到车身的车身系统的各种设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、后灯、刹车灯、转向信号灯、雾灯等)等。
存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等。存储单元111存储由车辆控制系统100的每个单元使用的各种程序、数据等。例如，存储单元111存储地图数据，该地图数据包括三维高精度地图(诸如动态地图)、精度比高精度地图低但覆盖面积广的全局地图、包含车辆10周围的信息的局部地图等。
自动驾驶控制器112执行与自动驾驶(诸如自动驾驶或驾驶辅助)相关的控制。具体而言，例如，自动驾驶控制器112出于实现高级驾驶员辅助系统(ADAS)的功能的目的执行协作控制，该高级驾驶员辅助系统包括针对车辆10的避免碰撞或减轻冲击、跟随前方车辆的行驶、恒速行驶、或基于车辆之间的距离的针对车辆10的碰撞警告、针对车辆10驶离车道的警告等。而且，例如，自动驾驶控制器112出于启用自主驾驶而无需取决于驾驶员的操作的自动驾驶的目的执行协作控制。自动驾驶控制器112包括检测单元131、自身位置推定单元132、情况分析单元133、计划单元134和操作控制单元135。
检测单元131检测控制自动驾驶所必需的各种信息。检测单元131包括车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143。
车外信息检测单元141基于来自车辆控制系统100的每个单元的数据或信号执行检测车辆10外部的信息的处理。例如，车外信息检测单元141执行检测、识别和跟踪车辆10周围的物体的处理以及检测到物体的距离的处理。要检测的物体包括例如车辆、行人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。而且，例如，车外信息检测单元141进行检测车辆10的周围环境的处理。待检测的周围环境包括例如天气、温度、湿度、亮度、路面状况等。车外信息检测单元141将指示检测处理的结果的数据供应给自身位置推定单元132，情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153，操作控制单元135的紧急情况避免单元171等。
车内信息检测单元142基于来自车辆控制系统100的每个单元的数据或信号来执行检测车辆内部的信息的处理。例如，车内信息检测单元142执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测乘员的处理、检测车辆内部的环境的处理等。待检测的驾驶员包括例如身体状况、清醒程度、专心程度、疲劳程度、视线方向等。待检测的车辆内部的环境包括例如温度、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据供应到情况分析单元133的情况识别单元153、操作控制单元135的紧急情况避免单元171等。
车辆状态检测单元143基于来自车辆控制系统100的每个单元的数据或信号来执行检测车辆10的状态的处理。待检测的车辆10的状态包括例如速度、加速度、转向角、异常的存在/不存及其细节、驾驶操作的状态、电动座椅位置和倾斜度、门锁状态、另一个车载设备的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应到情况分析单元133的情况识别单元153、操作控制单元135的紧急情况避免单元171等。
自身位置推定单元132基于来自车辆控制系统100的每个单元(诸如车外信息检测单元141和情况分析单元133的情况识别单元153)的数据或信号来执行估计车辆10的位置、姿态等的处理。自身位置推定单元132还根据需要生成用于自身位置推定的局部地图(下文中称为自身位置推定地图)。自身位置推定地图是例如使用诸如同时定位和绘制(SLAM)之类的技术的高精度地图。自身位置推定单元132将指示估计处理的结果的数据供应到情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153等。自身位置推定单元132还使存储单元111存储自身位置推定地图。
情况分析单元133执行分析车辆10及其周围环境的情况的处理。情况分析单元133包括地图分析单元151、交通规则识别单元152、情况识别单元153和情况预测单元154。
地图分析单元151在根据需要使用来自车辆控制系统100的每个单元(诸如自身位置推定单元132和车外信息检测单元141)的数据或信号的同时执行分析存储在存储单元111中的各种地图的处理，并构造包含自动驾驶处理所必需的信息的地图。地图分析单元151将构建的地图供应到交通规则识别单元152、情况识别单元153、情况预测单元154、计划单元134的路线计划单元161、动作计划单元162和操作计划单元163等。
交通规则识别单元152基于来自车辆控制系统100的每个单元(诸如自身位置推定单元132、车外信息检测单元141、地图分析单元151等)的数据或信号来执行识别车辆10附近的交通规则的处理。这种识别处理允许识别例如车辆10附近的交通信号灯的位置和状态、车辆10附近的交通规则的细节、车辆可以在其中行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应到情况预测单元154等。
情况识别单元153基于来自车辆控制系统100的每个单元(诸如自身位置推定单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来执行识别与车辆10相关的情况的处理。例如，情况识别单元153执行识别车辆10的情况、车辆10周围的情况、车辆10的驾驶员的情况等的处理。情况识别单元153还生成用于根据需要识别车辆10周围的情况的局部地图(下文中称为情况识别图)。情况识别图是例如占用栅格图。
待识别的车辆10的情况包括例如车辆10的位置、姿态和移动(例如，速度、加速度、行驶方向等)、异常的存在/不存在及其细节等。待识别的车辆10的周围情况包括例如周围静止物体的类型和位置，周围移动物体的类型、位置和移动(例如，速度、加速度、行驶的方向等)、周围道路的配置和表面状况，以及周围的天气、温度、湿度、亮度等。待识别的驾驶员的状态包括例如身体状况、清醒程度、专心程度、疲劳程度、视线移动、驾驶操作等。
情况识别单元153将指示识别处理的结果的数据(必要时包括情况识别图)供应给自身位置推定单元132、情况预测单元154等。情况识别单元153还使存储单元111存储情况识别图。
情况预测单元154基于来自车辆控制系统100的每个单元(诸如地图分析单元151、交通规则识别单元152和情况识别单元153)的数据或信号来执行预测与车辆10相关的情况的处理。例如，情况预测单元154执行预测车辆10的情况、车辆10周围的情况、驾驶员的情况等的处理。
待预测的车辆10的情况包括例如车辆10的行为、异常的发生、车辆可以行驶的距离等。待预测的车辆10周围的情况包括例如车辆10周围的移动物体的行为、交通信号灯的状态的改变、诸如天气之类的环境的改变等。待预测的驾驶员的情况包括例如驾驶员的行为、身体状况等。
情况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和情况识别单元153的数据一起供应到计划单元134的路线计划单元161、动作计划单元162和操作计划单元163等。
路线计划单元161基于来自车辆控制系统100的每个单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。而且，例如，路线计划单元161基于诸如交通拥堵、事故、交通法规或建筑物、驾驶员的身体状况等情况来适当地改变路线。路线计划单元161将指示计划的路线的数据供应到动作计划单元162等。
动作计划单元162基于来自车辆控制系统100的每个单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划车辆10的动作，以便车辆在计划时间内安全地行驶由路线计划单元161计划的路线。例如，动作计划单元162执行用于开始、停止、行驶方向(例如，向前移动、向后移动、向左转弯、向右转弯、方向改变等)、驾驶车道、驾驶速度、超车等的计划。动作计划单元162将指示车辆10的计划的动作的数据供应到操作计划单元163等。
操作计划单元163基于来自车辆控制系统100的每个单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划车辆10的操作，以实现由动作计划单元162计划的动作。例如，操作计划单元163执行用于加速、减速、行驶路径等的计划。操作计划单元163将指示车辆10的计划的操作的数据供应到操作控制单元135的加速/减速控制单元172和方向控制单元173等。
操作控制单元135控制车辆10的操作。操作控制单元135包括紧急情况避免单元171、加速/减速控制单元172和方向控制单元173。
紧急情况避免单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果来执行检测诸如碰撞、接触、进入危险区、驾驶员的异常或车辆10的异常之类的紧急情况的处理。在紧急情况避免单元171已经检测到紧急情况发生的情况下，紧急情况避免单元171计划车辆10的操作以避免紧急情况，诸如突然停车或急转弯。紧急情况避免单元171将指示车辆10的计划的操作的数据供应到加速/减速控制单元172、方向控制单元173等。
加速/减速控制单元172执行加速/减速控制，以实现由操作计划单元163或紧急情况避免单元171计划的车辆10的操作。例如，加速/减速控制单元172计算用于驱动力生成器或制动设备的控制目标值以实现计划的加速、减速或突然停止，并且将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。
方向控制单元173执行方向控制，以实现由操作计划单元163或紧急情况避免单元171计划的车辆10的操作。例如，方向控制单元173计算用于转向机构的控制目标值，以实现由操作计划单元163或紧急情况避免单元171计划的行驶路径或急转弯，并将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。
<<2.第一实施例>>
接下来，将参考图2至图10描述本技术的第一实施例。
要注意的是，第一实施例主要涉及图1中的车辆控制系统100的数据获取单元102和车外信息检测单元141的处理。
<车外信息检测系统的配置示例>
图2是图示作为对其应用本技术的车外信息检测系统的实施例的车外信息检测系统200的配置示例的框图。
车外信息检测系统200是执行对其中设有车外信息检测系统200的车辆10周围的信息的检测处理的系统。例如，车外信息检测系统200基于通过对车辆10的周围环境进行成像而获得的图像(下文中称为周围图像)来执行对车辆10周围的信息的检测处理。然后，车外信息检测系统200将指示检测处理的结果的数据供应到例如图1中的自身位置推定单元132、地图分析单元151、交通规则识别单元152、情况识别单元153、紧急情况避免单元171等。
车外信息检测系统200包括相机201、车辆状态检测单元202和主机203。
相机201安装在可以对车辆10的周围环境进行成像的位置，并且将由于成像而获得的周围图像供应到主机203。
相机201包括图像传感器221、传感器接口(I/F)222、图像处理单元223、颜色处理单元224、图像存储单元225、缓冲器226、控制单元227、区域设置信息存储单元228和主机接口(I/F)229。
图像传感器221是对车辆10的周围环境进行成像的成像单元，并且例如使用任意类型的图像传感器，诸如CMOS图像传感器或CCD图像传感器。图像传感器221在控制单元227的控制下经由传感器I/F 222对车辆10的周围环境进行成像，并将获得的周围图像供应到传感器I/F 222。
传感器I/F 222执行图像传感器221与外部之间的通信。
图像处理单元223在控制单元227的控制下对周围图像执行各种类型的图像处理，并将在图像处理之后获得的周围图像供应到颜色处理单元224。由图像处理单元223执行的图像处理的类型根据需要从例如缺陷校正处理、白平衡调整处理、噪声去除处理等中选择。
颜色处理单元224在控制单元227的控制下对周围图像执行各种类型的颜色处理，并且使图像存储单元225存储颜色处理之后获得的周围图像。由颜色处理单元224执行的颜色处理的类型根据需要从例如去马赛克、分辨率转换处理、γ校正处理、YC转换处理等中选择。
图像存储单元225例如包括易失性或非易失性存储器，并且存储周围图像。
缓冲器226例如包括易失性存储器，并且临时存储在与周围图像的整个或部分对应的区域(下文中称为转发区域)内的图像(下文中称为区域图像)。
要注意的是，在下文中，与整个周围图像对应的转发区域也将被称为整个区域，并且在整个区域内的区域图像(即，整个周围图像)也将被称为整个图像。
例如，控制单元227包括各种处理器等，以控制相机201的每个单元、控制向主机203发送诸如区域图像之类的数据/从主机203接收诸如区域图像之类的数据等。
区域设置信息存储单元228包括例如易失性存储器，并且存储从主机203发送的区域设置信息。要注意的是，区域设置信息是关于转发区域和为每一个转发区域设置的帧速率的信息。
主机I/F 229是与主机203的通信接口，并且执行与主机203的相机I/F的通信。
车辆状态检测单元202例如与图1中的车辆状态检测单元143对应，并且执行对车辆10的状态的检测处理，以将指示检测处理的结果的数据供应到主机203中的图像处理单元251的控制单元261。
主机203执行来自相机201的区域图像的转发控制、基于区域图像的对车辆10周围的信息的检测处理等。主机203包括图像处理单元251和相机接口(I/F)252。
图像处理单元251包括控制单元261、整个图像存储单元262、区域图像存储单元263、区域设置信息存储单元264、帧速率数据库(DB)265和驱动数据存储单元266。
控制单元261包括各种处理器等，并且控制主机203的每个单元，控制诸如区域图像之类的数据向相机201的发送/从相机201的接收、执行对车辆10周围的信息的检测处理等。控制单元261还将指示检测车辆10周围的信息的处理结果的数据输出到外部。
整个图像存储单元262例如包括易失性存储器或非易失性存储器，并且存储从相机201发送的区域图像当中的整个图像。
区域图像存储单元263例如包括易失性存储器或非易失性存储器，并且存储除了从相机201发送来的整个图像以外的区域图像。
区域设置信息存储单元264包括例如易失性存储器，并且存储由控制单元261生成的区域设置信息。
帧速率DB 265存储用于设置帧速率的数据，该帧速率指示转发区域内的区域图像被转发的速率(转发速率)。例如，帧速率DB265存储针对诸如物体的类型、位置和移动、车辆10的状态、相机201的安装位置和安装姿态、时间和天气之类的条件设置帧速率、帧速率的设定值等的方法。
驱动数据存储单元266包括例如非易失性存储器，并且存储诸如在车辆10行驶时获得的区域图像之类的数据。
<相机中控制单元的功能的配置示例>
图3图示了相机201中控制单元227的功能的配置示例。
控制单元227包括成像控制单元301、区域图像生成单元302、发送控制单元303和接收控制单元304。
成像控制单元301控制图像传感器221、图像处理单元223和颜色处理单元224，以控制周围图像的成像。
区域图像生成单元302基于存储在区域设置信息存储单元228中的区域设置信息从图像存储单元225中存储的整个图像来生成区域图像，并使缓冲器226存储该区域图像。
发送控制单元303控制主机I/F 229以控制诸如区域图像之类的数据向主机203的发送。
接收控制单元304控制主机I/F 229以控制从主机203接收诸如区域设置信息之类的数据。
<主机中控制单元的功能的配置示例>
图4图示了主机203中控制单元261的功能的配置示例。
控制单元261包括特征点提取单元331、物体检测单元332、区域设置单元333、帧速率设置单元334、发送控制单元335、接收控制单元336和记录控制单元337。
特征点提取单元331执行对区域图像内的特征点的提取处理。
物体检测单元332执行对区域图像内的物体的检测处理。
区域设置单元333基于区域图像内的特征点的提取结果或物体的检测结果中的至少一个来设置转发区域。区域设置单元333还生成与每一个转发区域和每一个转发区域的帧速率相关的区域设置信息，并使得区域设置信息存储单元264存储该区域设置信息或将其供应到相机I/F 252。
帧速率设置单元334基于区域图像内的特征点的提取结果、区域图像内的物体的检测结果、或由车辆状态检测单元202执行的车辆10的状态的检测结果以及存储在帧速率DB 265中的数据中的至少一个来设置每一个转发区域的帧速率。
发送控制单元335控制相机I/F 252以控制诸如区域设置信息之类的数据向相机201的发送。
接收控制单元336控制相机I/F 252以控制从相机201接收诸如区域图像之类的数据。
记录控制单元337控制在驱动数据存储单元266中记录诸如在车辆10行驶时获得的区域图像之类的数据。
<主机处理>
接下来，将参考图5中的流程图描述主机203的处理。要注意的是，这个处理在例如车辆10启动时开始，并且诸如当车辆10的点火开关、电源开关、启动开关等接通时执行开始驾驶的操作。而且，当例如执行结束驾驶的操作时(诸如当车辆10的点火开关、电源开关、启动开关等被关断时)，该处理结束。
在步骤S1中，主机203发送成像开始命令。具体而言，发送控制单元335生成用于使相机201开始成像以获得周围图像的成像开始命令，并且经由相机I/F 252将该成像开始命令发送到相机201。
另一方面，相机201在稍后描述的图9的步骤S51中接收成像开始命令、在步骤S52中对车辆10的周围环境进行成像，并且在步骤S53中发送整个图像和元数据。
要注意的是，元数据包括例如相机201的安装位置、安装姿态、视角、曝光参数等。
在步骤S2中，主机203接收整个图像和元数据。具体而言，相机I/F 252在接收控制单元336的控制下接收从相机201发送来的整个图像和元数据、使整个图像存储单元262存储整个图像，并将元数据供应到接收控制单元336。
在步骤S3中，特征点提取单元331提取存储在整个图像存储单元262中的整个图像中的特征点。
要注意的是，对于提取特征点的方法，例如，可以使用诸如哈里斯角(Harriscorner)检测之类的任意方法。
在步骤S4中，区域设置单元333基于特征点设置转发区域。例如，区域设置单元333对整个图像内的特征点进行聚类。作为结果，整个图像内的特征点被分类为一个或多个集群。然后，区域设置单元333将与每个集群对应的区域设置为转发区域。区域设置单元333还将整个区域设置为转发区域。
例如，图6示意性地图示了通过对车辆10前方的区域进行成像而获得的周围图像401的示例。在这个示例中，在周围图像401的下部示出了车辆10的发动机盖411。车辆412至416在车辆10的驾驶车道的左侧的车道中前方示出。车辆417和418在车辆10的驾驶车道中前方示出。在车辆412的左侧示出了信息标志419。在道路的左边缘上示出了护栏420。在路面上示出了车道标记421和422。在道路的左侧和右侧示出了树林、建筑物等。
图7图示了图6的周围图像401中的特征点和传递区域的示例。图中的小点指示特征点。例如，在车辆412至418、信息标志419、护栏420、车道标记421和422以及道路左侧和右侧的树林、建筑物等的边缘等附近提取出许多特征点。
此外，基于特征点聚类的结果，设置转发区域R1至R7。转发区域R1包括车辆412。转发区域R2包括车辆413和414。转发区域R3包括车辆414至416和418。转发区域R4包括车辆417和418。转发区域R5包括信息标志419。转发区域R6包括护栏420。转发区域R7包括车道标记422。此外，将周围图像401的整个区域设置为转发区域R0。
要注意的是，转发区域不必限于具有与整个图像的周边的侧面平行的边的矩形区域，而是例如可以是相对于整个图像的周边的侧面倾斜的矩形，诸如转发区域R6和R7。此外，转发区域不必一定是矩形。
在步骤S5中，物体检测单元332执行对每一个转发区域内的物体的检测处理。例如，物体检测单元332检测每一个转发区域内的物体的类型、位置、移动等。
要注意的是，例如，诸如语义分割之类的任意方法可以被用作检测物体的类型、位置、移动等的方法。
在步骤S6中，帧速率设置单元334设置每一个转发区域的帧速率。
具体而言，帧速率设置单元334从车辆状态检测单元202获取车辆10的状态的检测结果。然后，帧速率设置单元334基于每一个转发区域内的物体的检测结果(例如，物体的类型、位置或移动中的至少一个)来设置每一个转发区域的帧速率、车辆10的状态的检测结果，以及存储在帧速率DB 265中的数据。
例如，基于对每一个转发区域内的物体进行关注的必要性(下文中称为关注必要性)来设置每一个转发区域的帧速率。例如，随着对转发区域内的物体的关注必要性越高，将帧速率设置为越高，而随着对转发区域内的物体的关注必要性越低，将帧速率设置为较低。
例如，基于物体的类型来确定对物体的关注必要性。例如，确定对移动物体的关注必要性高于对静止物体的关注必要性。
如图8中所示，例如，取决于是否包括移动物体，将转发区域R1至R7分类为组G1和G2。各自包括移动物体的转发区域R1至R4被分类为组G1。各自不包括移动物体并且仅包括静止物体的转发区域R5至R7被分类为组G2。然后，将组G1中的转发区域的帧速率设置为高于组G2中的转发区域的帧速率。例如，将组G1中的转发区域的帧速率设置为每秒120帧(fps)，并且将组G2中的转发区域的帧速率设置为60fps。
要注意的是，组G0包括作为整个区域的转发区域R0。转发区域R0的帧速率被设置为小于或等于其它转发区域的帧速率当中的最低帧速率。例如，将转发区域R0的帧速率设置为小于或等于60fps，该帧速率是组G2中的转发区域的帧速率。
要注意的是，可以通过例如将物体的类型细分为车辆、自行车、行人、道路标志等来更具体地设置帧速率。在这种情况下，例如，随着转发区域内的物体的总体平均速度变快，关注必要性被确定为更高，并且帧速率被设置成更高。另一方面，随着转发区域内的物体的总体平均速度变慢，关注必要性被确定为更低，并且将帧速率被设置为更低。例如，以包括车辆的转发区域＞包括自行车的转发区域＞包括行人的转发区域＞包括道路标志的转发区域的次序来设置帧速率。
在这种情况下，例如，基于物体的平均速度来设置帧速率，使得每当物体移动预定距离(例如，10cm)时就转发包括物体的区域图像。
要注意的是，例如，在将区域图像用于车辆10的自身位置推定(诸如SLAM)的情况下，确定对更有可能用于自身位置推定的静止物体的关注必要性要高于对不太可能用于自身位置推定的移动物体的关注必要性。然后，将仅包括静止物体的转发区域的帧速率设置为高于包括移动物体的转发区域的帧速率。
而且，例如，可以基于物体与车辆10碰撞或接触的风险级别(下文中简称为物体的风险级别)来确定对物体的关注必要性。
例如，基于物体相对于车辆10的位置或移动中的至少一个来确定每个物体的风险级别。例如，对于在接近车辆10的方向上以更快的相对速度移动的物体，风险级别被确定为更高。另一方面，对于在接近车辆10的方向上以较慢的相对速度移动的物体，或者在远离车辆10的方向上以较快的相对速度移动的物体，风险级别被确定为较低。
此外，例如，在存在物体与车辆10碰撞或接触的可能性的情况下，可以基于预测的碰撞时间来确定每个物体的风险级别。即，对于预测碰撞时间越短的物体，将风险级别确定为越高，而对于预测碰撞时间越长的物体，将风险级别确定为越低。
然后，例如，随着转发区域内的物体的风险级别越高，将帧速率设置得越高，而随着转发区域内的物体的风险级别越低，将帧速率设置得越低。
在这种情况下，例如，对于接近车辆10的物体，帧速率被设置为使得每当物体接近车辆10预定的第一距离(例如，10cm)时都转发包括该物体的区域图像。另一方面，对于远离车辆10移动的物体，帧速率被设置为使得每当物体远离车辆10移动比第一距离长的第二距离(例如，20cm)时都转发包括该物体的区域图像。
在步骤S7中，主机203生成并发送区域设置信息。具体而言，区域设置单元333生成区域设置信息，该区域设置信息包括周围图像内的每一个转发区域的位置和形状以及每一个转发区域的帧速率。区域设置单元333使区域设置信息存储单元264存储所生成的区域设置信息。区域设置单元333还经由相机I/F 252将生成的区域设置信息发送到相机201。
另一方面，相机201在稍后描述的图9的步骤S54中接收区域设置信息，并且在步骤S57中基于区域设置信息生成并发送区域图像。
在步骤S8中，主机203接收区域图像。具体而言，相机I/F 252在接收控制单元336的控制下接收从相机201发送的区域图像。
此外，在接收到的区域图像是整个图像的情况下，相机I/F 252使整个图像存储单元262存储该整个图像。此时，例如，存储在整个图像存储单元262中的旧的整个图像被新的整个图像覆写。另一方面，在接收到的区域图像不是整个图像的情况下，相机I/F 252使区域图像存储单元263存储区域图像。此时，例如，从区域图像存储单元263中删除在区域图像存储单元263中存储的区域图像当中与预定时间或更早的时间对应的区域图像。
在步骤S9中，主机203根据需要使用区域图像来执行处理。例如，物体检测单元332基于存储在整个图像存储单元262中的整个图像或存储在区域图像存储单元263中的区域图像中的至少一个来执行检测车辆10周围的物体的处理。物体检测单元332将指示对车辆10周围的物体的检测处理的结果的数据供应到例如图1中的自身位置推定单元132、地图分析单元151、交通规则识别单元152、情况识别单元153、紧急情况避免单元171等。
在步骤S10中，主机203根据需要记录区域图像。例如，记录控制单元337使驱动数据存储单元266无条件地存储从相机201接收的区域图像。在这种情况下，例如，在记录在驱动数据存储单元266中的区域图像的总时间或总容量超过预定阈值的情况下，记录控制单元337从旧的区域图像开始从驱动数据存储单元266中删除区域图像。
替代地，例如，在车辆10正常行驶的情况下，记录控制单元337使驱动数据存储单元266总是累积与直到当前时间之前的预定时间(例如，30秒)对应的区域图像，并从驱动数据存储单元266中删除早于该区域图像的区域图像。另一方面，例如，在车辆10中已经发生异常的情况下，记录控制单元337使驱动数据存储单元266保持与直到检测到异常之前的预定时间对应的区域图像，并且使驱动数据存储单元266存储与检测到异常之后经过预定时间(例如，30秒)为止的时间对应的区域图像，该异常是检测到例如对车辆10的预定强度或更高的冲击或突然制动。
作为结果，在主机203被用作行车记录仪的情况下，事故分析等所需的数据被可靠地记录，并且被记录的数据量减少。
在步骤S11中，接收控制单元336确定是否已经接收到整个图像。在确定尚未接收到整个图像的情况下，处理返回到步骤S8。
之后，重复执行步骤S8至S11中的处理，直到在步骤S11中确定已经接收到整个图像为止。
另一方面，在步骤S11中确定已经接收到整个图像的情况下，处理返回到步骤S3，并且执行步骤S3及其后的处理。即，基于新接收到的整个图像来更新转发区域和帧速率，并且基于更新后的转发区域和帧速率在相机201和主机203之间转发区域图像。
<相机处理>
接下来，将参考图9中的流程图描述响应于图5中的主机203的处理而执行的相机201的处理。要注意的是，这个处理在例如车辆10启动时开始，并且诸如当车辆10的点火开关、电源开关、启动开关等导通时执行开始驾驶的操作。此外，当例如执行结束驾驶的操作时(诸如当车辆10的点火开关、电源开关、启动开关等被关断时)，该处理结束。
在步骤S51中，接收控制单元304经由主机I/F 229接收通过图5的步骤S1中的处理从主机203发送的成像开始命令。
在步骤S52中，相机201对车辆10的周围环境进行成像。具体而言，图像传感器221在成像控制单元301的控制下对车辆10的周围环境进行成像，并且经由传感器I/F 222将所获得的周围图像供应到图像处理单元223。图像处理单元223在成像控制单元301的控制下对周围图像执行各种类型的图像处理，并将在图像处理之后获得的周围图像供应到颜色处理单元224。颜色处理单元224在成像控制单元301的控制下对周围图像执行各种类型的颜色处理，并且使图像存储单元225存储在颜色处理之后获得的周围图像。
在步骤S53中，相机201发送整个图像和元数据。具体而言，区域图像生成单元302将存储在图像存储单元225中的周围图像照原样复制到缓冲器226。发送控制单元303经由主机I/F 229将存储在缓冲器226中的周围图像(即，整个图像)与元数据一起发送到主机203。
如上所述，元数据包括例如相机201的安装位置、安装姿态、视角、曝光参数等。
在步骤S54中，接收控制单元304经由主机I/F 229接收通过图5的步骤S7中的处理从主机203发送的区域设置信息。接收控制单元304使区域设置信息存储单元228存储接收到的区域设置信息。
在步骤S55中，成像控制单元301基于区域设置信息来设置成像速率。例如，成像控制单元301根据转发区域的帧速率当中的最高帧速率来设置图像传感器221的成像速率。
在步骤S56中，如在步骤S52的处理中一样，对车辆10的周围环境进行成像。此时，存储在图像存储单元225中的前一帧的周围图像被新成像的周围图像覆写。
在步骤S57中，相机201基于区域设置信息来生成并发送区域图像。具体而言，区域图像生成单元302基于包括在区域设置信息中的每一个转发区域的帧速率来检测要在当前时间发送其区域图像的转发区域。区域图像生成单元302通过从图像存储单元225中存储的周围图像中提取检测到的转发区域内的图像来生成区域图像，并使缓冲器226存储该区域图像。要注意的是，在是时候发送整个图像的情况下，区域图像生成单元302将存储在图像存储单元225中的周围图像照原样复制到缓冲器226。
发送控制单元303将存储在缓冲器226中的区域图像经由主机I/F 229发送到主机203。作为结果，以由区域设置信息指示的帧速率发送每一个转发区域内的区域图像。
图10图示了当区域图像从相机201发送到主机203时的转发数据的配置示例。
一个转发数据包括帧头以及区域头和区域图像的一个或多个集合。
帧头包括例如与转发数据相关的信息，诸如要发送的区域图像的数量。
区域头包括与要发送的区域图像的转发区域相关的信息等。
在这个示例中，在时间t0发送区域图像0(整个图像)。在时间t1和时间t3，发送区域图像1和区域图像2。在时间t2，发送区域图像3。
例如，当时间t0＝0ms、时间t1＝20ms、时间t2＝25ms、时间t3＝40ms和时间t4＝50ms时，区域图像0的帧速率为20fps。区域图像1和区域图像2的帧速率为50fps。这是因为通过在时间t0和时间t4发送区域图像0(整个图像)来实质上发送区域图像1和区域图像2。区域图像3的帧速率为40fps。这是因为通过在时间t0和时间t4发送区域图像0(整个图像)来实质上发送区域图像3。
在步骤S58中，接收控制单元304确定是否已经接收到区域设置信息。在确定尚未接收到区域设置信息的情况下，处理返回到步骤S56。
之后，重复执行步骤S56至步骤S58中的处理，直到在步骤S58中确定已经接收到区域设置信息为止。即，基于为每一个转发区域设置的帧速率，将每一个转发区域内的区域图像从相机201发送到主机203。
另一方面，在步骤S58中，在已经经由主机I/F 229接收到通过图5的步骤S7的处理从主机203发送的区域设置信息的情况下，接收控制单元304确定已经接收到区域设置信息，并且处理返回到步骤S55。
之后，执行步骤S55及其后的处理。即，基于新的区域设置信息来更新成像速率，并且开始区域图像的生成和发送。
如上所述，可以减少相机201和主机203之间的图像转发量。因此，可以减小主机I/F 229和相机I/F 252之间的转发路径的容量和转发速率。
此外，可以减小整个图像存储单元262、区域图像存储单元263和驱动数据存储单元266的容量和写入速度。此外，例如，在这些存储单元包括具有重写寿命的存储器(诸如闪存)的情况下，可以减少存储器的重写次数，从而可以延长其寿命。
此外，由于减少了要处理的图像的数据量，因此可以将控制单元261中包括的处理器的性能保持为低。
此外，以更高的帧速率发送具有更高的关注必要性的转发区域内的区域图像，从而即使减少图像的转发量，也可以防止对车辆10周围的物体等的检测准确性的降低。
<<3.第二实施例>>
接下来，将参考图11描述本技术的第二实施例。
在第二实施例中，主机203的处理与第一实施例的不同。
<主机处理>
在此，将参考图11的流程图描述主机203的处理。
在步骤S101和步骤S102中，分别执行与图5的步骤S1和步骤S2中相似的处理。
在步骤S103中，物体检测单元332执行检测整个图像内的物体的处理。例如，物体检测单元332在整个区域内检测物体的类型、位置、移动等。
要注意的是，例如，诸如语义分割之类的任意方法可以被用作检测物体的类型、位置、移动等的方法。
在步骤S104中，区域设置单元333基于物体的检测结果来设置转发区域。例如，区域设置单元333将在整个图像内检测到的物体当中包括具有关注必要性的物体的区域设置为转发区域。
要注意的是，转发区域不必限于具有与整个图像的周边的侧面平行的边的矩形区域，而是例如可以是相对于整个图像的周边的侧面倾斜的矩形。而且，转发区域不必一定是矩形。
在步骤S105中，帧速率设置单元334设置每一个转发区域的帧速率。例如，与在图5中的步骤S6的处理中一样，帧速率设置单元334基于对每一个转发区域内的物体的关注必要性来设置每一个转发区域的帧速率。
此后，在步骤S106至S110，分别执行与图5的步骤S7至S11类似的处理。
如上所述，可以在不使用特征点的情况下仅基于物体的检测结果来设置转发区域和每一个转发区域的帧速率。
<<4.变化例>>
在下文中，将描述本技术的前述实施例的变化例。
相机201和主机203之间的功能共享不限于以上示例，并且可以根据需要改变。例如，相机201可以设有与主机203的特征点提取单元331、物体检测单元332和区域设置单元333对应的功能，从而相机201可以设置转发区域。而且，例如，相机201还可以设有与帧速率设置单元334对应的功能，从而相机201可以设置转发区域的帧速率。
此外，例如，可以基于相机201的成像条件来设置每一个转发区域的帧速率。例如，可以基于周围的天气和亮度来设置每一个转发区域的帧速率。例如，在由于良好的天气、明亮的周围环境等而成像条件好的情况下，可以减小每一个转发区域的帧速率，而在由于恶劣的天气(诸如雨或雾)、黑暗的周围环境等而成像条件差的情况下，可以增加每一个转发区域的帧速率。而且，例如，可以根据一天中的时间来设置每一个转发区域的帧速率。例如，每一个转发区域的帧速率可以在白天时段减小，并且每一个转发区域的帧速率可以在夜晚时段增加。
此外，例如，在将区域图像用于车辆10的自身位置推定(诸如SLAM)的情况下，可以基于特征点来设置帧速率。例如，对于具有更多特征点的转发区域，将帧速率设置为较高，而对于具有更少特征点的转发区域，将帧速率设置为较低。
此外，例如，可以基于车辆10的移动来设置每一个转发区域的帧速率。例如，可以增加更接近车辆10的移动方向的转发区域的帧速率，并且可以减小更远离车辆10的移动方向的转发区域的帧速率。而且，在车辆10以小转向角高速行驶的情况下，例如，可以减小车辆10的行驶方向周围的转发区域的帧速率。另一方面，在车辆10正在弯道或交叉路口行驶的情况下，或者在车辆10的转向角大的情况下，可以增加在车辆10的行驶方向周围的转发区域的帧速率。
此外，虽然以上描述已经描述了存在一个相机的情况的示例，但是本技术也可以应用于存在多个相机的情况。例如，在存在多个相机的情况下，对每个相机执行上述处理，并且以针对每一个转发区域设置的帧速率发送区域图像。但是，不必对所有相机执行上述处理，并且相机中的一些可以将正在被成像的周围图像发送到主机。
此外，本技术还可以应用于除了上面例示的车辆之外还对各种移动体的周围环境进行成像的情况，该各种移动体包括摩托车、自行车、个人移动工具(personal mobility)、飞机、轮船、建筑机械、农业机械(拖拉机)、无人机、机器人等。
此外，除了对移动体的周围环境进行成像的情况之外，本技术还可以应用于在相机和图像处理装置(诸如主机)之间转发由相机成像的捕获图像的情况。例如，本技术还可以应用于在安装在预定位置的监控相机和设置在与监控相机不同位置处的主机之间转发捕获图像的情况。同样在这种情况下，例如，使用与上述方法类似的方法来设置由监控相机进行成像的捕获图像的转发区域和每一个转发区域的帧速率，并转发区域图像，从而可以减少监控相机和主机之间的图像转发量。
<<5.其它>>
<计算机的配置示例>
上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，在计算机上安装配置软件的程序。在此，计算机包括结合在专用硬件中的计算机、可以通过安装各种程序等来执行各种功能的通用个人计算机等。
图12是图示根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机500中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504相互连接。
输入/输出接口505也连接到总线504。输入/输出接口505连接到输入单元506、输出单元507、记录单元508、通信单元509和驱动器510。
输入单元506包括输入开关、按钮、麦克风、图像传感器等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机500中，通过例如CPU 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中并执行程序来执行上述一系列处理。
由计算机500(CPU 501)执行的程序可以在例如被记录在作为打包介质(packagemedium)等的可移动记录介质511中的同时被提供。程序还可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线发送介质来提供。
在计算机500中，通过将可移动记录介质511放置在驱动器510中，可以经由输入/输出接口505将程序安装在记录单元508中。而且，程序可以由通信单元509经由有线或无线发送介质接收，并安装在记录单元508中。此外，可以预先将程序安装在ROM 502或记录单元508中。
要注意的是，由计算机执行的程序可以是根据本说明书中描述的次序按时间顺序执行处理的程序，或者可以是并行地或在所要求的定时(诸如当进行呼叫时)执行处理的程序。
此外，在本说明书中，系统是指多个部件(诸如设备和模块(部分))的组装，其中是否所有部件都被容纳在同一壳体中并不重要。相应地，容纳在分开的壳体中并且通过网络连接的多个设备以及具有容纳在单个壳体中的多个模块的单个设备都是系统。
此外，本技术的实施例不限于上述实施例，而是可以在不脱离本技术的范围的情况下以各种方式进行修改。
例如，本技术可以采用云计算的配置，其中单个功能通过网络在多个设备之间共享和共同处理。
而且，前述流程图中描述的每个步骤可以由单个设备执行，或者可以由多个设备共享并执行。
此外，在单个步骤包括多个处理的情况下，包括在单个步骤中的多个处理可以由单个设备执行，或者可以由多个设备共享并执行。
<配置的组合示例>
本技术还可以具有以下配置。
(1)一种成像装置，包括：
成像单元，其执行成像以获得捕获图像；以及
发送控制单元，其执行如下发送控制：以针对每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像。
(2)如(1)所述的成像装置，其中
转发区域基于捕获图像内的物体或特征点中的至少一个来设置。
(3)如(2)所述的成像装置，还包括：
区域设置单元，其基于捕获图像内的物体或特征点中的至少一个来设置转发区域；以及
帧速率设置单元，其设置转发区域的帧速率。
(4)如(3)所述的成像装置，还包括以下至少之一：
物体检测单元，其检测捕获图像内的物体；或者
特征点提取单元，其提取捕获图像内的特征点，其中
区域设置单元基于捕获图像内物体的检测结果或特征点的提取结果中的至少一个来设置转发区域。
(5)如(1)至(4)中的任一项所述的成像装置，还包括
接收控制单元，其控制与每一个转发区域相关的区域设置信息和每一个转发区域的帧速率的接收，其中
发送控制单元基于区域设置信息来执行区域图像的发送控制。
(6)如(1)至(5)中的任一项所述的成像装置，还包括
成像控制单元，其基于每一个转发区域的帧速率来设置成像单元的成像速率。
(7)如(6)所述的成像装置，其中
成像控制单元根据作为转发区域的帧速率当中的最高帧速率的帧速率来设置成像单元的成像速率。
(8)如(1)至(7)中的任一项所述的成像装置，其中
成像装置被设置于移动体中，以及
捕获图像是通过对移动体的周围环境进行成像而获得的图像。
(9)一种图像处理方法，其中
成像装置执行以下操作：
成像以获得捕获图像；以及
以针对每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像的发送控制。
(10)一种图像处理装置，包括：
区域设置单元，其基于由成像装置进行成像而得到的捕获图像内的物体或特征点中的至少一个来设置与捕获图像的整个区域或部分区域对应的多个转发区域；
帧速率设置单元，其设置每一个转发区域的帧速率；
发送控制单元，其控制区域设置信息向成像装置的发送，该区域设置信息与每一个转发区域和每一个转发区域的帧速率相关；以及
接收控制单元，其以基于区域设置信息的帧速率控制从成像装置发送来的每一个转发区域内的区域图像的接收。
(11)如(10)所述的图像处理装置，还包括以下至少之一：
物体检测单元，其检测捕获图像内的物体；或者
特征点提取单元，其提取捕获图像内的特征点，其中
区域设置单元基于捕获图像内物体的检测结果或特征点的提取结果中的至少一个来设置转发区域。
(12)如(11)所述的图像处理装置，其中
帧速率设置单元基于每一个转发区域内物体的检测结果或每一个转发区域内特征点的提取结果中的至少一个来设置每一个转发区域的帧速率。
(13)如(12)所述的图像处理装置，其中
帧速率设置单元基于在每一个转发区域内物体的类型、位置或移动中的至少一个来设置每一个转发区域的帧速率。
(14)如(13)所述的图像处理装置，其中
帧速率设置单元还基于成像装置的成像条件来设置每一个转发区域的帧速率。
(15)如(11)所述的图像处理装置，其中
帧速率设置单元基于每一个转发区域内物体的检测结果、每一个转发区域内特征点的提取结果或设置有成像装置的移动体的移动中的至少一个来设置每一个转发区域的帧速率。
(16)如(10)至(15)中的任一项所述的图像处理装置，其中
帧速率设置单元将与捕获图像的整个区域对应的转发区域的帧速率设置为小于或等于与捕获图像的部分区域对应的转发区域的帧速率当中的最低帧速率。
(17)如(10)至(16)中的任一项所述的图像处理装置，还包括
记录控制单元，控制每一个区域图像的记录。
(18)如(10)至(17)中的任一项所述的图像处理装置，其中
成像装置被设置于移动体，以及
捕获图像是通过对移动体的周围环境进行成像而获得的图像。
(19)一种图像处理方法，其中
图像处理装置执行：
基于由成像装置进行成像的捕获图像内的物体或特征点中的至少一个来设置与捕获图像的整个区域或部分区域对应的多个转发区域；
设置每一个转发区域的帧速率；
控制区域设置信息到成像装置的发送，该区域设置信息与每一个转发区域和每一个转发区域的帧速率相关；以及
控制以基于区域设置信息的帧速率从成像装置发送的每一个转发区域内的区域图像的接收。
注意的是，在本说明书中描述的效果是通过示例的方式而不是通过限制提供的，可以存在另一个效果。
附图标记列表
10 车辆
100 车辆控制系统
102 数据获取单元
141 车外信息检测单元
201 相机
203 主机
221 图像传感器
227 控制单元
229 主机I/F
251 图像处理单元
252 相机I/F
261 控制单元
301 成像控制单元
302 区域图像生成单元
303 发送控制单元
304 接收控制单元
331 特征点提取单元
332 物体检测单元
333 区域设置单元
334 帧速率设置单元
335 发送控制单元
336 接收控制单元
337 记录控制单元

Claims (16)

1.一种成像装置，包括：
成像单元，所述成像单元执行成像以获得移动体周围的捕获图像，所述捕获图像包括关于特征点或物体的信息；
发送控制单元，所述发送控制单元执行发送控制，以针对转发区域中的每一个转发区域设置的帧速率发送与所述捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像；
区域设置单元，所述区域设置单元基于所述捕获图像内的物体或特征点中的至少一个来设置所述转发区域；
帧速率设置单元，所述帧速率设置单元基于所述捕获图像内的物体或特征点中的至少一个的风险级别设置所述转发区域中的每一个转发区域的帧速率；以及
成像控制单元，所述成像控制单元基于所述转发区域中的每一个转发区域的帧速率来设置所述成像单元的成像速率。
2.根据权利要求1所述的成像装置，还包括以下至少之一：
物体检测单元，所述物体检测单元检测所述捕获图像内的物体；或者
特征点提取单元，所述特征点提取单元提取所述捕获图像内的特征点，其中
所述区域设置单元基于所述捕获图像内的物体的检测结果或特征点的提取结果中的至少一个来设置所述转发区域。
3.根据权利要求1所述的成像装置，还包括：
接收控制单元，所述接收控制单元控制与所述转发区域中的每一个转发区域和所述转发区域中的每一个转发区域的帧速率相关的区域设置信息的接收，其中
所述发送控制单元基于所述区域设置信息来执行所述区域图像的发送控制。
4.根据权利要求1所述的成像装置，其中
所述成像控制单元根据作为所述转发区域的帧速率当中的最高帧速率的帧速率来设置所述成像单元的成像速率。
5.根据权利要求1所述的成像装置，其中
所述成像装置在移动体中提供，以及
所述捕获图像是通过对所述移动体的周围环境进行成像而获得的图像。
6.一种图像处理方法，其中
成像装置执行以下操作：
成像以获得移动体周围的捕获图像，所述捕获图像包括关于特征点或物体的信息；
基于所述捕获图像内的物体或特征点中的至少一个来设置转发区域；
以针对转发区域中的每一个转发区域设置的帧速率发送与捕获图像的整个区域或部分区域对应的多个转发区域内的区域图像的发送控制；
基于所述捕获图像内的物体或特征点中的至少一个的风险级别设置所述转发区域中的每一个转发区域的帧速率；以及
基于所述转发区域中的每一个转发区域的帧速率来设置成像速率。
7.一种图像处理装置，包括：
区域设置单元，所述区域设置单元基于由成像装置进行成像的捕获图像内的物体或特征点中的至少一个来设置与所述捕获图像的整个区域或部分区域对应的多个转发区域，所述捕获图像包括关于特征点或物体的信息；
帧速率设置单元，所述帧速率设置单元基于所述捕获图像内的物体和特征点中的至少一个的风险级别设置所述转发区域中的每一个转发区域的帧速率；
发送控制单元，所述发送控制单元控制区域设置信息向成像装置的发送，该区域设置信息与所述转发区域中的每一个转发区域和所述转发区域中的每一个转发区域的帧速率相关；以及
接收控制单元，所述接收控制单元控制以基于所述区域设置信息的帧速率从所述成像装置发送的在所述转发区域中的每一个转发区域内的区域图像的接收。
8.根据权利要求7所述的图像处理装置，还包括以下至少之一：
物体检测单元，所述物体检测单元检测所述捕获图像内的物体；或者
特征点提取单元，所述特征点提取单元提取所述捕获图像内的特征点，其中
所述区域设置单元基于所述捕获图像内的物体的检测结果或特征点的提取结果中的至少一个来设置所述转发区域。
9.根据权利要求8所述的图像处理装置，其中
所述帧速率设置单元基于所述转发区域中的每一个转发区域内的物体的检测结果或所述转发区域中的每一个转发区域内的特征点的提取结果中的至少一个来设置所述转发区域中的每一个转发区域的帧速率。
10.根据权利要求9所述的图像处理装置，其中
所述帧速率设置单元基于所述转发区域中的每一个转发区域内的物体的类型、位置或移动中的至少一个来设置所述转发区域中的每一个转发区域的帧速率。
11.根据权利要求10所述的图像处理装置，其中
所述帧速率设置单元还基于所述成像装置的成像条件来设置所述转发区域中的每一个转发区域的帧速率。
12.根据权利要求8所述的图像处理装置，其中
所述帧速率设置单元基于所述转发区域中的每一个转发区域内的物体的检测结果、所述转发区域中的每一个转发区域内的特征点的提取结果或提供有所述成像装置的移动体的移动中的至少一个来设置所述转发区域中的每一个转发区域的帧速率。
13.根据权利要求7所述的图像处理装置，其中
所述帧速率设置单元将与所述捕获图像的整个区域对应的转发区域的帧速率设置为小于或等于各自与所述捕获图像的部分区域对应的转发区域的帧速率当中的最低帧速率。
14.根据权利要求7所述的图像处理装置，还包括
记录控制单元，所述记录控制单元控制所述区域图像中的每一个区域图像的记录。
15.根据权利要求7所述的图像处理装置，其中
所述成像装置在移动体内提供，以及
所述捕获图像是通过对所述移动体的周围环境进行成像而获得的图像。
16.一种图像处理方法，其中
图像处理装置执行：
基于由成像装置进行成像的捕获图像中的物体或特征点中的至少一个来设置与所述捕获图像的整个区域或部分区域对应的多个转发区域，所述捕获图像包括关于特征点或物体的信息；
基于所述捕获图像内的物体或特征点中的至少一个的风险级别设置所述转发区域中的每一个转发区域的帧速率；
控制区域设置信息向所述成像装置的发送，该区域设置信息与所述转发区域中的每一个转发区域和所述转发区域中的每一个转发区域的帧速率相关；以及
控制以基于所述区域设置信息的帧速率从所述成像装置发送的在所述转发区域中的每一个转发区域内的区域图像的接收。
CN201880065676.5A 2017-10-16 2018-10-03 成像装置、图像处理装置和图像处理方法 Active CN111201787B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017200212 2017-10-16
JP2017-200212 2017-10-16
PCT/JP2018/036965 WO2019077999A1 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法

Publications (2)

Publication Number Publication Date
CN111201787A CN111201787A (zh) 2020-05-26
CN111201787B true CN111201787B (zh) 2022-09-20

Family

ID=66174486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065676.5A Active CN111201787B (zh) 2017-10-16 2018-10-03 成像装置、图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US11363235B2 (zh)
EP (1) EP3700198B1 (zh)
JP (1) JP7314798B2 (zh)
KR (1) KR102613792B1 (zh)
CN (1) CN111201787B (zh)
WO (1) WO2019077999A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20220182552A1 (en) * 2020-12-08 2022-06-09 Westinghouse Air Brake Technologies Corporation Automatic camera configuration systems and methods
US11145294B2 (en) * 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
JP7363279B2 (ja) 2019-09-26 2023-10-18 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
US11164339B2 (en) * 2019-11-12 2021-11-02 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment temporal resampling
JP2022134409A (ja) * 2021-03-03 2022-09-15 トヨタ自動車株式会社 地図データ利用システム、地図データ利用方法及びプログラム
GB2607004A (en) * 2021-05-14 2022-11-30 Airbus Defence & Space Ltd Transmission of sensor data
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101755461A (zh) * 2007-07-20 2010-06-23 富士胶片株式会社 图像处理设备、图像处理方法和程序
CN201979824U (zh) * 2010-12-29 2011-09-21 珠海赛纳打印科技股份有限公司 成像装置、成像服务器和成像系统
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN105898131A (zh) * 2014-05-09 2016-08-24 佳能株式会社 图像捕捉控制方法和图像拾取装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP2006197194A (ja) 2005-01-13 2006-07-27 Olympus Corp 撮像装置
JP4895042B2 (ja) 2007-07-20 2012-03-14 富士フイルム株式会社 画像圧縮装置、画像圧縮方法、及びプログラム
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101992153B1 (ko) * 2012-11-13 2019-06-25 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법
US9197809B2 (en) * 2013-05-01 2015-11-24 Canon Kabushiki Kaisha Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP6155890B2 (ja) 2013-06-20 2017-07-05 サクサ株式会社 監視システム、表示装置及び表示用プログラム
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP6930423B2 (ja) * 2015-11-17 2021-09-01 ソニーグループ株式会社 受信装置、受信方法および送受信システム
GB201618501D0 (en) * 2016-11-02 2016-12-14 Qinetiq Ltd Method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101755461A (zh) * 2007-07-20 2010-06-23 富士胶片株式会社 图像处理设备、图像处理方法和程序
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN201979824U (zh) * 2010-12-29 2011-09-21 珠海赛纳打印科技股份有限公司 成像装置、成像服务器和成像系统
CN105898131A (zh) * 2014-05-09 2016-08-24 佳能株式会社 图像捕捉控制方法和图像拾取装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S.M.Chai等.Streaming I/O for Imaging Applications.《Seventh International Workshop on Computer Architecture for Machine Perception (CAMP’05)》.2005,第1-6页，图1-7. *
Streaming I/O for Imaging Applications;S.M.Chai等;《Seventh International Workshop on Computer Architecture for Machine Perception (CAMP’05)》;20050919;第1-6页，图1-7 *

Also Published As

Publication number Publication date
US20200322571A1 (en) 2020-10-08
US11363235B2 (en) 2022-06-14
JPWO2019077999A1 (ja) 2020-11-12
CN111201787A (zh) 2020-05-26
JP7314798B2 (ja) 2023-07-26
KR20200062223A (ko) 2020-06-03
WO2019077999A1 (ja) 2019-04-25
KR102613792B1 (ko) 2023-12-15
EP3700198B1 (en) 2024-04-03
EP3700198A4 (en) 2020-08-26
EP3700198A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
US11501461B2 (en) Controller, control method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
US11257374B2 (en) Information processing apparatus, information processing method, and moving object
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
CN114424265A (zh) 信号处理设备、信号处理方法、程序和移动设备
US20210295563A1 (en) Image processing apparatus, image processing method, and program
CN113196106A (zh) 信息处理设备、信息处理方法和程序
EP3863282B1 (en) Image processing device, and image processing method and program
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理系统
CN115777116A (zh) 信息处理装置、信息处理方法和程序
CN113424243A (zh) 信息处理装置、信息处理方法和信息处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant