CN109792506B - 图像生成装置、图像生成方法、记录介质以及图像处理系统 - Google Patents

图像生成装置、图像生成方法、记录介质以及图像处理系统 Download PDF

Info

Publication number
CN109792506B
CN109792506B CN201780059063.6A CN201780059063A CN109792506B CN 109792506 B CN109792506 B CN 109792506B CN 201780059063 A CN201780059063 A CN 201780059063A CN 109792506 B CN109792506 B CN 109792506B
Authority
CN
China
Prior art keywords
resolution
image
partial region
image data
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059063.6A
Other languages
English (en)
Other versions
CN109792506A (zh
Inventor
柴田修
岩井浩
西村佳寿子
三宅康夫
佐藤嘉晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Electronic Systems Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109792506A publication Critical patent/CN109792506A/zh
Application granted granted Critical
Publication of CN109792506B publication Critical patent/CN109792506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

图像生成装置具有接收部和控制部。接收部接收与移动体的行驶状态有关的行驶信息。控制部基于行驶信息来在图像传感器的多个像素的全部像素中或者由图像传感器拍摄得到的全部图像数据中设定第一部分区域，生成第一部分区域以外的区域的分辨率比第一部分区域的分辨率低的图像数据。图像传感器搭载于移动体来拍摄移动体的前方的区域。

Description

图像生成装置、图像生成方法、记录介质以及图像处理系统
技术领域
本公开涉及一种图像生成装置、图像生成方法、记录介质以及图像处理系统。
背景技术
已知有根据由车载摄像机拍摄得到的图像数据来检测对象物的技术以及减少该图像数据的技术。专利文献1中公开的图像处理装置具有图像获取部、区域设定部以及处理部。图像获取部获取红外线图像数据。区域设定部针对基于由图像获取部获取到的红外线图像数据的图像区域设定用于将图像区域分割为多个区域的边界线，将用边界线分割出的多个区域中的至少一个区域设定为像素密度变更区域。处理部进行用于降低像素密度变更区域的红外线图像数据的像素密度的处理，基于包含像素密度变更区域的图像区域的红外线图像数据来进行对象物的检测处理，基于检测处理的结果来生成进行显示用的图像数据。
专利文献1：日本特开2013-41481号公报
发明内容
本公开提供一种恰当地对利用移动体装载摄像机拍摄得到的图像数据进行压缩的图像生成装置。另外，本公开提供一种对由所述图像生成装置进行了压缩的图像数据进行处理的图像处理系统。
本公开的一个方式面向具有接收部和控制部的图像生成装置。接收部接收与移动体的行驶状态有关的行驶信息。控制部基于行驶信息来在图像传感器的多个像素的全部像素中或者由所述图像传感器拍摄得到的全部图像数据中选择第一部分区域。控制部还生成第一部分区域以外的区域的分辨率比第一部分区域的分辨率低的图像数据。
所述一个方式也可以是方法、程序以及记录有程序的非临时性的有形记录介质中的任一方。
另外，本公开的其它方式面向一种图像处理系统，该图像处理系统具有所述图像生成装置和对图像数据的分辨率进行变换的图像处理装置。
根据本公开，能够提供一种恰当地对由移动体装载摄像机拍摄得到的图像数据进行压缩的图像生成装置。另外，能够提供一种对由所述图像生成装置进行了压缩的图像数据进行处理的图像处理系统。
附图说明
图1是表示本公开的实施方式所涉及的图像生成装置和图像处理装置的硬件结构及其周边结构的图。
图2是表示摄像装置所包含的图像生成装置的功能模块的图。
图3是示意性地表示针对图像传感器构成的分区的图。
图4是表示压缩等级信息的图。
图5是表示基于行驶信息决定的各分区的压缩等级的图。
图6是表示基于行驶信息决定的图像格式信息的图。
图7是表示图像处理装置的功能模块的图。
图8是说明对分辨率进行变换的处理的变形例的图。
图9是表示深度学习层的结构例的图。
图10是表示基于物体的探测结果的感测方法的变更的图。
图11是表示针对图像传感器构成的分区的变形例的图。
图12是表示本公开的实施方式所涉及的图像生成装置和图像处理装置的硬件结构的变形例的图。
具体实施方式
在说明本公开的实施方式之前简单地说明现有技术中的问题。专利文献1公开了将多个图像区域中的至少一个区域设定为像素密度变更区域。但是，由搭载于作为移动体的一例的车辆的作为摄像机的车载摄像机拍摄得到的图像数据根据车辆的行驶而时刻发生变化，因此很多时候导致设定于像素密度变更区域的区域的像素密度的降低变得不恰当。
下面，参照附图来说明实施方式。
此外，在对同种要素加以区别地进行说明的情况下，如“分区200L”、“分区200R”那样使用参照标记，在对同种要素不相区别地进行说明的情况下，有时如“分区200”那样仅使用参照标记中的共同编号。
另外，以下的实施方式中的结构要素(包括要素步骤等)并非是必须的，除了特别指明的情况和原理上明确认为是必须的情况等以外。
<整体结构>
图1是表示本公开的实施方式所涉及的图像生成装置和图像处理装置的硬件结构及其周边结构的图。
作为移动体的一例的车辆1经由网络20而与包括本公开的实施方式所涉及的图像生成装置32的摄像装置10、作为本公开的图像处理装置的一个实施方式的ECU(ElectronicControl Unit：电子控制单元)12、行驶信息发送装置14以及主动传感器16连接。网络20例如可由主要被用于控制信号的传输的CAN(Controller Area Network：控制器区域网络)和主要被用于与多媒体有关的信号的传输的MOST(Media Oriented Systems Transport：面向媒体的传输系统)、IDB-1394(ITS(Intelligent Transport Systems：智能运输系统)Data Bus-1394)的组合构成。此外，车辆1并非必须具有装置10～16的全部装置，也可以仅具有一部分装置。另外，在一对一连接的情况下，也可以通过LVDS(Low voltagedifferential signaling：低电压差分信号)等串行接口进行连接。
摄像装置10是搭载于车辆1来拍摄车辆1的周围(典型地说是前方)的装置。摄像装置10具有图像传感器30和作为本公开的图像生成装置的一个实施方式的DSP(DigitalSignal Processor：数字信号处理器)32。从图像传感器30输出的像素信号经由规定的传输路径36被输入到DSP 32。此外，一般地，在图像传感器30向DSP 32发送模拟的图像信号的情况下，在图像传感器30与DSP 32之间通常配置ADC(Analog to Digital Converter：模数转换器)(未图示)。DSP 32也可以经由规定的传输路径34向图像传感器30输出控制信号。在后文中叙述摄像装置10的详细情况(参照图2)。
行驶信息发送装置14经由网络20向摄像装置10发送与车辆1等移动体在规定定时的行驶状态有关的行驶信息。在后文中叙述行驶信息的具体例。摄像装置10基于接收到的行驶信息来判定车辆1等移动体的行驶场景。作为车辆1等移动体的行驶场景的例子，有直行中、右转向中、左转向中、右转弯中、左转弯中、即将到达上坡顶部之前、即将到达下坡底部之前等。在后文中叙述行驶信息发送装置14的详细情况。
为了感测车辆1的周边的信息，主动传感器16发射毫米波或者激光等波，基于被周围的物体反射而返回自身的回波来测量车辆1与物体之间的距离等。
ECU 12控制与网络20连接的各设备。ECU 12也可以具有通信I/F(InterFace：接口)56、微型计算机(以下设为“微计算机”)50、程序存储器52以及主存储器54。这些结构要素50～56也能够经由内部总线59来进行双向通信。另外，在一对一连接的情况下，也可以对与图像数据有关的信息进行单向通信。
通信I/F 56控制经由网络20进行的数据的发送和接收。
程序存储器52保持程序58。程序存储器52也可以是如EEPROM(ElectricallyErasable Programmable Read Only Memory：电可擦除可编程只读存储器)那样的非易失性半导体存储器。
在主存储器54中保存与程序58的执行有关的各种数据。主存储器54也可以是如SRAM(Static Random Access Memory：静态随机存取存储器)或者DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)那样的易失性半导体存储器。
微计算机50从程序存储器52读出程序58并使用主存储器54来执行程序58，由此实现ECU 12所具有的各种功能。微计算机50也能够经由通信I/F 56及网络20而与其它设备10、14、16进行数据的发送和接收。
<图像生成装置的功能结构>
图2是表示摄像装置10所包括的图像生成装置的功能模块的图。
在图像传感器30中排列有具有光电转换元件的多个像素90(参照图3)，该图像传感器30依次输出将向各像素90入射的入射光进行光电转换而得到的信号。图像传感器30例如是CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器或者CCD(Charge-Coupled Device：电荷耦合器件)图像传感器。图像传感器30输出的信号可以是模拟信号或者数字信号。另外，一个像素的单位既可以是例如黑白BW的单像素结构，也可以是彩色RGB的单像素结构。
DSP 32是图像生成装置的一个实施方式，DSP 32具有第一接收部62和控制部60来作为功能。第一接收部62和控制部60的功能既可以作为FPGA(Field-Programmable GateArray：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：大规模集成电路)等逻辑电路来实现，也可以作为程序来实现。
第一接收部62从行驶信息发送装置14接收行驶信息100。行驶信息100既可以由行驶信息发送装置14适当进行发送，也可以由第一接收部62从行驶信息发送装置14适当进行获取。
控制部60基于由第一接收部62接收到的行驶信息100来控制来自图像传感器30的各像素的信号的读出。可以经由传输路径34从控制部60向图像传感器30传输控制信号，经由传输路径36从图像传感器30向控制部60传输像素的信号。例如，控制部60生成比从图像传感器30的全部像素读出信号的情况下的像素数少的像素数的图像数据(更具体地说，基于行驶信息100设定的第一部分区域以外的区域的分辨率比第一部分区域的分辨率低的图像数据)，例如输出到作为图像处理装置的一个实施方式的ECU 12。“设定”部分区域例如是从图像传感器的像素、图像数据等的整体的区域中“选择”或者“决定”其中一部分区域。
控制部60可以通过以规定的间隔对图像传感器30中排列的像素的信号进行跳读来减少输出的图像数据的像素数。另外，也可以是，控制部60从图像传感器30的全部像素读出信号，并利用规定的图像压缩算法(例如MPEG(Moving Picture Experts Group：运动图像专家组))进行压缩，由此减少输出的图像数据的像素数。在任何情况下，DSP 32输出的图像数据的像素数都比从图像传感器30的全部像素读出信号的情况下的像素数少。由此，能够降低摄像装置10与作为输出目的地的ECU 12之间的图像数据的数据传输量(或者数据传输率)。此外，也可以将从DSP 32输出的像素数减少了的图像数据称为“压缩图像数据”。
在此，图像传感器30的各像素属于多个分区中的某个分区，控制部60可以基于由第一接收部62接收到的行驶信息100来决定各分区200(参照图3)的分辨率。例如，控制部60基于行驶信息100，以使第一部分区域以外的至少一部分区域的分辨率比第一部分区域的分辨率低的方式决定分区200的分辨率。而且，控制部60生成不属于第一部分区域的至少一个分区的分辨率比属于第一部分区域的至少一个分区的分辨率低的图像数据。下面，参照图3和图4来进行说明。
图3是表示针对图像传感器30构成的分区200的图。
图3是在排列有与全HD(High Definition：高清)相当的横1920×纵1080(约207万)的像素90的图像传感器30中将横向和纵向的像素数分别以三等分的方式进行分割来形成九个分区200的例子。在这种情况下，各分区200的压缩前的像素数为横640×纵360(约23万)。此外，在本实施方式中，各分区200的压缩前的分辨率(每单位长度的像素数)相同，但是各分区的压缩前的像素数也可以不同。例如，也可以将图像传感器30以使图3中的中央分区的像素数比其它分区的像素数多的方式进行分割。
图4是表示压缩等级信息的图。可以如图4那样将各分区200能够取得的压缩等级(压缩LV)定义为压缩等级信息。压缩等级既可以是压缩率，也可以是压缩后的像素数，还可以是压缩后的分辨率。下面，说明图4的压缩等级信息。
维持被决定为压缩等级“1”的分区的像素数(进一步而言，分辨率)(非压缩)。在图3的例子中，压缩后的分区的分辨率是横640×纵360(约23万像素。相当于“全HD”)。
将被决定为压缩等级“2”的分区的像素数(进一步而言，分辨率)减少(压缩)为1/2。在图3的例子中，压缩后的分区的分辨率为横640×纵180或者横320×纵360(约11.5万像素。相当于“HD”)。
将被决定为压缩等级“3”的分区的像素数减少(压缩)为1/4。在图3的例子中，压缩后的分区的分辨率为横320×纵180(约5.7万像素。相当于“HD-”)。
将被决定为压缩等级“4”的分区的像素数减少(压缩)为1/4。在图3的例子中，压缩后的分区的分辨率为横640×纵90(约5.7万像素。“相当于SD(Standard Definition：标准分辨率)+”)。
将被决定为压缩等级“5”的分区的像素数减少(压缩)为1/8。在图3的例子中，压缩后的分区的分辨率为横320×纵90(约2.8万像素。相当于“SD”)。
<基于行驶信息来决定各分区的压缩等级的处理>
图5是表示基于行驶信息100来决定的各分区200的压缩等级的图。
控制部60根据由第一接收部62接收到的行驶信息100来判定车辆1的行驶场景是“直行中”、“右转向中”、“左转向中”、“紧挨上坡的顶部之前”以及“紧挨下坡的底部之前”中的哪个场景。
控制部60可以基于包含由作为行驶信息发送装置14的例子的转动角传感器发送的转动角的行驶信息100，来判定车辆1的行驶场景是“直行中”、“右转向中”以及“左转向中”中的哪个场景。转动角可以是车辆1的方向盘的角度。例如，控制部60可以在转动角从0度起向右旋转或者向左旋转的角度处于规定的第一角度的范围内的情况下判定为“直行中”。另外，控制部60可以在转动角向右旋转的角度处于比第一角度大且为规定的第二角度以下的范围内的情况下判定为“右转向中”，在转动角向左旋转的角度处于比第一角度大且为第二角度以下的范围内的情况下判定为“左转向中”。
控制部60可以基于包含由作为行驶信息发送装置14的例子的陀螺传感器发送的绕俯仰轴的角速度的行驶信息100，来判定车辆1的行驶场景是“紧挨上坡的顶部之前”和“紧挨下坡的底部之前”中的哪个场景、或者哪个场景都不是。例如，控制部60可以在绕俯仰轴的角速度表示车辆1向前方旋转的情况下判定为“紧挨上坡的顶部之前”，在绕俯仰轴的角速度表示车辆1向后方旋转的情况下判定为“紧挨下坡的底部之前”。
此外，控制部60也可以利用其它方法来判定行驶场景。例如，控制部60也可以基于包含由作为行驶信息发送装置14的一个方式的导航装置发送的车辆的行驶地点的前方的梯度角的行驶信息100，来判定车辆1的行驶场景是“紧挨上坡的顶部之前”和“紧挨下坡的底部之前”中的哪个场景、或者哪个场景都不是。
<判定为直行中的情况>
在判定为直行中的情况下，控制部60将包含以下像素的分区200设定为第一部分区域，该像素是至少接受来自图像传感器30的直行方向的光的像素。而且，控制部60维持该第一部分区域的分区200的分辨率，并且将第一部分区域以外的至少一个分区200的分辨率决定为比第一部分区域低。换句话说，可以是，控制部60以使第一部分区域的分区200的压缩率(例如压缩等级。以下相同)最小的方式决定各分区的压缩率。这是因为，在直行中优选在短时间内高精度地探测车辆1的前方的物体。
例如图5所示，控制部60可以将作为第一部分区域的中央的分区200C决定为压缩等级“1”。另外，控制部60可以将第一部分区域以外的左侧、右侧以及下侧的分区200L、200R、200D决定为压缩等级“2”。另外，控制部60可以将左下和右下的分区200LD、200RD决定为压缩等级“3”。另外，控制部60可以将上侧的分区200U决定为压缩等级“4”。另外，控制部60可以将左上和右上的分区200LU、200RU决定为压缩等级“5”。使左上和右上的分区200LU、200RU的压缩等级高(也就是说，使像素数少)的理由是，在直行中在分区200LU、200RU中拍摄到的基本是天空、隧道的顶部等，分区200LU、200RU中的物体探测的重要性低。
<判定为右转向中的情况>
在判定为右转向中的情况下，控制部60将包含接受来自车辆1的转向方向(右方)的光的像素90的至少一个分区200设定为第一部分区域。而且，控制部60维持属于该第一部分区域的至少一个分区200的分辨率，并且将第一部分区域以外的至少一个分区200的分辨率决定为比第一部分区域的分辨率低。换句话说，可以是，控制部60以使第一部分区域的分区200的压缩率最小的方式决定各分区200的压缩率。这是因为，在右转向中优选在短时间内高精度地探测车辆1的右前方的物体。
例如如图5所示，控制部60可以将作为第一部分区域的右侧的分区200R决定为压缩等级“1”。另外，控制部60可以将第一部分区域以外的中央、右下以及左侧的分区200C、200RD、200L决定为压缩等级“2”。另外，控制部60可以将下侧和左下的分区200D、200LD决定为压缩等级“3”。另外，控制部60可以将右上的分区200RU决定为压缩等级“4”。另外，控制部60可以将上侧和左上的分区200U、200LU决定为压缩等级“5”。
<判定为左转向中的情况>
在判定为左转向中的情况下，控制部60将包含接受来自车辆1的转向方向(左方)的光的像素90的至少一个分区200设定为第一部分区域。而且，控制部60维持该第一部分区域的分区200的分辨率，并且使第一部分区域以外的至少一个分区200的分辨率比第一部分区域的分辨率低。换句话说，可以是，控制部60以使第一部分区域的分区200的压缩率最小的方式决定各分区200的压缩率。这是因为，在左转向中优选在短时间内高精度地探测车辆1的左前方的物体。
例如如图5所示，控制部60可以将作为第一部分区域的左侧的分区200L决定为压缩等级“1”。另外，控制部60可以将第一部分区域以外的中央、左下以及右侧的分区200C、200LD、200R决定为压缩等级“2”。另外，控制部60可以将下侧和右下的分区200D、200RD决定为压缩等级“3”。另外，控制部60可以将左上的分区200LU决定为压缩等级“4”。另外，控制部60可以将上侧和右上的分区200U、200RU决定为压缩等级“5”。
<判定为正在紧挨上坡的顶部之前行驶的情况>
在判定为正在紧挨上坡的顶部之前行驶的情况下，控制部60将包含接受相对于车辆1的行进方向来自斜下方的光的像素90的至少一个分区200设定为第一部分区域。而且，控制部60维持该第一部分区域的分区200的分辨率，并且将第一部分区域以外的至少一个分区200的分辨率决定为比第一部分区域的分辨率低。换句话说，可以是，控制部60以使第一部分区域的分区200的压缩率最小的方式决定各分区200的压缩率。这是因为，在紧挨上坡的顶部之前行驶期间，优选在短时间内高精度地探测相对于车辆1的行进方向处于斜下方的物体。
例如如图5所示，控制部60可以将作为第一部分区域的下侧的分区200D决定为压缩等级“1”。另外，控制部60可以将第一部分区域以外的中央、左下以及右下的分区200C、200LD、200RD决定为压缩等级“2”。另外，控制部60可以将左侧和右侧的分区200L、200R决定为压缩等级“3”。另外，控制部60可以将上侧的分区200U决定为压缩等级“4”。另外，控制部60可以将左上和右上的分区200LU、200RU决定为压缩等级“5”。
<判定为正在紧挨下坡的底部之前行驶的情况>
在判定为正在紧挨下坡的底部之前行驶的情况下，控制部60将包含接受相对于车辆1的行进方向来自斜上方的光的像素90的至少一个分区200设定为第一部分区域。而且，控制部60维持该第一部分区域的分区200的分辨率，并且将第一部分区域以外的至少一个分区200的分辨率决定为比第一部分区域的分辨率低。换句话说，可以是，控制部60以使第一部分区域的分区200的压缩率最小的方式决定各分区200的压缩率。这是因为，在紧挨下坡的底部之前行驶期间，优选在短时间内高精度地探测相对于车辆1的行进方向处于斜上方的物体。
例如如图5所示，控制部60可以将作为第一部分区域的上侧的分区200U决定为压缩等级“1”。另外，控制部60可以将第一部分区域以外的中央、左上以及右上的分区200C、200LU、200RU决定为压缩等级“2”。另外，控制部60可以将左侧和右侧的分区200L、200R决定为压缩等级“3”。另外，控制部60可以将下侧的分区200D决定为压缩等级“4”。另外，控制部60可以将左下和右下的分区200LD、200RD决定为压缩等级“5”。
如上所述，控制部60按照自身决定的各分区的压缩等级，将在图像传感器30中排列的各像素的信号读出到内置的存储器。具体地说，关于属于作为第一部分区域的压缩等级“1”的分区200的像素，不跳读。关于属于作为第一部分区域以外的压缩等级“2”的分区200的像素，读出横向和纵向中的任一方向上的每两个像素中的一个像素。关于属于作为第一部分区域以外的压缩等级“3”、“4”的分区200的像素，读出横向上的两个像素中的一个像素，并且该像素为纵向上的两个像素中的一个像素。关于属于作为第一部分区域以外的压缩等级“5”的分区200的像素，读出横向和纵向中的任一方向上的两个像素中的一个像素，并且该像素为另一方向上的四个像素中的一个像素。将以这种方法读出的像素的信号读出到控制部60的存储器，来生成压缩图像数据。在控制部60的控制下，经由网络20将该压缩图像数据从存储器发送到图像处理装置12。此外，在本实施方式中示出了读出到内置存储器的结构，但也可以设为如从来自图像传感器的像素的输出选择需要的输出那样的结构，也可以设为直接读出压缩后的输出的结构。
图6是表示基于行驶信息来决定的图像格式信息的图。
控制部60在输出压缩图像数据时，还一并输出包含与各分区200的分辨率有关的信息的图像格式信息。即，图像格式信息包含接收该输出的图像处理部将压缩图像数据正确地进行解压缩所需的信息。由此，接收所输出的压缩图像数据的ECU 12能够将分辨率不同的各分区200的图像数据恰当地结合来生成一个结合图像数据。此外，也可以在压缩图像数据的输出信号的消隐期间(优选为垂直消隐期间)从DSP 32发送图像格式信息。
例如如图6所示，图像格式信息可以包含从图像传感器30获得的压缩前的图像数据的总分辨率、压缩后的图像数据的总分辨率、纵向和横向上的分区数以及各分区中的横向分辨率和纵向分辨率。
压缩前的总分辨率表示压缩前的图像数据的分辨率(横向的分辨率×纵向的分辨率)。在图5的情况下，压缩前的分辨率是“横1920×纵1080”。
压缩后的总分辨率表示压缩后的图像数据的分辨率(横向的分辨率×纵向的分辨率)。在图5的情况下，压缩后的图像数据的分辨率是“横1280×纵630”。
纵向和横向上的分区数表示分区200的矩阵(横向的分区数量×纵向的分区数量)。在图5的情况下，分区矩阵是“3×3”。
各分区的横向分辨率表示相对于压缩后的横向的分辨率的各分区的横向的分辨率。在图5的情况下，各分区的横向分辨率可能根据行驶信息的判定结果发生变化。
各分区的纵向分辨率表示相对于压缩后的纵向的分辨率的各分区的纵向的分辨率。在图5的情况下，各分区的纵向分辨率可能根据行驶信息的判定结果发生变化。
<判定为直行中的情况>
在判定为直行中的情况下，例如如图6所示，控制部60可以将横向上的各分区的分辨率从左向右设为“320、640、320”，将纵向上的各分区的分辨率从上向下设为“90、360、180”。
<判定为右转向中的情况>
在判定为右转向中的情况下，例如如图6所示，控制部60可以将横向上的各分区的分辨率从左向右设为“320、320、640”，将纵向上的各分区的分辨率从上向下设为“90、360、180”。
<判定为左转向中的情况>
在判定为左转向中的情况下，例如如图6所示，控制部60可以将横向上的各分区的分辨率从左向右设为“640、320、320”，将纵向上的各分区的分辨率从上向下设为“90、360、180”。
<判定为正在紧挨上坡的顶部之前行驶的情况>
在判定为正在紧挨上坡的顶部之前行驶的情况下，例如如图6所示，控制部60可以将横向上的各分区的分辨率从左向右设为“320、640、320”，将纵向上的分辨率从上向下设为“90、180、360”。
<判定为正在紧挨下坡的底部之前行驶的情况>
在判定为正在紧挨下坡的底部之前行驶的情况下，例如如图6所示，控制部60可以将横向上的分辨率从左向右设为“320、640、320”，将纵向上的各分区的分辨率从上向下设为“360、180、90”。
<其它行驶状态>
控制部60也可以基于行驶信息100来判定车辆1的行驶状态是“右转弯中”还是“左转弯中”，行驶信息100是包含由作为行驶信息发送装置14的一个方式的方向指示器发送的指示方向。在判定为右转弯中的情况下，控制部60可以进行与判定为上述右转向中的情况下的处理相同的处理。在判定为左转弯中的情况下，控制部60可以进行与判定为上述左转向中的情况下的处理相同的处理。
<压缩等级的决定条件>
控制部60在自身的存储器中将压缩图像数据展开为多帧，并以使这些多帧的压缩图像数据的总分辨率相同的方式决定各分区200的压缩率。例如，控制部60可以将各分区的压缩率(或者横向上的分辨率和纵向上的分辨率)决定为：在输出的全部压缩图像帧中，图6的例子中的压缩后的分辨率相同。
在图5的例子中，即使行驶场景发生变化，控制部60也将九个分区200中的一个分区200决定为压缩等级“1”、将三个分区200决定为压缩等级“2”、将两个分区200决定为压缩等级“3”、将一个分区200决定为压缩等级“4”、将两个分区200决定为压缩等级“5”。即，控制部60以使输出的压缩图像帧的总分辨率在任何时间点都是横1280×纵630(约81万像素)的方式决定各图像的压缩等级。由此，关于从控制部60输出的压缩图像帧的数据传输速率是固定的。由此，能够减轻接收压缩图像帧来进行处理的图像处理装置(ECU 12)侧的处理负荷或简化结构。
<图像处理装置的功能结构>
图7是表示图像处理装置的功能模块的图。
作为图像处理装置的例子的ECU 12可以具有第二接收部70、图像处理部72、物体检测部74以及传感器控制部76来作为功能。
<第二接收部>
第二接收部70经由网络20来接收摄像装置10的DSP 32所具备的存储器的压缩图像数据120和图像格式信息140。此外，第二接收部70也可以不经由存储器地直接从DSP 32接收压缩图像数据120和图像格式信息140。另外，在ECU 12和DSP 32一体地构成的情况下，ECU 12也可以不具有第二接收部70。
<图像处理部>
图像处理部72基于由第二接收部70接收到的图像格式信息140对由第二接收部70接收到的压缩图像数据120的各分区200的分辨率进行变换，来生成解压缩图像数据。
例如，图像处理部72关于被压缩为分辨率是横320×纵180的分区200，将横向和纵向的分辨率分别增大到两倍来生成与非压缩的分区200的分辨率相同的横640×纵360的图像数据。图像处理部72关于其它压缩的分区200也通过相同的处理来生成横640×纵360的分辨率的图像数据。而且，图像处理部72通过将生成的这些图像数据进行结合来生成与原来的全HD相当的横1920×纵1080的分辨率的结合图像数据。此外，也可以将使分辨率增大的处理称为“解压缩处理”。
图像处理部72在使压缩图像数据的分辨率增大(也就是说，使像素数增加)时，也可以使用所谓的超分辨技术来补全像素。
<图像处理部的第一变形例>
图8是说明对分辨率进行变更的处理的变形例的图。
在上述的解压缩处理中，将全部分区的分辨率整合为非压缩的分区的分辨率。但是，不限于此，也可以将全部分区的分辨率统一为最高的第一分辨率与最低的第二分辨率之间的规定的分辨率(称为“中间分辨率”)来进行解压缩处理。
在这种情况下，使比中间分辨率大的分辨率的分区下降到中间分辨率。但是，当单纯地使分辨率下降时，在分辨率大时能够探测的物体(典型地说是被拍摄得小的物体)由于分辨率的下降而消失或者变得不清楚，导致在后述的物体检测部74中检测不到物体。因此，图像处理部72对使分辨率下降之前的分区200的图像数据实施如凸显规定的特征部分(例如具有规定的物体的特征的部分)那样的图像处理。例如，图像处理部72如图8所示那样强调规定的特征部分的像素320A的周围的像素。之后，图像处理部72使分区200的分辨率下降。由此，能够使由于分辨率的下降而使得在后述的物体检测部74中检测不到物体的可能性降低。此外，图像处理部72关于比中间分辨率低的分辨率的分区200也可以与上述同样地使用所谓的超分辨技术来使像素数增加至中间分辨率。
<图像处理部的第二变形例>
图9是表示深度学习层的结构例的图。
如上所述，优选将压缩图像数据以使后述的物体检测部74中的物体的检测精度变高的方式解压缩(使像素数增加)。为此，如图9所示，优选图像处理部72根据多个分区200的分辨率来构成深度学习层500。优选图像处理部72基于车辆1的行驶信息至少学习多个分区200各自的分辨率的变化、物体检测的结果来使深度学习层500最优化。具体如下。
图像处理部72将分区200的位置(本实施方式中的中央的分区200C、左侧的分区200L等)、行驶信息100以及在该位置的分区200中拍摄得到的像素数不同的图像数据设为输入数据502。而且，图像处理部72将使用深度学习层500进行解压缩后的图像数据设为输出数据504。而且，基于针对该解压缩后的图像数据进行的物体检测的成功和失败来训练深度学习层500。
图像处理部72通过使用像这样训练得到的深度学习层500来对各分区200的图像数据进行解压缩，能够对按每个分区200生成物体的检测精度高的解压缩后的图像数据。
<物体检测部>
物体检测部74从由图像处理部72生成的图像数据中检测规定的物体。规定的物体可以是作为其它移动体的一例的其它车辆、行人或者标识等与车辆1的行驶相关联的物体。
在由图像处理部72生成的结合图像数据中，通过DSP 32的控制部60的处理来使基于行驶信息100判定为比较重要的分区200的画质的劣化消失(非压缩)或减小(低压缩)。因而，物体检测部74能够在更短的时间内高精度地检测物体。例如，在单纯地被压缩了的图像数据的情况下，进行物体的检测需要多个结合图像帧(也就是说，长时间)，但是在本实施方式所涉及的图像数据中，重要性较高的分区200的画质高，因此能够从一个图像中帧检测物体的可能性变高。
<传感器控制部>
图10是表示基于物体的探测结果的感测方法的变更的图。
传感器控制部76根据物体检测部74检测物体的检测结果来变更主动传感器16的感测方法。例如，传感器控制部76将用于控制主动传感器16的传感器控制命令210发送到主动传感器16来变更传感器16的感测方法。如上所述，物体检测部74能够在更短的时间内高精度地检测物体，因此传感器控制部76也能够在更短的时间内高精度地发送适当的传感器控制命令210。
图10是主动传感器16照射毫米波300(也可以是激光)来测量车辆1与物体之间的距离的距离测量传感器的情况下的例子。在图10的例子中，设是物体检测部74根据图像数据在图像传感器30的比中心点靠左方的位置处检测到作为其它移动体的一例的其它车辆302。在这种情况下，传感器控制部76可以向主动传感器16发送将毫米波300的照射方向变更为左方的意思的传感器控制命令210。由此，ECU 12能够在更短的时间内高精度地测量车辆1与其它车辆302之间的距离。
作为主动传感器16的一例，可举出TOF(Time Of Flight：飞行时间)传感器。TOF传感器是基于照射波的发送定时与该照射波被物体反射所得到的波即反射波的接收定时之间的时间差(或者相位差)来测量离该物体的距离的传感器。因而，也可以使用TOF传感器来测量图10的例子中的车辆1与其它车辆302之间的距离。此外，也可以设为由图像传感器30直接接受来自TOF传感器的光来测量距离的结构。
此外，图像处理部72也可以是包括物体检测部74和传感器控制部76的功能的结构。
<针对图像传感器的分区的变形例>
图11表示针对图像传感器30构成的分区的变形例。
针对图像传感器30构成的分区200的数量不限于如图3那样的九个。例如如图11所示，在排列有横3840×纵2160(约820万)的像素的图像传感器中，也可以将横向和纵向的像素数分别以五等分的方式进行分割来形成25个分区。可以如以下那样定义这种情况下的压缩等级信息。
维持被决定为压缩等级“1”的分区的像素数(非压缩)。在图11的例子中，压缩后的分区的分辨率是横768×纵432(相对于“4K”)。
将被决定为压缩等级“2”的分区的像素数减少(压缩)为1/2。在图11的例子中，压缩后的分区的分辨率为横384×纵432或者横768×纵216(相对于“全HD+”)。
将被决定为压缩等级“3”的分区的像素数减少(压缩)为1/4。在图11的例子中，压缩后的分区的分辨率为横384×纵216(相当于“全HD”)。
将被决定为压缩等级“4”的分区的像素数减少(压缩)为1/4。在图11的例子中，压缩后的分区的分辨率为横768×纵108或者横192×纵432(相对于“HD+”)。
将被决定为压缩等级“5”的分区的像素数减少(压缩)为1/8。在图11的例子中，压缩后的分区的分辨率为横384×纵108或者横192×纵216(相当于“HD”)。
将被决定为压缩等级“6”的分区的像素数减少(压缩)为1/16。在图11的例子中，压缩后的分区的分辨率为横192×纵108(相对于“HD-”)。
另外，在图11的例子中，控制部60在判定行驶场景为“直行中”的情况下，也可以如图11的各分区内记载的数值那样决定各分区的压缩等级。此时，控制部60也可以与上述情况同样地，以使输出的压缩图像帧的分辨率在任何输出中都是横1920×纵1080(约207万像素)的方式决定各分区的压缩等级。
<附记>
图12是表示本实施方式所涉及的图像生成装置和图像处理装置的硬件结构的变形例的图。
如图12的例子所示，图像生成装置(DSP)32也可以配置于图像传感器30的外部。另外，图像生成装置(DSP)32和图像处理装置(ECU)12也可以是一个装置(芯片)。另外，上述的实施方式也可以由包含图像生成装置(DSP)32和图像处理装置(ECU)12的图像处理系统11来实现。另外，图像生成装置32的控制部60和图像处理装置12的各结构也可以分别由计算机程序来实现。计算机程序既可以是以保存于如DVD等那样的发行介质的方式来提供，也可以保存于能够经由网络来下载的网络上的服务器装置。
<注释>
除此以外，上述实施方式和各变形例都只不过是在实施本公开时具体化的一例，并非通过它们来限定地解释本公开的技术范围。即，本公开能够以不超出其精神或者其主要特征的方式以各种方式实施。
产业上的可利用性
本公开所涉及的图像生成装置、图像生成方法、程序、记录介质以及图像处理系统能够恰当地对拍摄得到的图像数据进行压缩，适于摄像装置或者移动体搭载设备等。
附图标记说明
1：车辆(移动体)；10：摄像装置；12：图像处理装置；11：图像处理系统；14：行驶信息发送装置；16：主动传感器；20：网络；30：图像传感器；32：图像生成装置；34：传输路径；36：传输路径；50：微型计算机；52：程序存储器；54：主存储器；56：通信I/F；58：程序；59：内部总线；60：控制部；62：第一接收部；70：第二接收部；72：图像处理部；74：物体检测部；76：传感器控制部；90：像素；100：行驶信息；120：压缩图像数据；140：图像格式信息；200：分区；210：传感器控制命令；300：毫米波；302：其它车辆(其它移动体)；320A：特征部分的像素；500：深度学习层；502：输入数据；504：输出数据。

Claims (18)

1.一种图像生成装置，具备：
接收部，其接收与移动体的行驶状态有关的行驶信息；以及
控制部，其基于由所述接收部接收到的所述行驶信息来在具有多个像素且搭载于所述移动体来拍摄所述移动体的前方的区域的图像传感器的所述多个像素的全部像素中或者由所述图像传感器拍摄得到的全部图像数据中选择第一部分区域，生成所述第一部分区域以外的区域的分辨率比所述第一部分区域的分辨率低的图像数据，
其中，所述图像传感器的所述多个像素分别属于预先决定的多个分区中的某个分区，
所述控制部基于所述行驶信息，以使所述第一部分区域以外的至少一部分区域的分辨率比所述第一部分区域的分辨率低的方式决定所述多个分区各自的分辨率，
所述多个分区包含属于所述第一部分区域以外的至少一个分区和属于所述第一部分区域的至少一个分区，
生成属于所述第一部分区域以外的所述至少一个分区的分辨率比所述多个分区中的属于所述第一部分区域的所述至少一个分区的分辨率低的所述图像数据，
所述控制部在根据所述行驶信息判定为所述移动体即将到达上坡顶部或即将到达下坡底部的情况下，将包含所述多个像素中的接受来自所述移动体的斜下方或斜上方的光的像素的分区设定为所述第一部分区域。
2.根据权利要求1所述的图像生成装置，其特征在于，
所述行驶信息包含所述移动体的绕俯仰轴的角速度和所述移动体的前方的梯度角中的至少一方以及所述移动体的转动角。
3.根据权利要求1所述的图像生成装置，其特征在于，
所述控制部在根据所述行驶信息判定为所述移动体处于直行中的情况下，将包含所述多个像素中的至少接受来自直行方向的光的像素的分区设定为所述第一部分区域。
4.根据权利要求1所述的图像生成装置，其特征在于，
所述控制部在根据所述行驶信息判定为所述移动体处于转向中的情况下，将包含所述多个像素中的接受来自所述移动体的转向方向的光的像素的分区设定为所述第一部分区域。
5.根据权利要求1所述的图像生成装置，其特征在于，
所述控制部还具备存储器，所述控制部将多帧的图像数据在所述存储器中展开，所述多帧的图像数据的总分辨率相同。
6.根据权利要求1所述的图像生成装置，其特征在于，
所述控制部还生成所述图像数据的图像格式信息，
所述图像格式信息至少包含来自所述图像传感器的图像的分辨率、所述图像数据的分辨率、所述多个分区的总数以及所述多个分区各自的分辨率。
7.一种图像处理系统，具备：
根据权利要求1所述的图像生成装置；以及
图像处理装置，其对所述图像数据的分辨率进行变换。
8.根据权利要求7所述的图像处理系统，其特征在于，
所述行驶信息包含所述移动体的绕俯仰轴的角速度和所述移动体的前方的梯度角中的至少一方以及所述移动体的转动角。
9.根据权利要求7所述的图像处理系统，其特征在于，
所述图像传感器的所述多个像素分别属于预先决定的多个分区中的某个分区，
所述控制部基于所述行驶信息，以使所述第一部分区域以外的至少一部分区域的分辨率比所述第一部分区域的分辨率低的方式决定所述多个分区各自的分辨率，
所述多个分区包含属于所述第一部分区域以外的至少一个分区和属于所述第一部分区域的至少一个分区，
生成属于所述第一部分区域以外的所述至少一个分区的分辨率比属于所述第一部分区域的所述至少一个分区的分辨率低的所述图像数据。
10.根据权利要求9所述的图像处理系统，其特征在于，
所述控制部还生成所述图像数据的图像格式信息，
所述图像格式信息至少包含从所述图像传感器输出的图像的分辨率、所述图像数据的所述分辨率、所述多个分区的总数以及所述多个分区各自的分辨率。
11.根据权利要求10所述的图像处理系统，其特征在于，
所述图像处理装置基于所述图像格式信息对所述图像数据的分辨率进行变换。
12.根据权利要求10所述的图像处理系统，其特征在于，
所述图像生成装置在所述图像数据的垂直消隐期间将所述图像格式信息发送到传输路径。
13.根据权利要求12所述的图像处理系统，其特征在于，
在所述图像数据中，所述多个分区中的至少两个分区具有互不相同的第一分辨率和第二分辨率，
所述图像处理装置在进行强调所述图像数据中的规定的特征部分的图像处理之后，将所述图像数据的各分区变换为具有所述第一分辨率与第二分辨率的中间值的中间分辨率。
14.根据权利要求10所述的图像处理系统，其特征在于，
所述图像处理装置根据所述多个分区各自的所述分辨率来构成深度学习层，基于所述移动体的所述行驶信息至少学习所述多个分区各自的分辨率的变化来使所述深度学习层最优化，并且基于所述图像格式信息对所述图像数据的所述分辨率进行变换。
15.根据权利要求7所述的图像处理系统，其特征在于，
所述图像处理装置与主动传感器以能够通信的方式连接，所述主动传感器基于在射出规定波后返回到所述主动传感器的返回波来检测所述移动体周围的规定的物体，
所述图像处理装置当检测到在变换了分辨率的图像数据中拍进规定的物体时，基于检测结果来控制所述主动传感器。
16.一种图像生成方法，包括以下步骤：
接收与移动体的行驶状态有关的行驶信息；
基于接收到的所述行驶信息来在具有多个像素且搭载于所述移动体来拍摄所述移动体的前方的区域的图像传感器的所述多个像素的全部像素中或者由所述图像传感器拍摄得到的全部图像数据中选择第一部分区域；以及
生成所述第一部分区域以外的区域的分辨率比所述第一部分区域的分辨率低的图像数据，
其中，所述图像传感器的所述多个像素分别属于预先决定的多个分区中的某个分区，
所述图像生成方法还包括以下步骤：基于所述行驶信息，以使所述第一部分区域以外的至少一部分区域的分辨率比所述第一部分区域的分辨率低的方式决定所述多个分区各自的分辨率，
所述多个分区包含属于所述第一部分区域以外的至少一个分区和属于所述第一部分区域的至少一个分区，
所述图像生成方法还包括以下步骤：
生成属于所述第一部分区域以外的所述至少一个分区的分辨率比所述多个分区中的属于所述第一部分区域的所述至少一个分区的分辨率低的所述图像数据；以及
在根据所述行驶信息判定为所述移动体即将到达上坡顶部或即将到达下坡底部的情况下，将包含所述多个像素中的接受来自所述移动体的斜下方或斜上方的光的像素的分区设定为所述第一部分区域。
17.根据权利要求16所述的图像生成方法，其特征在于，
所述行驶信息包含所述移动体的绕俯仰轴的角速度和所述移动体的前方的梯度角中的至少一方以及所述移动体的转动角。
18.一种记录介质，记录有使计算机执行以下步骤的程序，所述步骤包括：
接收与移动体的行驶状态有关的行驶信息；
基于接收到的所述行驶信息来在具有多个像素且搭载于所述移动体来拍摄所述移动体的前方的区域的图像传感器的所述多个像素的全部像素中选择或者由所述图像传感器拍摄得到的全部图像数据中选择第一部分区域；以及
生成所述第一部分区域以外的区域的分辨率比所述第一部分区域的分辨率低的图像数据，
其中，所述图像传感器的所述多个像素分别属于预先决定的多个分区中的某个分区，
所述程序使所述计算机还执行以下步骤：基于所述行驶信息，以使所述第一部分区域以外的至少一部分区域的分辨率比所述第一部分区域的分辨率低的方式决定所述多个分区各自的分辨率，
所述多个分区包含属于所述第一部分区域以外的至少一个分区和属于所述第一部分区域的至少一个分区，
所述程序使所述计算机还执行以下步骤：
生成属于所述第一部分区域以外的所述至少一个分区的分辨率比所述多个分区中的属于所述第一部分区域的所述至少一个分区的分辨率低的所述图像数据；以及
在根据所述行驶信息判定为所述移动体即将到达上坡顶部或即将到达下坡底部的情况下，将包含所述多个像素中的接受来自所述移动体的斜下方或斜上方的光的像素的分区设定为所述第一部分区域。
CN201780059063.6A 2016-09-29 2017-09-12 图像生成装置、图像生成方法、记录介质以及图像处理系统 Active CN109792506B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-191676 2016-09-29
JP2016191676A JP6735506B2 (ja) 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム
PCT/JP2017/032768 WO2018061740A1 (ja) 2016-09-29 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム

Publications (2)

Publication Number Publication Date
CN109792506A CN109792506A (zh) 2019-05-21
CN109792506B true CN109792506B (zh) 2021-02-26

Family

ID=61763487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059063.6A Active CN109792506B (zh) 2016-09-29 2017-09-12 图像生成装置、图像生成方法、记录介质以及图像处理系统

Country Status (5)

Country Link
US (1) US10763285B2 (zh)
JP (1) JP6735506B2 (zh)
CN (1) CN109792506B (zh)
DE (1) DE112017004892T5 (zh)
WO (1) WO2018061740A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018030319A1 (ja) * 2016-08-12 2018-08-09 パナソニックＩｐマネジメント株式会社 測距システム、および、移動体システム
JP7239747B2 (ja) 2020-01-30 2023-03-14 日立Astemo株式会社 情報処理装置
WO2021210245A1 (ja) * 2020-04-15 2021-10-21 日立Astemo株式会社 分解能制御装置、自動運転システム、および、分解能制御方法
JP7109528B2 (ja) * 2020-12-23 2022-07-29 三菱電機株式会社 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法
JP2022159912A (ja) 2021-04-05 2022-10-18 ウーブン・プラネット・ホールディングス株式会社 遠隔監視システム、遠隔監視方法、遠隔監視サーバ、及び車載情報処理装置
JP2023110325A (ja) 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018559A (ja) 2001-07-02 2003-01-17 National Aerospace Laboratory Of Japan データ多重化無線通信システム
JP4685561B2 (ja) 2005-09-12 2011-05-18 株式会社日立国際電気 カメラシステムの表示方法及びカメラシステム
JP4765649B2 (ja) * 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4791222B2 (ja) * 2006-03-27 2011-10-12 パナソニック株式会社 表示制御装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5325745B2 (ja) * 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
JP2013041481A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
US8791835B2 (en) * 2011-10-03 2014-07-29 Wei Zhang Methods for road safety enhancement using mobile communication device
CN104885448B (zh) * 2013-02-21 2018-04-06 本田技研工业株式会社 驾驶辅助装置以及图像处理程序
US20160182866A1 (en) * 2014-12-19 2016-06-23 Sony Corporation Selective high frame rate video capturing in imaging sensor subarea
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치

Also Published As

Publication number Publication date
JP2018056838A (ja) 2018-04-05
JP6735506B2 (ja) 2020-08-05
US20190198540A1 (en) 2019-06-27
DE112017004892T5 (de) 2019-06-27
CN109792506A (zh) 2019-05-21
US10763285B2 (en) 2020-09-01
WO2018061740A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109792506B (zh) 图像生成装置、图像生成方法、记录介质以及图像处理系统
CN109792491B (zh) 图像生成装置、图像生成方法以及记录介质
US11418749B2 (en) Solid-state image pick-up device and electronic device
US11375149B2 (en) Solid-state image sensor and imaging device
US7365779B2 (en) Image processing apparatus for selectively storing specific regions of an image
US11257193B2 (en) Image processing apparatus
US11876540B2 (en) Processing of lossy-compressed ADAS sensor data for driver assistance systems
WO2022181099A1 (ja) 固体撮像素子、および、撮像装置
US11509849B2 (en) Imaging device, imaging system, and moving body
US11394903B2 (en) Imaging apparatus, imaging system, and moving body
JP7464801B2 (ja) 画像処理装置、および、画像データ送信方法
US20220165102A1 (en) Sensing apparatus and control system for automotive
EP4280594A1 (en) Imaging device and electronic apparatus
WO2022249736A1 (ja) 撮像装置および電子機器
JP2001069393A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan