CN104756497A - 图像传送系统 - Google Patents

图像传送系统 Download PDF

Info

Publication number
CN104756497A
CN104756497A CN201380054279.5A CN201380054279A CN104756497A CN 104756497 A CN104756497 A CN 104756497A CN 201380054279 A CN201380054279 A CN 201380054279A CN 104756497 A CN104756497 A CN 104756497A
Authority
CN
China
Prior art keywords
image
bit accuracy
accuracy information
generation unit
delivery system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380054279.5A
Other languages
English (en)
Other versions
CN104756497B (zh
Inventor
海野恭平
冈田光弘
小味弘典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN104756497A publication Critical patent/CN104756497A/zh
Application granted granted Critical
Publication of CN104756497B publication Critical patent/CN104756497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供一种图像传送系统，即使在后级的应用变化的情况下，也能够在维持高灰度图像的灰度的同时高效地削减代码量。图像传送系统从发送侧传送图像数据，在接收侧进行图像处理，所述图像传送系统具备：图像发送装置，对输入图像进行编码而输出并传送比特流；图像接收装置，接收并解码比特流而进行图像处理；比特精度信息生成部，生成图像内的各区域的比特精度信息；量化控制部，依照由比特精度信息生成部生成了的比特精度信息来控制在图像发送装置内部进行的量化处理中的量化步长；以及图像处理部，使用由图像接收装置解码了的解码图像来进行图像处理，比特信息生成部依照图像处理部的处理模式来切换比特精度信息的生成方法。

Description

图像传送系统
本申请主张在2012年10月17日申请了的日本专利申请第2012-229431号的优先权，通过参照而将其内容引入到本申请。
技术领域
本发明涉及图像传送系统。
背景技术
近年来，在监视照相机系统等中广泛使用与网络连接了的图像传送系统。另外，今后，考虑如下应用：将在汽车上安装了多个的照相机通过数字网络连接而有效利用于驾驶支援系统中等。
在上述使用例中，为了提高明暗部中的视觉认知性、并且提高细节部的形状的识别性，需要使用从以往的8比特精度的YUV信号扩大灰度而得到的高灰度图像。
在网络等传送频带被限制了的条件下传送这样的高灰度图像数据的情况下，例如用12比特对原图像的YUV分量进行采样并编码，从而图像的灰度表现提高，但另一方面代码量增加。因此，期望如下技术：尽可能维持原图像的灰度数，同时通过编码来高效地削减代码量。
作为本技术领域的背景技术，有日本特开2005-252556号公报(专利文献1)。
专利文献1：日本特开2005-252556号公报
发明内容
在上述专利文献1中，作为用于对高灰度图像高效率地进行编码的技术，利用CT(Computed Tomography：计算机断层扫描)图像数据的特征，记载了“针对图像数据的各像素，判定像素值是否存在于某个范围内，仅针对该范围内的像素进行高精度的编码，针对范围外的像素进行低精度的编码”。
但是，应该对图像内的哪个像素或者区域高精度地进行编码，这根据编码对象图像的特征、利用编码了的图像数据的后级的应用而不同。
关于此，在上述专利文献1中，未考虑对CT图像以外的图像进行编码的情况、以及将编码了的图像数据用于图像诊断以外的情况。
本发明提供一种图像传送系统，解决上述课题，即使在后级的应用变化的情况下，也能够在维持作为原图像的高灰度图像的灰度的同时高效地削减代码量。
以下简单地说明在本申请中公开的发明中的代表性的技术方案的概要。
(1)一种图像传送系统，从发送侧传送图像数据，在接收侧进行图像处理，所述图像传送系统具备：图像发送装置，对输入图像进行编码而输出并传送比特流；图像接收装置，接收并解码所述比特流而进行图像处理；比特精度信息生成部，生成图像内的各区域的比特精度信息；量化控制部，依照由所述比特精度信息生成部生成了的比特精度信息来控制在所述图像发送装置内部进行的量化处理中的量化步长；以及图像处理部，使用由所述图像接收装置解码了的解码图像来进行图像处理，所述比特精度信息生成部依照所述图像处理部的处理模式来切换比特精度信息的生成方法。
根据本发明，能够提供一种图像传送系统，即使在后级的应用变化的情况下，也能够在维持作为原图像的高灰度图像的灰度的同时高效地削减代码量。
根据与附图有关的以下的本发明的实施例的记载，本发明的其他目的、特征以及优点将变得清楚。
附图说明
图1是示出本发明的图像传送系统的第1实施方式的结构例的图。
图2是示出图像发送装置中的变换部的结构例的图。
图3是表示H.264中的QP和量化步长的关系的图形。
图4是表示比特精度信息和QP偏移的关系的第1例的表。
图5是表示比特精度信息和QP偏移的关系的第2例的表。
图6是通过车载照相机来摄影的图像的例子。
图7是车道探测模式时的比特精度信息的设定例。
图8是概览监视器模式时的比特精度信息的设定例。
图9是总结了ADAS的模式和对应的照相机的种类的表。
图10是障碍物探测模式时的比特精度信息的设定例。
图11是道路标识探测模式时的比特精度信息的设定例。
图12是直通模式时的比特精度信息的设定例。
图13是示出本发明的图像传送系统的第2实施方式的结构例的图。
图14是设定比特精度信息的生成方法的流程图。
图15是在概览监视器模式时在监视器中显示的图像的例子。
图16是用于实现概览监视器模式的结构图的例子。
(符号说明)
101：图像发送装置；102：摄像部；103：变换部；104：局部解码部；105：量化部；106：量化控制部；107：编码部；108：QP设定部；109：网络IF；110：预测部；111：频率变换部；121：图像接收装置；122：网络IF；123：解码部；124：图像处理部；125：比特精度信息生成部；126：监视器；127：扬声器；140：网络；151：图像发送装置；152：图像发送装置；153：图像发送装置；201：图像发送装置；209：网络IF；221：图像接收装置；222：网络IF；225：比特精度信息生成部。
具体实施方式
以下，使用附图来说明本发明的实施方式。
实施例1
图1示出本发明的图像传送系统的第1实施方式的结构例。以下，以将本发明应用于车载照相机系统的情况为例子进行说明。
图像发送装置101从外部被输入光并变换为图像，对所得到的图像进行编码而生成比特流，使上述比特流成包或者成帧，经由网络IF109输出到图像接收装置121。另外，图像发送装置101输入从图像接收装置121输出了的、后述的成包或者成帧了的比特精度信息。
摄像部102将从外部输入了的光变换为高灰度图像，将上述高灰度图像作为编码对象图像输出。
以下，分别说明变换部103、局部解码部104、量化部105、量化控制部106、编码部107、QP设定部108的处理，该处理针对将上述编码对象图像划分为16×16像素的每个区域(以下称为MB)进行。
变换部103将上述编码对象图像信号作为输入，进行后述的处理，输出变换系数。
图2示出变换部103的内部结构的例子。预测部110将编码对象图像和从局部解码部104输出的已编码区域的解码图像作为输入，根据上述解码图像制作上述编码对象图像的预测图像。进而，通过计算上述预测图像和上述编码对象图像的差分，生成误差图像，输出到频率变换部111。
在频率变换部111中，对上述误差图像实施离散余弦变换(DCT)等频率变换，输出作为其结果而得到的变换系数。
另外，此处，说明了作为变换部103的内部结构的一个例子而存在预测部110的情况的结构，但也可以是如ITU-T Rec.T.81|ISO/IEC10918-1(JPEG)那样不进行预测而在频率变换部111中对编码对象图像进行直接变换这样的结构。
量化部105将从变换部103输出的频率变换后的变换系数作为输入，在内部对上述变换系数进行量化，输出量化采样。关于量化步长，与ITU-T Rec.H.264|ISO/IEC 14496-10 Advanced Video Coding(高级视频编码)(以下称为H.264)等编码方式同样地，使用量化参数(QP)来控制。将在量化部105中使用的QP称为编码QP，从量化控制部106输出上述编码QP。
编码部107将从量化部105输出的量化采样作为输入，在内部进行熵编码，输出比特流。
局部解码部104将从量化部105输出的量化采样作为输入，进行逆量化、逆频率变换，从而得到包含量化误差的误差图像，之后，与从变换部103内部的预测部110输出的预测图像相加，从而生成解码图像，将上述解码图像输出到预测部110。
QP设定部108使用从编码部107输出的已编码MB的代码量，针对每个帧设定QP，将上述QP输出到量化控制部106。具体而言，为了实现例如目标比特率下的编码，比较针对每个帧预先设定了的目标代码量和实际的代码量，进行反馈控制以使帧的QP值向接近目标代码量的方向增减。另外，以下将从QP设定部输出的QP称为基础QP。
此处，说明了针对每个帧决定基础QP的情况，但也可以针对每个MB或者针对每多个MB设定基础QP。另外，也可以在序列整体中使用固定的基础QP。
量化控制部106将从网络IF109输出的比特精度信息作为输入，在内部计算QP偏移。之后，将从QP设定部108输入的基础QP和上述QP偏移相加，将得到的编码QP输出到量化部105。此处，比特精度信息是指，表示在由图像接收装置121内的图像处理部124进行的图像处理中在图像内的各区域中成为必要的灰度数的信息。
网络IF109将从编码部107输出的比特流作为输入，进行成包或者成帧处理，之后，输出上述成包或者成帧了的比特流。另外，从图像接收装置121经由网络，将成包或者成帧了的比特精度信息作为输入，进行解包或者解帧，输出到量化控制部106。
在上述编码对象图像的各帧的头中接收1个画面量的比特精度信息，并写入到量化控制部106内部的RAM。在各MB中计算上述QP偏移时，读出并使用写入到RAM的比特精度信息。
这样，比特精度信息能够针对每个帧变更设定，但不一定需要对每帧进行变更。如果在帧的头中未发送过来比特精度信息的情况下，则原样地继续使用在前一帧中使用了的比特精度信息。
接下来，说明使用了比特精度信息的具体的控制方法的例子。
如果将输入图像的YUV各分量的比特精度(灰度数)设为Din，则用1≤DMB≤Din的整数表示各MB中的比特精度信息DMB。例如，在输入图像的比特精度是12比特(Din＝12)的情况下，DMB取1～12中的某一个整数值。
首先，在QP设定部108中决定基础QP。
接下来，从经由网络IF109从图像接收装置121接收了的1个画面量的比特精度信息中读入该MB的比特精度信息。
根据上述该MB的比特精度信息，在量化控制部106中，使用式(公式1)来计算QP偏移QPoff。
(公式1)  QPoff＝(Din-DMB)×α
此处，α是任意的实数。在H.264中，如图3所示，QP每增加6，量化步长成为2倍，相当于将比特精度削减1bit。因此，在使用与H.264同样的QP的情况下，通过设为式(公式1)的α＝6，能够容易地求出与比特精度信息对应的QP偏移。
图4示出Din＝12、α＝6的情况的QPoff和DMB的关系。另外，在图4中，仅记载到DMB是6的情况，但对于DMB<6的情况也能够通过与DMB≥6的情况同样的方法来得到QPoff。
在上述内容中，以α＝6的情况为例子进行了说明，但如果预先决定α，则即使并非α＝6也能够通过上述同样的步骤容易地求出QP偏移。另外，QP偏移也可以不通过上述那样的计算式来决定，而通过如下方法来决定：如图5那样预先准备定义了Din、DMB、QPoff的关系的表格，每当输入DMB时参照表格。
另外，在1个画面量的所有MB的比特精度信息被设定为相同的值的情况下，还能够将编码对象图像作为具有与比特精度信息相等的比特精度的图像而进行编码处理。
例如，在编码对象图像的比特精度Din是Din＝12、每个MB的比特精度信息DMB在画面内所有MB中是DMB＝8的情况下，在图像发送装置101内部中仅使用编码对象图像信号的全部12比特中高位8比特。另外，在存在与H.264中的bit_depth_luma、bit_depth_chroma相当的、指定编码对象图像的比特精度的变量的情况下，这些变量也设定为与画面整体的DMB相等的值、例如8比特，将该信息嵌入到比特流而发送到图像接收装置121。
如以上那样，根据比特精度信息来削减用于运算的比特数，使未使用的运算器的时钟停止，从而能够削减运算处理所需的功耗。
接下来，说明图1中的图像接收装置121的结构以及处理。
图像接收装置121从图像发送装置101接收成包或者成帧了的比特流，并在内部进行解码，使用解码图像来进行识别处理等图像处理，向扬声器、监视器输出图像、声音。另外，在内部生成上述比特精度信息，进行成包或者成帧而输出到图像发送装置101。
网络IF122将从图像发送装置101输出的成包或者成帧了的比特流作为输入，进行解包或者解帧而输出到解码部123。另外，输入从比特精度信息生成部125输出的比特精度信息，进行成包或者成帧，输出上述成包或者成帧了的比特精度信息。
解码部123将上述解包或者解帧了的比特流作为输入，在内部制作解码图像，输出到图像处理部124。
图像处理部124将上述解码图像作为输入，在内部进行实现先进驾驶支援系统(以下称为ADAS)的图像识别处理，例如车道探测处理、障碍物探测处理，将识别结果的图像输出到监视器126。另外，在进行车道脱离警报等的情况下，向扬声器127输出声音信号。能够在行驶中切换车道探测、障碍物探测、概览监视器这样的ADAS中的处理的种类(以下称为处理模式)。
能够通过如下方式来实现处理模式的切换：例如与变速杆连动而在变速杆选择了倒车档的情况下自动地选择概览监视器模式，在选择了前进档或二档这样的进行前进行驶的档位的情况下自动地选择车道探测模式。
另外，除了如上所述与变速杆连动的方法以外，还能够通过司机、乘客利用在例如车辆导航系统等中配置的物理键或者触摸板操作而明示地指定处理模式来切换处理模式。
在图像处理部124中，当前执行哪个处理模式这样的处理模式信息被输出到比特精度信息生成部125。
比特精度信息生成部125从图像处理部124输入上述处理模式信息，依照上述处理模式信息来切换画面内的各MB的上述比特精度信息的设定方法。设定了的比特精度信息被输出到网络IF122。
此处，作为例子，对于上述处理模式存在模式1、模式2、模式3、模式4合计这4个种类的情况，使用图14来说明切换比特精度信息的生成方法的步骤。
首先，在步骤S130中，针对每个帧确认上述处理模式信息。接下来，在上述处理模式信息是模式1的情况下进入到步骤S131，在是模式2的情况下进入到步骤S132，在是模式3的情况下进入到步骤S133，在是模式4的情况下进入到步骤S134。
在步骤S131、步骤S132、步骤S133、步骤S134中分别读入在比特精度信息生成部125内部的存储器中预先保存的各模式下的生成方法。之后，进入到步骤S135。
在步骤S135中，依照在步骤S131、步骤S132、步骤S133、步骤S134中的某一个中读入了的设定方法来生成画面内的各MB中的比特精度信息。
接下来，对于上述处理模式信息是车道探测模式、和显示从上空俯瞰车辆那样的图像的概览监视器模式的情况，分别说明比特精度信息的具体的生成方法的例子。另外，一般，在车载照相机中存在设置在车辆前部的前置照相机、设置在车辆侧面部的侧置照相机、设置在车辆后部的后置照相机这3个种类，但此处以使用前置照相机的情况为例子进行说明。
首先，说明上述处理模式信息是车道探测模式的情况。在例如通过前置照相机而得到图6那样的影像的情况下，对于车道探测重要的仅为画面下半部分的道路部分。此时，在同一模式下使用前置照相机的情况下，基本上没有角度的变化，并且画面整体中的道路部分所占的区域也大致恒定。
因此，如果以仅使画面下半部分成为高比特精度、使画面上半部分成为低比特精度的方式设定上述比特精度信息，则能够在维持对车道探测处理重要的部分的灰度数的同时高效地削减代码量。另外，为便于说明，记载为画面的上半部分、下半部分，但不一定需要完全分成画面的各1/2，只要是区分画面整体中的道路部分所占的区域和其他区域那样的划分方法即可。
图7是以使画面上半部分成为低比特精度、使画面下半部分成为高比特精度的方式设定了比特精度信息的情况的例子。
在图7中，在水平方向、垂直方向上以恒定间隔平行地画出的直线表示MB的边界线，在各MB内显示了的数字表示各个MB的比特精度信息DMB。
在图7的例子中，在车道探测处理中，成为图像识别处理的对象的MB设定为12比特精度，对于其他MB，假设向监视器126显示图像的情况，设定为广泛用于显示装置的8比特。
接下来，说明上述处理模式信息切换为概览监视器模式的情况。概览监视器模式是指如下模式：对由前置照相机、左右的侧置照相机、后置照相机合计这4个照相机摄影了的图像进行变换/合成，在监视器中显示从上空俯瞰车辆的图15那样的图像。
在概览监视器模式下，在图像处理部124内部不特别进行图像识别处理，但如图16那样，为了将与前置照相机、左右的侧置照相机、后置照相机分别相当的图像发送装置101、151、152、153这4个经由网络140连接到图像接收装置121而同时地转送图像数据，必须考虑传送频带而削减各图像数据的代码量。因此，在概览监视器模式的情况下，考虑代码量的削减和进行图像变换处理时的运算精度这两方，例如如图8那样针对画面内的所有MB将比特精度信息DMB设定为10。
如以上那样，通过将针对各个模式的比特精度信息的设定样式预先记录到比特精度信息生成部内部的存储器、并依照处理模式信息来读出适合的设定样式，能够在维持在ADAS的各处理中在识别处理中使用的部分的灰度数的同时，削减其他部分的代码量而高效地编码。
另外，在本结构中，在图像接收装置121内部同时具备图像处理部124和比特精度信息生成部125，所以即使是如下方法也能够进行比特精度信息的设定，该方法是在例如车道探测模式的情况下，在图像处理部124中通过图像识别处理来对道路部分和道路以外的部分进行分类，将分类结果输入到比特精度信息生成部125，从而仅对道路部分分配高比特精度信息。
此时，也可以并非原样地使用图像识别结果，而是根据过去几帧量的识别结果来预测在接下来编码的帧中例如道路部分成为哪个区域，并根据其预测结果来分配比特精度信息。
在该情况下，与将设定样式预先记录到存储器的上述方式相比，能够针对对于识别处理重要的道路部分更正确地分配高比特精度，所以能够提高识别精度以及编码效率这双方。
以上，在前置照相机中，针对车道探测模式和概览监视器模式说明了比特精度信息的设定方法，但还存在车载照相机的种类和ADAS的模式的其他组合。图9中记载在车载照相机的种类和比特精度信息生成方法的切换中使用的处理模式信息的其他例子。另外，图10、图11、图12分别示出图9中的障碍物探测模式、道路标识探测模式、直通模式时的比特精度信息的设定例。如各个附图所示，例如，在障碍物探测模式的情况下，例如如图10那样，针对对于车辆有可能成为障碍物的区域、即画面内的道路部分及其周边以及车辆的上部分配高比特精度信息，在道路标识探测模式的情况下，如图11那样，对在画面内道路标识映入的上部区域分配高比特精度信息，在直通模式的情况下，如图12那样，不在画面内针对每个区域附加比特精度信息的高低而原样地显示解码图像。另外，各模式中的比特精度信息的设定例不限于此，而能够进行各种变更，并且也可以有其他模式设定。
另外，以上说明了取得从图像处理部124输出的处理模式信息而切换比特精度信息生成部125中的比特精度生成方法的情况，但也可以构成为在图像接收装置121内部具备CPU，通过上述CPU来控制图像处理部124和比特精度信息生成部的处理模式。
如以上那样，通过将照相机系统的应用目标限定于车载照相机系统，在图像处理部124内部进行的处理的种类被限定，所以预先保存在比特精度信息生成部125内部的比特精度信息的设定样式也被限定，能够削减设定样式保存用的存储器。
进而，通过将上述处理模式信息限定于车道探测模式和概览监视器模式这2个种类的切换，能够进一步削减保存比特精度信息的设定样式的存储器，并且在模式仅为2种的情况下，通过当前正在使用的模式，唯一地决定在接下来发生了切换时使用的模式，也能够确定保存了设定样式的存储器上的地址，所以能够在模式切换了时高速地读入设定样式。
另外，以上将MB的尺寸设为16×16像素进行了说明，但MB的尺寸也可以是8×8像素、32×32像素这样的除16×16像素以外的尺寸。另外，形状也不限于正方形，也可以使用长方形等其他多边形。MB的最小尺寸是1个像素。
另外，以上，以车载照相机系统为例子说明了本发明的实施方式，但还能够以使用了同样的图像发送装置101、图像接收装置121的结构应用于监视照相机系统。在监视照相机的情况下，可以进行如下控制：通过例如图像识别处理来检测画面内的人物等的活动区域，动态地仅对活动区域分配高比特精度，对其他背景部分分配低比特精度，但不限于此，例如，也可以以高比特精度分配画面内的通路等人物等有可能活动的区域，以低比特精度分配壁的上部等区域，能够进行各种变更。
实施例2
图13示出本发明的图像传送系统的第2实施方式的结构例。另外，在图13中，结构基本上与图1相同，除了以下的点：比特精度信息生成部225不存在于图像接收装置221而存在于图像发送装置201的内部，从图像处理部124输出的处理模式信息经由网络IF222、网络IF209而输入到比特精度信息生成部225。
对进行与第1实施方式中的说明同样的动作的部分附加与图1相同的符号，关于它们的动作，适宜地省略说明。
网络IF222从图像发送装置201接收成包或者成帧了的比特流、并进行解包或者解帧而输出到解码部123这点与第1实施方式相同，但不输入比特精度信息，而输入从图像处理部124输出的ADAS的处理模式信息，进行成包或者成帧，发送到图像发送装置201。
网络IF209对比特流进行成包或者成帧而输出到图像发送装置221这点与第1实施方式相同，但不接收比特精度信息，而接收成包或者成帧了的上述处理模式信息，进行解包或者解帧而输出到比特精度信息生成部225。
比特精度信息生成部225将从网络IF209输出的处理模式信息作为输入，在内部设定画面内的各MB的比特精度信息，将上述各MB的比特精度信息输出到量化控制部106。
此处，在比特精度信息生成部225中，能够通过与第1实施方式同样的方法来生成比特精度信息。
在第2实施方式中，还能够通过进一步从摄像部102向比特精度信息生成部225输入编码对象图像，来设定与编码对象图像对应的比特精度信息。
例如，在隧道内、晚上有照明的道路上行驶的情况下，在用车载照相机摄影的图像中混合存在明亮的区域和昏暗的区域。此处，在摄像部102中将光变换为图像信号时，针对每1帧根据输入光的强度来调整变换为图像信号时的增益。如上所述，在1帧内混合存在明亮的区域和昏暗的区域的情况下，与明亮的区域相匹配地调整增益，在昏暗的区域中，物体、人物与背景部分的像素值之差变小。在这样的状况下，在图像处理部124中希望进行例如障碍物探测等图像识别处理的情况下，昏暗的区域中的物体/人物的检测精度降低。
因此，为了维持输入图像的灰度数，图像内的昏暗的区域、即MB内的平均亮度值比预先设定了的阈值小的MB设定为DMB＝Din＝12。相反地，MB内的平均亮度值比阈值大的MB设定为DMB＝8。
如以上那样，通过在图像发送装置201内部具备比特精度信息生成部225，能够根据编码对象图像的画面内的各区域的特征，生成考虑了对识别处理的影响的比特精度信息。
另外，此处，说明了根据平均亮度来设定比特精度信息的例子，但也可以通过使用或者组合使用每个MB的边缘强度、色散值等通过解析编码对象图像而得到的其他指标来设定。
另外，在上述中，以比特精度信息是12比特和8比特这2种的情况为例子进行了说明，但还能够通过设定多个阈值，用同样的方法设定3种以上的比特精度信息。
另外，本实施方式也能够应用于监视照相机系统。在监视照相机系统中应用本实施方式的情况下，可以例如与上述同样地进行如下控制：判别图像内的昏暗的部分和其以外的部分，仅对昏暗的部分分配高比特精度，但不限于此，例如，也可以以高比特精度分配画面内的通路等人物等有可能活动的区域，以低比特精度分配壁的上部等区域，能够进行各种变更。
虽然记载了上述实施例，但本发明不限于此，本领域技术人员清楚能够在本发明的精神和所附权利要求书的范围内进行各种变更以及修正。

Claims (15)

1.一种图像传送系统，从发送侧传送图像数据，在接收侧进行图像处理，所述图像传送系统具备：
图像发送装置，对输入图像进行编码而输出并传送比特流；
图像接收装置，接收并解码所述比特流而进行图像处理；
比特精度信息生成部，生成图像内的各区域的比特精度信息；
量化控制部，依照由所述比特精度信息生成部生成了的比特精度信息来控制在所述图像发送装置内部进行的量化处理中的量化步长；以及
图像处理部，使用由所述图像接收装置解码了的解码图像来进行图像处理，
所述比特信息生成部依照所述图像处理部的处理模式来切换比特精度信息的生成方法。
2.根据权利要求1所述的图像传送系统，其中，
在所述图像接收装置内具备所述比特精度信息生成部和所述图像处理部，
所述比特精度信息生成部使用所述图像处理部的处理模式的信息和图像识别处理结果中的至少某一方来生成所述比特精度信息。
3.根据权利要求2所述的图像传送系统，其中，
所述图像传送系统是车载照相机系统，
所述比特精度信息生成部依照所述图像处理部的驾驶支援系统模式来切换比特精度信息的生成方法。
4.根据权利要求3所述的图像传送系统，其中，
所述比特精度信息生成部根据所述图像处理部的驾驶支援系统模式是概览监视器模式还是车道探测模式，来切换比特精度信息的生成方法。
5.根据权利要求4所述的图像传送系统，其中，
在所述驾驶支援系统模式是车道探测模式的情况下，所述比特精度信息生成部以使图像中的道路部分所占的区域成为比其他区域高的比特精度的方式，生成所述比特精度信息。
6.根据权利要求5所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
7.根据权利要求4所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
8.根据权利要求3所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
9.根据权利要求1所述的图像传送系统，其中，
在所述图像接收装置内具备所述图像处理部，
在所述图像发送装置内具备所述比特精度信息生成部和取得所述输入图像的摄像部，
所述图像接收装置将所述图像处理部的处理模式的信息发送到所述图像发送装置，
所述比特精度信息生成部使用所述处理模式的信息和从所述摄像部输出的编码对象图像中的至少某一方来生成所述比特精度信息。
10.根据权利要求9所述的图像传送系统，其中，
所述图像传送系统是车载照相机系统，
所述比特精度信息生成部依照所述图像处理部的驾驶支援系统模式来切换比特精度信息的生成方法。
11.根据权利要求10所述的图像传送系统，其中，
所述比特精度信息生成部根据所述图像处理部的驾驶支援系统模式是概览监视器模式还是车道探测模式，来切换比特精度信息的生成方法。
12.根据权利要求11所述的图像传送系统，其中，
在所述驾驶支援系统模式是车道探测模式的情况下，所述比特精度信息生成部以使图像中的道路部分所占的区域成为比其他区域高的比特精度的方式，生成所述比特精度信息。
13.根据权利要求12所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
14.根据权利要求11所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
15.根据权利要求10所述的图像传送系统，其中，
所述比特精度信息针对每个所述驾驶支援系统模式预先设定，并记录在存储单元中。
CN201380054279.5A 2012-10-17 2013-10-15 图像传送系统 Active CN104756497B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-229431 2012-10-17
JP2012229431A JP5986877B2 (ja) 2012-10-17 2012-10-17 画像伝送システム
PCT/JP2013/077983 WO2014061664A1 (ja) 2012-10-17 2013-10-15 画像伝送システム

Publications (2)

Publication Number Publication Date
CN104756497A true CN104756497A (zh) 2015-07-01
CN104756497B CN104756497B (zh) 2018-01-16

Family

ID=50488225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380054279.5A Active CN104756497B (zh) 2012-10-17 2013-10-15 图像传送系统

Country Status (4)

Country Link
US (1) US9877026B2 (zh)
JP (1) JP5986877B2 (zh)
CN (1) CN104756497B (zh)
WO (1) WO2014061664A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937384A (zh) * 2018-04-12 2020-11-13 高通股份有限公司 视频编码中基于变换的量化与动态范围调整尺度推导的协调

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6357385B2 (ja) * 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
JP6533142B2 (ja) * 2015-10-14 2019-06-19 株式会社東海理化電機製作所 シフト装置
JP2019140472A (ja) * 2018-02-08 2019-08-22 株式会社Ｓｏｋｅｎ 遠隔操縦される車両に搭載される画像送信装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559557A (en) * 1992-09-28 1996-09-24 Sony Corporation Motion video coding with adaptive precision for DC component coefficient quantization and variable length coding
CN1691782A (zh) * 2000-11-28 2005-11-02 国枝博昭 动态图像信息的高性能编码压缩系统
CN101902550A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理装置及图像处理方法
CN102036062A (zh) * 2009-09-29 2011-04-27 华为技术有限公司 视频编码方法、装置及电子设备
WO2011141971A1 (ja) * 2010-05-14 2011-11-17 三菱電機株式会社 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
CN102567736A (zh) * 2010-12-14 2012-07-11 三星电子株式会社 图像识别设备及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228383A (ja) * 1988-03-09 1989-09-12 Fujitsu Ltd 画像伝送方式
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
JPH10164572A (ja) * 1996-11-27 1998-06-19 Nec Corp 動画像符号化装置及び復号化装置
JP2003309835A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd 映像配信及び受信システム
JP2003309832A (ja) 2002-04-16 2003-10-31 Mitsubishi Electric Corp テレビ会議予約システムおよびそのシステムに使用する会議予約サーバとネットワーク管理サーバ
JP2005212709A (ja) * 2004-02-02 2005-08-11 Yoichi Takebayashi 車両運転支援システム
JP4255071B2 (ja) 2004-03-03 2009-04-15 Ｋｄｄｉ株式会社 注目画素値選択型符号化装置および復号装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559557A (en) * 1992-09-28 1996-09-24 Sony Corporation Motion video coding with adaptive precision for DC component coefficient quantization and variable length coding
CN1691782A (zh) * 2000-11-28 2005-11-02 国枝博昭 动态图像信息的高性能编码压缩系统
CN101902550A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理装置及图像处理方法
CN102036062A (zh) * 2009-09-29 2011-04-27 华为技术有限公司 视频编码方法、装置及电子设备
WO2011141971A1 (ja) * 2010-05-14 2011-11-17 三菱電機株式会社 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
CN102567736A (zh) * 2010-12-14 2012-07-11 三星电子株式会社 图像识别设备及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937384A (zh) * 2018-04-12 2020-11-13 高通股份有限公司 视频编码中基于变换的量化与动态范围调整尺度推导的协调
US11259023B2 (en) 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding

Also Published As

Publication number Publication date
CN104756497B (zh) 2018-01-16
US9877026B2 (en) 2018-01-23
US20150271497A1 (en) 2015-09-24
WO2014061664A1 (ja) 2014-04-24
JP2014082651A (ja) 2014-05-08
JP5986877B2 (ja) 2016-09-06

Similar Documents

Publication Publication Date Title
CN105391972B (zh) 图像通信设备、图像发送设备和图像接收设备
CN105306883B (zh) 图像接收装置、图像传送系统和图像接收方法
CN104756497A (zh) 图像传送系统
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
KR20160102414A (ko) 높은 동적 범위 이미지를 인코딩 및／또는 비트스트림을 디코딩하기 위한 방법 및 장치
EP0985318B1 (en) System for extracting coding parameters from video data
EP2782344A1 (en) Inter-image prediction method and device and corresponding coding method and apparatus
US20050243918A1 (en) Encoding circuit
JP2003528475A (ja) ビデオシーケンス内の冗長画像を検出するシステム
US5706366A (en) Apparatus for encoding an image signal having a still object using an image warping technique
US9986260B2 (en) Census transform data compression methods and systems
US20140369618A1 (en) Encoding device and monitoring system
GB2512825A (en) Transmitting and receiving a composite image
US20230319297A1 (en) Image encoding/decoding method, device, and computer-readable recording medium for signaling purpose of vcm bitstream
JPH09326024A (ja) 画像符号及び復号化方法とその装置
JP4171958B2 (ja) 画像処理装置及び画像処理方法
US11076167B2 (en) Device and method for coding video data
CN109302615B (zh) 视频压缩的自适应模板预测方法
JPH1028274A (ja) 立体画像符号化装置
EP3065127A1 (en) Method and device for processing image data
JP2005086226A (ja) 撮像装置
CN116916030A (zh) 用于在车辆中进行适应性的视频数据压缩的方法和相应的装置
Rao et al. Stixel on the bus: An efficient lossless compression scheme for depth information in traffic scenarios
JPH05199517A (ja) 画像符号化方法及び画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171222

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Osaka

Applicant before: Hitachi Maxell, Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220616

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Patentee before: MAXELL, Ltd.