CN111034182B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN111034182B
CN111034182B CN201880052187.6A CN201880052187A CN111034182B CN 111034182 B CN111034182 B CN 111034182B CN 201880052187 A CN201880052187 A CN 201880052187A CN 111034182 B CN111034182 B CN 111034182B
Authority
CN
China
Prior art keywords
captured
encoder
image
compressed
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880052187.6A
Other languages
English (en)
Other versions
CN111034182A (zh
Inventor
曾我部治彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN111034182A publication Critical patent/CN111034182A/zh
Application granted granted Critical
Publication of CN111034182B publication Critical patent/CN111034182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

图像处理装置对由拍摄装置(32)依次拍摄的拍摄图像进行压缩。图像处理装置具备：硬件编码器(302)，其使用专用电路对由拍摄装置依次拍摄的拍摄图像进行压缩；软件编码器(306、311)，其在通用处理器上对相较于硬件编码器中使用的拍摄图像降低了总像素数的、由拍摄装置依次拍摄的拍摄图像进行压缩；非易失性存储器(303)，其依次保存由硬件编码器压缩后的拍摄图像；以及发送部(308、308a、308b)，其使用无线通信将由软件编码器压缩后的拍摄图像发送到接收侧装置(2、2a、4、5)，该接收侧装置是图像处理装置的外部装置。

Description

图像处理装置
关联申请的相互参考
本申请基于2017年9月14日提交的日本专利申请编号2017-177019号，并在此通过参考援引其记载内容。
技术领域
本公开涉及对拍摄图像进行压缩的图像处理装置。
背景技术
已知有对拍摄图像进行压缩的技术。例如在专利文献1中，公开了将拍摄图像压缩并保存的行车记录仪。另外，在专利文献1中，公开了使用存储有如下算法的专用芯片的硬件编码器，即：高效地实现高品质数据压缩的算法。
现有技术文献
专利文献
专利文献1：JP 2002-209173A
发明内容
近年来，对监视图像及行车记录仪的行驶图像等拍摄图像的蓄存及发送需求提高。对此，专利文献1所公开那样的使用专用芯片的硬件编码器由于能够高效地实现高品质的数据压缩，所以能够蓄存高品质的图像。但是，在依次发送由硬件编码器压缩得到的高品质拍摄图像的情况下，会导致通信成本变高。对此，即使想要通过在发送时降低拍摄图像的品质来抑制通信成本的情况下，也由于硬件编码器使用专用芯片而难以实现。
本公开的目的在于，提供一种能够蓄存高品质的拍摄图像、并且更容易抑制发送拍摄图像时的通信成本的图像处理装置。
本公开的一个方案，图像处理装置对由拍摄装置依次拍摄的拍摄图像进行压缩，具备：硬件编码器，其使用专用电路对由拍摄装置依次拍摄的拍摄图像进行压缩；软件编码器，其在通用处理器上对相较于硬件编码器中使用的拍摄图像降低了总像素数的、由拍摄装置依次拍摄的拍摄图像进行压缩；非易失性存储器，其依次保存由硬件编码器压缩后的拍摄图像；以及发送部，其使用无线通信将由软件编码器压缩后的拍摄图像发送到接收侧装置，接收侧装置是本装置的外部装置。
由此，由于具备使用专用电路对由拍摄装置依次拍摄的拍摄图像进行压缩的硬件编码器，并将由硬件编码器压缩后的拍摄图像依次保存到非易失性存储器，所以能够使用硬件编码器蓄存高品质的拍摄图像。另外，由于具备在通用处理器上对相较于硬件编码器中使用的拍摄图像降低了总像素数的、由拍摄装置依次拍摄的拍摄图像进行压缩的软件编码器，并使用无线通信将由软件编码器压缩后的拍摄图像发送到接收侧装置，所以与发送由硬件编码器压缩后的拍摄图像的情况相比能够抑制通信成本。由于软件编码器在通用处理器上对拍摄图像进行压缩，所以与具有另一个使用专用电路进行压缩的硬件编码器的情况相比能够更容易实现。而且，由于同时使用硬件编码器和软件编码器，所以能够抑制处理器的资源不足。由此，即使使用通用处理器，也能够更容易同时兼顾由拍摄装置拍摄的拍摄图像的蓄存和将由拍摄装置拍摄的拍摄图像的总像素数降低并压缩后的拍摄图像的发送。其结果为，能够更容易蓄存高品质的拍摄图像，且抑制发送拍摄图像时的通信成本。
附图说明
本公开的上述目的及其他目的、特征和/或优点将通过参照附图进行的下述详细说明变得更为明确。在附图中，
图1是表示拍摄图像发送系统的概略结构的一例的图。
图2是表示车辆侧单元的概略结构的一例的图。
图3是表示通信终端的概略结构的一例的图。
图4是用于说明变换部中的图像比例尺的变换的一例的图。
图5是表示通信终端中的图像蓄存关联处理的流程的一例的流程图。
图6是表示通信终端中的图像发送关联处理的流程的一例的流程图。
图7是表示拍摄图像发送系统的概略结构的一例的图。
图8是表示通信终端的概略结构的一例的图。
图9是表示通信终端中的请求图像发送关联处理的流程的一例的流程图。
图10是表示拍摄图像发送系统的概略结构的一例的图。
图11是表示通信终端的概略结构的一例的图。
具体实施方式
参照附图，说明公开用的多个实施方式。需要说明的是，为了便于说明，存在在多个实施方式之间对相较于此前说明中使用的附图所示的部分具有相同功能的部分标注相同附图标记并省略其说明的情况。对于标注了相同附图标记的部分，能够参考其他实施方式中的说明。
(实施方式1)
(拍摄图像发送系统1的概略结构)
以下，使用附图说明本公开的实施方式1。如图1所示，拍摄图像发送系统1包括服务器装置2及车辆中使用的车辆侧单元3。
服务器装置2收集从车辆所使用的车辆侧单元3中的后述通信终端30发送的、由该车辆的摄像头32拍摄到的拍摄图像。此外，服务器装置2可以由一个服务器装置构成，也可以由多个服务器装置构成。该服务器装置2相当于本公开的接收侧装置。
车辆侧单元3在车辆中使用，依次拍摄本车周边。另外，车辆侧单元3进行将依次拍摄的拍摄图像压缩的图像压缩(即编码)。依次拍摄的拍摄图像也能够改称为动态图像。车辆侧单元3对压缩后的拍摄图像进行蓄存，并且通过无线通信与服务器装置2通信，将压缩后的拍摄图像发送到服务器装置2。关于车辆侧单元3的详情将在以下叙述。在服务器装置2侧，只要构成为在接收到从车辆侧单元3发送的压缩后的拍摄图像后，进行将压缩后的拍摄图像解压缩的解码即可。
(车辆侧单元3的概略结构)
接下来，使用图2说明车辆侧单元3的概略结构的一例。如图2所示，车辆侧单元3具备通信终端30、车辆状态传感器31及摄像头32。通信终端30及车辆状态传感器31与例如车内LAN连接。此外，在图2中，示出摄像头32与通信终端30直接连接的结构，但不必限定于此，也可以采用摄像头32与通信终端30经由车内LAN间接连接的结构。
车辆状态传感器31是用于检测本车的行驶状态等各种状态的传感器组。作为车辆状态传感器31，具有检测本车车速的车速传感器、检测本车的转向装置的操舵角的操舵传感器等。车辆状态传感器31将检测出的传感信息向车内LAN输出。此外，也可以构成为，由车辆状态传感器31检测出的传感信息经由搭载于本车的ECU向车内LAN输出。
摄像头32是在本车中使用并对本车周围的规定范围进行拍摄的摄像头。该摄像头32相当于本公开的拍摄装置。摄像头32可以是搭载于本车的摄像头，也可以是例如多功能移动电话的摄像头等。在作为摄像头32而使用多功能移动电话的摄像头等的情况下，只要构成为经由例如近距离无线通信等而与后述通信终端30连接即可。另外，可以构成为，多功能移动电话作为摄像头32和后述通信终端30而发挥功能，并经由例如近距离无线通信等与车内LAN连接。
摄像头32的拍摄方向可以是本车的后侧方等，但在本实施方式中列举拍摄方向是本车前方的情况为例进行说明。另外，在本实施方式中，列举由摄像头32依次拍摄的拍摄图像是分辨率为1920×1080点的Full HD(Full High Definition：全高清)图像的情况为例进行说明。
通信终端30经由公用通信网与服务器装置2通信。另外，通信终端30对由摄像头32依次拍摄的拍摄图像进行压缩，并将压缩后的拍摄图像依次保存到后述蓄存部303。除此以外，通信终端30对由摄像头32依次拍摄的拍摄图像进行压缩，并将压缩后的拍摄图像发送到服务器装置2。也就是说，通过摄像头32和通信终端30承担所谓行车记录仪的功能。该通信终端30相当于本公开的图像处理装置。关于通信终端30的详情将在以下叙述。
(通信终端30的概略结构)
接下来，说明通信终端30的概略结构。如图3所示，通信终端30具备输入部301、硬件编码器(以下称为H/W编码器)302、蓄存部303、微型计算机304及通信部307。
输入部301接受由摄像头32依次拍摄的拍摄图像的输入。H/W编码器302是使用专用电路对数据进行压缩的装置。在此所说的专用电路是特别用于图像压缩的电路。H/W编码器302通过使用安装了该电路的IC芯片等，而能够实现高品质的图像压缩。H/W编码器302作为专用电路而具备特别用于图像压缩的电路。H/W编码器302对经由输入部301从摄像头32依次得到的拍摄图像进行压缩并依次保存到蓄存部303。在本实施方式的例子中，对FullHD(Full High Definition，高全清)的拍摄图像进行压缩并依次保存到蓄存部303。
蓄存部303为非易失性存储器，保存由H/W编码器302压缩的拍摄图像。作为非易失性存储器，可以构成为使用内置于通信终端30的存储器，也可以构成为使用能够插拔的存储卡。可以构成为与本车的行驶驱动源的启动连动而开始由H/W编码器302压缩后的拍摄图像向蓄存部303的保存，也可以构成为在感知本车碰撞时这样的规定事件时以禁止盖写的方式开始保存。此外，在构成为与本车的行驶驱动源的启动连动而开始保存的情况下，只要构成为平时保存拍摄图像，并从经过了一定时间的拍摄图像依次删除即可。另外，在构成为在规定事件时以禁止盖写的方式开始保存的情况下，只要构成为在平时保存的拍摄图像中将规定事件时刻的前后一定时间范围以禁止盖写的方式进行保存即可。
微型计算机304具备通用处理器、存储器、I/O、和将它们连接起来的总线，通过执行存储于存储器的控制程序，来执行各种处理。在此所说的通用处理器是指也能够用于图像压缩以外的用途的、能够在各种嵌入式装置中使用的处理器。在此所说的存储器是非暂时性存储可由计算计读取的程序及数据的非临时有形存储介质(non-transitorytangible storage medium)。另外，非临时有形存储介质可由半导体存储器等实现。如图3所示，微型计算机304作为功能模块而具备变换部305及软件编码器(以下称为S/W编码器)306。
变换部305进行将经由输入部301从摄像头32依次得到的拍摄图像的总分辨率降低的变换。也就是说，变换图像比例尺。作为一例，将分辨率为1920×1080点的Full HD的拍摄图像变换成分辨率为640×480点的VGA(Video Graphics Array：视频图形阵列)的拍摄图像。在本实施方式中，作为一例，列举如下情况为例进行说明，即：变换部305通过将从摄像头32依次得到的拍摄图像中的一部分区域剪切出而变换图像比例尺。作为一例，如图4所示，可以构成为，将由摄像头32拍摄的拍摄图像(参照图4的A)中的、本车正面的一部分区域的拍摄图像(参照图4的B)剪切出。
也可以构成为，由摄像头32拍摄的拍摄图像中的被变换部305剪切出的区域与本车行驶状态相应地变更。关于本车的行驶状态，只要使用例如由车辆状态传感器31检测的传感信息等进行确定即可。作为一例，可以构成为，在本车行驶中将由摄像头32拍摄的拍摄图像中本车正面的一部分区域(参照图4的B)剪切出，与之相对在本车停泊中将由摄像头32拍摄的拍摄图像中的包含移动物所在区域的一部分区域剪切出。关于本车是行驶中还是停泊中，只要根据车辆状态传感器31中的车速传感器的传感信息进行确定即可。另外，关于移动物所在的区域，可以根据例如通过图像识别技术从一系列拍摄图像中被共通地检测出的物体的向量对移动物进行确定，从而对移动物所在的区域进行确定。此外，由变换部305剪切出的区域可以为被划分成多个的区域。
除此以外，也可以构成为，在本车被操舵一定程度以上的情况下，向本车操舵方向的相同方向移动所剪切出的区域。在此所说的一定程度以上的操舵可以设为例如推定为变向的操舵角以上的操舵。本车被操舵一定程度以上及本车的操舵方向只要根据车辆状态传感器31中的舵角传感器的传感信息进行确定即可。另外，可以构成为，在本车被操舵一定程度以上的情况下，向本车操舵方向的相同方向使所剪切出的区域移动与本车操舵量相应的量。
S/W编码器306对由变换部305变换图像比例尺后的拍摄图像进行压缩。也就是说，S/W编码器306在通用处理器上对相较于H/W编码器302中使用的拍摄图像降低了总像素数的、由摄像头32依次拍摄的拍摄图像进行压缩。另外，S/W编码器306在采用与本车行驶状态相应地变更由变换部305剪切出的区域的结构的情况下，与本车行驶状态相应地，变更由摄像头32依次拍摄的拍摄图像中的要压缩的区域。
通信部307具有无线通信用天线，通过在与例如基站之间进行移动通信，或利用无线通信在与无线LAN的访问点之间进行信息收发，而经由公用通信网与服务器装置2进行通信。如图3所示，通信部307具备发送部308。发送部308使用无线通信将由S/W编码器306压缩后的拍摄图像发送到服务器装置2。发送部308可以构成为将由S/W编码器306依次压缩的拍摄图像依次发送到服务器装置2，也可以构成为在存储器中蓄存一定量之后发送到服务器装置2。
(通信终端30中的图像蓄存关联处理)
在此，使用图5的流程图，说明通信终端30中与拍摄图像的蓄存关联的处理(以下称为图像蓄存关联处理)的流程的一例。图5的流程图只要构成为例如在通过输入部301接受由摄像头32依次拍摄的拍摄图像的输入的情况下开始即可。
首先，在S1中，H/W编码器302对经由输入部301从摄像头32得到的拍摄图像进行压缩。在S2中，H/W编码器302将在S1中压缩后的拍摄图像保存到蓄存部303中，结束图像蓄存关联处理。
(通信终端30中的图像发送关联处理)
接下来，使用图6的流程图，说明通信终端30中与拍摄图像的发送关联的处理(以下称为图像发送关联处理)的流程的一例。图6的流程图只要构成为例如在通过输入部301接受由摄像头32依次拍摄的拍摄图像的输入的情况下开始即可。在图6中，列举发送部308将由S/W编码器306依次压缩的拍摄图像依次发送到服务器装置2的情况为例进行说明。
首先，在S21中，变换部305对经由输入部301从摄像头32得到的拍摄图像的图像比例尺进行变换。在本实施方式的例子中，将Full HD的拍摄图像变换成VGA的拍摄图像。
在S22中，S/W编码器306对在S21中变换了图像比例尺后的拍摄图像进行压缩。在S23中，发送部308使用无线通信将在S23中压缩后的拍摄图像向服务器装置2发送，结束图像发送关联处理。
根据实施方式1的结构，由于通过H/W编码器302(其使用专用电路进行压缩)将由摄像头32依次拍摄的拍摄图像压缩之后依次保存到蓄存部303，所以能够使用H/W编码器302在通信终端30中蓄存高品质的拍摄图像。另外，由于通过S/W编码器306对相较于H/W编码器302中使用的拍摄图像降低了总像素数的、由摄像头32依次拍摄的拍摄图像进行压缩，并使用无线通信向服务器装置2发送，所以与发送由H/W编码器302压缩后的拍摄图像的情况相比能够抑制通信成本。
由于S/W编码器306在通用处理器上对拍摄图像进行压缩，所以与具备另一个使用专用电路进行压缩的H/W编码器302的情况相比能够容易实现。而且，由于同时使用H/W编码器302和S/W编码器306，所以能够抑制处理器的资源不足。由此，尽管使用在嵌入式装置中利用的程度的通用处理器，但能够更容易同时兼顾由摄像头32拍摄的拍摄图像的蓄存和对由摄像头32拍摄的拍摄图像的图像比例尺进行变换并压缩后的拍摄图像的发送。其结果为，能够更容易蓄存高品质的拍摄图像，且抑制发送拍摄图像时的通信成本。
另外，在采用与本车行驶状态相应地变更由摄像头32拍摄的拍摄图像中的被变换部305剪切出的区域的结构的情况下，能够将与行驶状态相应的重要度高的区域剪切出，因此，尽管将由摄像头32拍摄的拍摄图像的总像素数降低，但也能够向服务器装置2发送与行驶状态相应的重要度高的区域的拍摄图像。
(实施方式2)
在实施方式1中，示出了不将由H/W编码器302压缩并保存到蓄存部303的拍摄图像向服务器装置2发送的结构，但不必限定于此。例如，也可以构成为与来自服务器装置2的请求相应地将保存于蓄存部303的拍摄图像的一部分向服务器装置2发送(以下设为实施方式2)。
(拍摄图像发送系统1a的概略结构)
以下，说明实施方式2的结构。如图7所示，实施方式2的拍摄图像发送系统1a包括服务器装置2a及车辆中使用的车辆侧单元3a。车辆侧单元3a取代通信终端30而具备一部分处理与通信终端30不同的通信终端30a，除了该方面以外，其他与实施方式1的车辆侧单元3相同。关于通信终端30a的详情将后述。服务器装置2a除了对车辆侧单元3a请求发送由H/W编码器302压缩并保存到蓄存部303中的一部分拍摄图像以外，其他与实施方式1的服务器装置2相同。
服务器装置2a接收从通信终端30a发送的、由通信终端30a的S/W编码器306压缩后的、由摄像头32依次拍摄的拍摄图像(以下称为简易图像)，该简易图像相较于H/W编码器302中使用的拍摄图像降低了总像素数。并且，在需要与所接收的简易图像对应的、由H/W编码器302压缩并保存于蓄存部303的拍摄图像(以下称为对象图像)的情况下，对通信终端30a发送请求该对象图像的对象图像请求。可以在对象图像请求中包括例如所请求的对象图像的时间戳等。
与简易图像对应的对象图像可以构成为，由H/W编码器302压缩并保存于蓄存部303的拍摄图像中的、拍摄时刻与该简易图像相同的拍摄图像，也可以构成为包括拍摄时刻在前后一定时间内的拍摄图像。关于拍摄图像的拍摄时刻，只要使用时间戳进行确定即可。另外，关于是否需要对象图像的判断，可以由服务器装置2a进行判断，也可以由服务器装置2a的操作者进行判断。在是否需要对象图像的判断由服务器装置2a进行的情况下，可以构成为，例如在通过图像识别技术根据简易图像检测出规定事件的情况下判断成需要对象图像。
(通信终端30a的概略结构)
接下来，说明通信终端30a的概略结构。如图3所示，通信终端30a具备输入部301、H/W编码器302、蓄存部303、微型计算机304a及通信部307a。通信终端30a除了取代微型计算机304而具备微型计算机304a、以及取代通信部307而具备通信部307a以外，其他与实施方式1的通信终端30相同。
如图8所示，微型计算机304a作为功能模块而具备变换部305、S/W编码器306及对象图像确定部309。微型计算机304a除了具备对象图像确定部309以外，其他与实施方式1的微型计算机304相同。如图8所示，通信部307a具备发送部308a及接收部310。通信部307a除了取代发送部308而具备发送部308a、以及具备接收部310以外，其他与实施方式1的通信部307相同。此外，也可以构成为在实施方式1的通信部307也具备接收部。
发送部308a除了所发送的一部分数据不同以外，其他与实施方式1的发送部308相同。发送部308a除了发送由S/W编码器306压缩后的前述简易图像以外，在从服务器装置2a接收到对象图像请求的情况下，发送由H/W编码器302压缩并保存于蓄存部303的对象图像。接收部310接收从服务器装置2a发送来的对象图像请求。
对象图像确定部309在由接收部310接收到从服务器装置2a发送来的对象图像请求的情况下，根据由接收部310接收到的该对象图像请求，对所请求的对象图像进行确定。并且，从蓄存部303读出所请求的对象图像。对象图像确定部309可以构成为例如基于对象图像请求所包含的对象图像的时间戳对所请求的对象图像进行确定并从蓄存部303读出。对象图像确定部309将从蓄存部303读出的对象图像发送到发送部308a，并利用无线通信从发送部308a向服务器装置2a发送。
(通信终端30中的请求图像发送关联处理)
接下来，使用图9的流程图，说明通信终端30中与从服务器装置2请求的拍摄图像的发送关联的处理(以下称为请求图像发送关联处理)的流程的一例。图9的流程图只要构成为在由接收部310接收到从服务器装置2a发送的对象图像请求的情况下开始即可。
首先，在S31中，对象图像确定部309根据由接收部310接收到的该对象图像请求，对与请求相应的对象图像进行确定。在S32中，对象图像确定部309从由H/W编码器302压缩并保存于蓄存部303的拍摄图像中，读出在S31中确定出的对象图像。在S33中，发送部308a向服务器装置2a发送在S32中读出的对象图像，结束请求图像发送关联处理。
根据实施方式2的结构，也起到与实施方式1相同的效果。另外，根据实施方式2的结构，在有来自服务器装置2a的请求的情况下，通信终端30a从由H/W编码器302压缩并保存于蓄存部303的拍摄图像中向服务器装置2a发送与请求相应的对象图像。由此，关于服务器装置2a所请求的拍摄图像，服务器装置2a能够使用无线通信获取由H/W编码器302压缩并存储于蓄存部303的高品质的拍摄图像。
(实施方式3)
在实施方式1中，示出了向服务器装置2a发送由S/W编码器306压缩后的拍摄图像的结构，但也可以采用具备多个S/W编码器并按S/W编码器区分使用发送拍摄图像的目的地装置的种类的结构(以下设为实施方式3)。
(拍摄图像发送系统1b的概略结构)
以下，说明实施方式3的结构。如图10所示，实施方式3的拍摄图像发送系统1b包括车辆中使用的车辆侧单元3b及车辆侧单元4、和人所携带的携带终端5。车辆侧单元3b除了取代通信终端30而具备一部分处理与通信终端30不同的通信终端30b以外，其他与实施方式1的车辆侧单元3相同。关于通信终端30b的详情将后述。
车辆侧单元4在车辆中使用，具备通信模块和显示装置，接收从车辆侧单元3b中的通信终端30b发送的由通信终端30b压缩后的拍摄图像。只要构成为车辆侧单元4在接收到从车辆侧单元3b发送的压缩后的拍摄图像后，进行将压缩的拍摄图像解压缩的解码，并能够显示该拍摄图像即可。该车辆侧单元4相当于本公开的接收侧装置。
携带终端5接收从车辆侧单元3b中的通信终端30b发送的、由通信终端30b压缩后的拍摄图像。只要构成为携带终端5在接收到从车辆侧单元3b发送的压缩后的拍摄图像后，进行将压缩的拍摄图像解压缩的解码，并能够显示该拍摄图像即可。作为携带终端5，可以构成为使用例如多功能移动电话等。该携带终端5也相当于本公开的接收侧装置。
车辆侧单元4和携带终端5分别相当于不同种类的接收侧装置。在本实施方式中，列举车辆侧单元4显示QVGA(Quarter Video Graphics Array：四分之一视频图形阵列)的拍摄图像、携带终端5显示VGA的拍摄图像的情况为例进行说明。
(通信终端30b的概略结构)
接下来，说明通信终端30b的概略结构。如图11所示，通信终端30b具备输入部301、H/W编码器302、蓄存部303、微型计算机304b及通信部307b。通信终端30b除了取代微型计算机304而具备微型计算机304b、以及取代通信部307而具备通信部307b以外，其他与实施方式1的通信终端30相同。
如图11所示，微型计算机304b作为功能模块而具备变换部305b、S/W编码器306及S/W编码器311。微型计算机304b除了取代变换部305而具备变换部305b、以及在S/W编码器306的基础上还具备S/W编码器311以外，其他与实施方式1的微型计算机304相同。如图11所示，通信部307b具备发送部308b。通信部307b除了取代发送部308而具备发送部308b以外，其他与实施方式1的通信部307相同。此外，也可以构成为在实施方式3的通信部307b中具备接收部。
变换部305b除了与S/W编码器306和S/W编码器311各自对应地进行将经由输入部301从摄像头32依次得到的拍摄图像的总分辨率降低的变换以外，其他与实施方式1的变换部305相同。作为一例，将分辨率为1920×1080点的Full HD的拍摄图像变换成分辨率为640×480点的VGA的拍摄图像并发送到S/W编码器306，另一方面，变换成分辨率为320×240点的QVGA的拍摄图像并发送到S/W编码器311。
S/W编码器306对通过变换部305将图像比例尺变换成VGA的拍摄图像的拍摄图像进行压缩。另一方面，S/W编码器311对通过变换部305将图像比例尺变换成QVGA的拍摄图像的拍摄图像进行压缩。也就是说，S/W编码器311也在通用处理器上对相较于H/W编码器302中使用的拍摄图像降低了总像素数的、由摄像头32依次拍摄的拍摄图像进行压缩。设为S/W编码器306和S/W编码器311分别对总像素数不同的拍摄图像进行压缩。
发送部308b除了所发送的一部分数据不同以外，其他与实施方式1的发送部308相同。发送部308b将由S/W编码器306压缩后的VGA的拍摄图像发送到携带终端5，另一方面，将由S/W编码器311压缩后的QVGA的拍摄图像发送到车辆侧单元4。
根据实施方式3的结构，也起到与实施方式1相同的效果。另外，根据实施方式3的结构，能够与发送拍摄图像的目的地装置的种类相应地，对变换成各自不同的图像比例尺的拍摄图像进行压缩并发送。
(实施方式4)
在前述实施方式中，列举了与本车行驶状态相应地变更由变换部305、305b剪切出的区域的结构作为例子，但不必限定于此。例如，也可以是无论本车行驶状态如何均将由变换部305、305b剪切出的区域设为固定。该情况下，可以构成为通信终端30、30a、30b不从车辆状态传感器31获取传感信息。
(实施方式5)
在前述实施方式中，示出了将通信终端30、30a、30b用于车辆的结构，但不必限定于此。能够将通信终端30、30a、30b用于各种移动体。另外，也可以构成为将通信终端30、30a、30b用于设置场所固定的监视摄像头等。在该情况下，只要构成为将通过H/W编码器302对由监视摄像头依次得到的拍摄图像进行压缩后的拍摄图像蓄存到非易失性存储器，并且对于通过S/W编码器306对相较于由监视摄像头得到的拍摄图像而降低了总像素数的拍摄图像进行压缩后的拍摄图像，使用无线通信发送到服务器装置2等即可。
在此，本申请中记载的流程或流程处理由多个步骤(或称为部)构成，各步骤例如表现为S1。而且，各步骤能够划分为多个子步骤，另一方面，多个步骤也能够组合而成为一个步骤。
以上，例示了本公开的一个方案的图像处理装置的实施方式、结构、样态，但本公开的实施方式、结构、形态不限定于上述的各实施方式、各结构、各形态。例如，关于在不同的实施方式、结构、形态中适当组合分别公开的技术部分而得到的实施方式、结构、形态也包含于本公开的实施方式、结构、形态的范围。

Claims (5)

1.一种图像处理装置，对由拍摄装置(32)依次拍摄的拍摄图像进行压缩，其特征在于，具备：
硬件编码器(302)，其使用专用电路对由所述拍摄装置依次拍摄的拍摄图像进行压缩；
软件编码器(306、311)，其在通用处理器上对相较于所述硬件编码器所使用的拍摄图像降低了总像素数的、由所述拍摄装置依次拍摄的拍摄图像进行压缩；
非易失性存储器(303)，其依次保存由所述硬件编码器压缩后的拍摄图像；以及
发送部(308、308a、308b)，其使用无线通信将由所述软件编码器压缩后的拍摄图像发送到接收侧装置(2、2a、4、5)，所述接收侧装置是所述图像处理装置的外部装置，
具备多个所述软件编码器(306、311)，多个所述软件编码器分别对相较于所述硬件编码器所使用的拍摄图像降低了总像素数且各自总像素数不同的、由所述拍摄装置依次拍摄的拍摄图像进行压缩，
所述发送部(308b)针对多个所述软件编码器中的各个软件编码器而区分使用压缩后的所述拍摄图像的发送目的地的所述接收侧装置的种类，
所述图像处理装置在车辆中使用，
所述软件编码器对由所述拍摄装置依次拍摄的拍摄图像中的一部分区域的拍摄图像进行压缩，
与所述车辆的行驶状态相应地，变更由所述拍摄装置依次拍摄的拍摄图像中的、由所述软件编码器压缩的区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述拍摄装置的拍摄范围至少包括所述车辆的前方，
在所述车辆的行驶中，由所述软件编码器压缩的区域是由所述拍摄装置依次拍摄的拍摄图像中的所述车辆的正面的一部分区域；在所述车辆的停泊中，由所述软件编码器压缩的区域是由所述拍摄装置依次拍摄的拍摄图像中的包括移动物所在区域的一部分区域。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
具备接收部(310)，该接收部(310)接收由所述软件编码器压缩后的拍摄图像的发送目的地的所述接收侧装置(2a)所发送的对象图像请求，该对象图像请求用于请求对象图像，该对象图像是与由所述软件编码器压缩后的拍摄图像对应的由所述硬件编码器压缩的拍摄图像，
在通过所述接收部接收到所述对象图像请求的情况下，所述发送部(308a)将蓄存于所述非易失性存储器的所述对象图像发送到所述对象图像请求的发送源的所述接收侧装置。
4.一种图像处理装置，对由拍摄装置(32)依次拍摄的拍摄图像进行压缩，其特征在于，具备：
硬件编码器(302)，其使用专用电路对由所述拍摄装置依次拍摄的拍摄图像进行压缩；
软件编码器(306、311)，其在通用处理器上对相较于所述硬件编码器所使用的拍摄图像降低了总像素数的、由所述拍摄装置依次拍摄的拍摄图像进行压缩；
非易失性存储器(303)，其依次保存由所述硬件编码器压缩后的拍摄图像；以及
发送部(308、308a、308b)，其使用无线通信将由所述软件编码器压缩后的拍摄图像发送到接收侧装置(2、2a、4、5)，所述接收侧装置是所述图像处理装置的外部装置，
所述软件编码器对由所述拍摄装置依次拍摄的拍摄图像中的一部分区域的拍摄图像进行压缩，
与车辆的行驶状态相应地，变更由所述拍摄装置依次拍摄的拍摄图像中的、由所述软件编码器压缩的区域，
所述拍摄装置的拍摄范围至少包括所述车辆的前方，
在所述车辆的行驶中，由所述软件编码器压缩的区域是由所述拍摄装置依次拍摄的拍摄图像中的所述车辆的正面的一部分区域；
在所述车辆的停泊中，由所述软件编码器压缩的区域是由所述拍摄装置依次拍摄的拍摄图像中的包括移动物所在区域的一部分区域。
5.根据权利要求4所述的图像处理装置，其特征在于，
具备接收部(310)，该接收部(310)接收由所述软件编码器压缩后的拍摄图像的发送目的地的所述接收侧装置(2a)所发送的对象图像请求，该对象图像请求用于请求对象图像，该对象图像是与由所述软件编码器压缩后的拍摄图像对应的由所述硬件编码器压缩的拍摄图像，
在通过所述接收部接收到所述对象图像请求的情况下，所述发送部(308a)将蓄存于所述非易失性存储器的所述对象图像发送到所述对象图像请求的发送源的所述接收侧装置。
CN201880052187.6A 2017-09-14 2018-08-01 图像处理装置 Active CN111034182B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-177019 2017-09-14
JP2017177019A JP6806011B2 (ja) 2017-09-14 2017-09-14 画像処理装置
PCT/JP2018/028788 WO2019054070A1 (ja) 2017-09-14 2018-08-01 画像処理装置

Publications (2)

Publication Number Publication Date
CN111034182A CN111034182A (zh) 2020-04-17
CN111034182B true CN111034182B (zh) 2022-03-04

Family

ID=65723350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052187.6A Active CN111034182B (zh) 2017-09-14 2018-08-01 图像处理装置

Country Status (5)

Country Link
US (1) US20200195945A1 (zh)
JP (1) JP6806011B2 (zh)
CN (1) CN111034182B (zh)
DE (1) DE112018005163T5 (zh)
WO (1) WO2019054070A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6737253B2 (ja) 2017-09-05 2020-08-05 株式会社デンソー 画像処理装置
JP2022045521A (ja) * 2020-09-09 2022-03-22 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
CN114172927B (zh) * 2020-09-09 2024-03-15 丰田自动车株式会社 信息管理系统以及在该信息管理系统中使用的车载装置、便携终端、图像管理服务器
JP2022045520A (ja) * 2020-09-09 2022-03-22 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ
JPWO2022208808A1 (zh) * 2021-03-31 2022-10-06

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049888A (ja) * 2009-08-27 2011-03-10 Panasonic Corp ネットワークカメラ及び映像配信システム
WO2015149280A1 (zh) * 2014-04-01 2015-10-08 华为技术有限公司 一种自适应调制编码的方法、装置及系统
CN106157388A (zh) * 2016-07-06 2016-11-23 福州瑞芯微电子股份有限公司 局部高效编码行车记录方法及系统
CN106993190A (zh) * 2017-03-31 2017-07-28 武汉斗鱼网络科技有限公司 软硬件协同编码方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061129A (ja) * 1999-08-20 2001-03-06 Fujitsu General Ltd ドライブレコーダシステム
JP2002209173A (ja) 2001-01-09 2002-07-26 Digitalact:Kk ドライブレコーダ及び該ドライブレコーダの機能を実現するための記録媒体
JP4394902B2 (ja) * 2003-06-11 2010-01-06 トムソン ライセンシング 画像データ処理装置
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
US20150350686A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Preencoder assisted video encoding
US10338996B2 (en) * 2015-01-27 2019-07-02 Nxp Usa, Inc. Pipelined decoder and method for conditional storage
US9727055B2 (en) * 2015-03-31 2017-08-08 Alcatel-Lucent Usa Inc. System and method for video processing and presentation
JP2017177019A (ja) 2016-03-30 2017-10-05 豊田合成株式会社 縫製部への接着剤の塗布方法と塗布装置
CN109429065A (zh) * 2017-09-05 2019-03-05 联咏科技股份有限公司 视频编码装置及视频编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049888A (ja) * 2009-08-27 2011-03-10 Panasonic Corp ネットワークカメラ及び映像配信システム
WO2015149280A1 (zh) * 2014-04-01 2015-10-08 华为技术有限公司 一种自适应调制编码的方法、装置及系统
CN106157388A (zh) * 2016-07-06 2016-11-23 福州瑞芯微电子股份有限公司 局部高效编码行车记录方法及系统
CN106993190A (zh) * 2017-03-31 2017-07-28 武汉斗鱼网络科技有限公司 软硬件协同编码方法及系统

Also Published As

Publication number Publication date
JP6806011B2 (ja) 2020-12-23
CN111034182A (zh) 2020-04-17
JP2019054394A (ja) 2019-04-04
WO2019054070A1 (ja) 2019-03-21
DE112018005163T5 (de) 2020-06-25
US20200195945A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN111034182B (zh) 图像处理装置
KR102374013B1 (ko) 촬상 장치 및 전자 기기
US9258564B2 (en) Visual search system architectures based on compressed or compact feature descriptors
JP6024952B2 (ja) 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
EP3471395B1 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
JP4892965B2 (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
KR101561626B1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
US20220294467A1 (en) Processing of lossy-compressed adas sensor data for driver assistance systems
US20200193571A1 (en) Image processing apparatus
CN107958224B (zh) Adas上基于isp的图像预处理系统及方法
US20120086818A1 (en) Digital camera
US20210272249A1 (en) Electronic device and method for correcting image on basis of image transmission state
JP2010068471A (ja) 画像処理装置
US10647255B2 (en) Image processing device, image processing method, and on-vehicle apparatus
JP5872171B2 (ja) カメラシステム
CN116801093B (zh) 图像处理方法、设备及存储介质
CN111506418A (zh) 用于使用移动设备的图像处理的系统和方法
US11348379B2 (en) Drive recorder
KR20130125641A (ko) 블랙박스 장치
KR102499286B1 (ko) 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법
CN117319591B (zh) 一种视频传输方法、装置、计算机可读存储介质及设备
US20240185644A1 (en) Drive recorder, method of operating drive recorder, and recording medium storing instructions for operating same
KR20190062876A (ko) 영상 처리 장치 및 그의 영상 압축 방법
JP2024014239A (ja) 送信システム
KR20170076387A (ko) 스마트 폰 기반 차량 번호판 인식 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant