CN111279388A - 动态图像处理装置、动态图像处理系统、以及动态图像处理方法 - Google Patents

动态图像处理装置、动态图像处理系统、以及动态图像处理方法 Download PDF

Info

Publication number
CN111279388A
CN111279388A CN201780096169.3A CN201780096169A CN111279388A CN 111279388 A CN111279388 A CN 111279388A CN 201780096169 A CN201780096169 A CN 201780096169A CN 111279388 A CN111279388 A CN 111279388A
Authority
CN
China
Prior art keywords
moving image
encoding
unit
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780096169.3A
Other languages
English (en)
Inventor
田上祐也
胁本康裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN111279388A publication Critical patent/CN111279388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

动态图像处理装置具有：编码部，其对动态图像进行编码；获取部，其获取通过上述编码部的压缩上述动态图像并进行编码的处理所使用的数据；检测部，其基于通过上述获取部获取的数据，从上述动态图像检测表示上述动态图像的特征的特征数据；以及输出部，其输出通过上述编码部对上述动态图像进行了编码的数据、和通过上述检测部检测出的上述特征数据。

Description

动态图像处理装置、动态图像处理系统、以及动态图像处理 方法
技术领域
本发明涉及动态图像处理装置、动态图像处理系统、以及动态图像处理方法。
背景技术
以往，已知有根据利用监视照相机、电视广播用的照相机、智能手机等的照相机等拍摄到的动态图像(影像)，检测人物等的技术(例如，参照专利文献1－5)。使用软件，或者专用的硬件执行该检测处理。
另外，已知有根据利用照相机拍摄到的动态图像，检测人的面部、行动等的技术。
专利文献1：日本特开2009－140513号公报
专利文献2：日本特开2007－304857号公报
专利文献3：日本特开2012－181209号公报
专利文献4：日本特开2017－068627号公报
专利文献5：国际公开第2015/129318号
然而，在以往技术中，在进行根据动态图像检测规定的检测对象相关的数据的处理的情况下，有处理比较花费时间这样的问题。
发明内容
因此，在一方面，目的在于提供能够比较高速地进行根据动态图像检测规定的检测对象相关的数据的处理的技术。
在一个方案中，提供一种动态图像处理装置，具有：编码部，其对动态图像进行编码；获取部，其获取通过上述编码部的压缩上述动态图像并进行编码的处理所使用的数据；检测部，其基于通过上述获取部获取的数据，从上述动态图像检测表示上述动态图像的特征的特征数据；以及输出部，其输出通过上述编码部对上述动态图像进行了编码的数据、和通过上述检测部检测出的上述特征数据。
根据一方面，能够比较高速地进行从动态图像检测规定的检测对象相关的数据的处理。
附图说明
图1是表示实施方式的通信系统的构成例的图。
图2是表示实施方式的动态图像处理装置的硬件构成例的图。
图3是表示实施方式的终端、以及服务器的硬件构成例的图。
图4是表示实施方式的动态图像处理装置的功能框图的一个例子的图。
图5是表示实施方式的服务器的功能框图的一个例子的图。
图6是表示动态图像处理装置的检测特征数据的处理的一个例子的流程图。
图7是说明CTU的一个例子的图。
图8A是说明HEVC中的运动矢量的图。
图8B是说明HEVC中的运动矢量的图。
图9是表示服务器中的基于特征数据的显示处理的一个例子的流程图。
图10A是说明服务器中的基于特征数据的显示处理的一个例子的图。
图10B是说明服务器中的基于特征数据的显示处理的一个例子的图。
图11是表示第二实施方式的动态图像处理装置的处理的一个例子的流程图。
具体实施方式
[第一实施方式]
以下，基于附图对本发明的实施方式进行说明。
＜系统构成＞
图1是表示实施方式的通信系统1(“动态图像处理系统”)的构成例的图。在图1中，通信系统1具有终端10－1、10－2、···(以下，在不需要分别进行区分的情况下，仅称为“终端10”。)、动态图像处理装置20、以及服务器30。此外，终端10的数目并不限定于两个。
终端10与动态图像处理装置20、以及动态图像处理装置20与服务器30例如分别通过因特网、移动电话网、无线LAN(Local Area Network：局域网)或者LAN等网络40、以及网络50，以能够通信的状态连接。
终端10例如是监视照相机，摄像机，智能手机，或者动态图像(影像)文件服务器等信息处理装置(计算机)。终端10以规定的方式(“第一方式”)对通过照相机拍摄到的动态图像、和通过麦克收音的声音编码。然后，终端10通过流分发等实时地将编码的动态图像以及声音分发给动态图像处理装置20。或者，终端10积蓄进行编码的动态图像以及声音作为文件，并按照规定的定时将该文件上传到动态图像处理装置20。
动态图像处理装置20例如是对通过终端10拍摄并编码的动态图像进行解码，并通过规定的方式(“第二方式”)进行编码的转码器。动态图像处理装置20对从终端10接收的动态图像以及声音进行解码、以及编码，并通过流分发等实时地将编码的动态图像以及声音分发给服务器30。或者，动态图像处理装置20积蓄进行编码的动态图像以及声音作为文件，并按照规定的定时将该文件上传至服务器30。由此，能够使从终端10接收的通过各种编码方式进行了编码的动态图像转换为规定的编码方式并积蓄于服务器30。
另外，动态图像处理装置20在对动态图像进行编码时，检测表示动态图像的特征的特征数据，并将检测出的特征数据附加于动态图像上传至服务器30。也可以在特征数据包含有物体的位置、物体的移动方向、移动速度等能够通过图像处理、估计处理得到的数据、亮度、颜色、声音的变化、音量等。
服务器30例如使用从动态图像处理装置20接收的动态图像以及特征数据，通过AI(Artificial Intelligence：人工智能)等，提供可疑者的监视、来客的管理、店铺等的营销、动态图像分发、动态图像分析等服务。服务器30也可以实时地将从动态图像处理装置20接收的动态图像以及声音分发给用户的信息处理终端。
＜硬件构成＞
《动态图像处理装置》
图2是表示实施方式的动态图像处理装置20的硬件构成例的图。图2的动态图像处理装置20具有分别利用总线B相互连接的驱动装置200、辅助存储装置202、存储器装置203、CPU(Central Processing Unit：中央处理器)204、接口装置205、解码电路206、编码电路207、以及存储器208等。
由记录介质201提供实现在动态图像处理装置20的处理的动态图像处理程序。若记录了动态图像处理程序的记录介质201设置于驱动装置200，则动态图像处理程序从记录介质201经由驱动装置200安装于辅助存储装置202。但是，并不需要一定由记录介质201进行动态图像处理程序的安装，也可以经由网络从其它的计算机下载。辅助存储装置202储存安装的动态图像处理程序，并且储存需要的文件、数据等。
存储器装置203在有程序的启动指示的情况下，从辅助存储装置202读出程序并储存。CPU204根据储存于存储器装置203的程序实现动态图像处理装置20的功能。作为用于与网络连接的接口使用接口装置205。
解码电路206、以及编码电路207例如分别是基于LSI(Large Scale Integration：大规模集成电路)等的电路，是进行动态图像的解码、以及编码的专用的电路。编码电路207在对动态图像进行编码时，若为了编码所使用的规定的数据的生成完成，则通过DMA(Direct Memory Access：直接存储器访问)等方式，使该数据从编码电路207的内部存储器转送至存储器208并存储。CPU204使用存储于存储器208的该数据，生成后述的特征数据。
此外，作为记录介质201的一个例子，能够列举CD－ROM，DVD盘，或者USB存储器等移动记录介质。另外，作为辅助存储装置202的一个例子，能够列举HDD(Hard Disk Drive：硬盘驱动器)或者闪存等。记录介质201以及辅助存储装置202的任何一个均相当于计算机能够读取的记录介质。存储器208也可以使用存储器装置203的一部分。
《终端、服务器》
图3是表示实施方式的终端10、以及服务器30的硬件构成例的图。以下，以服务器30为例进行说明。图3的服务器30具有分别利用总线B相互连接的驱动装置100、辅助存储装置102、存储器装置103、CPU104、接口装置105等。
由记录介质101提供实现在服务器30的处理的动态图像处理程序。若记录了动态图像处理程序的记录介质101设置于驱动装置100，则动态图像处理程序从记录介质101经由驱动装置100安装于辅助存储装置102。但是，并不需要一定由记录介质101进行动态图像处理程序的安装，也可以经由网络从其它的计算机下载。辅助存储装置102储存安装的动态图像处理程序，并且储存需要的文件、数据等。
存储器装置103在有程序的启动指示的情况下，从辅助存储装置102读出程序并储存。CPU104根据储存于存储器装置103的程序实现服务器30的功能。作为用于与网络连接的接口使用接口装置105。
此外，作为记录介质101的一个例子，能够列举CD－ROM，DVD盘，或者USB存储器等移动记录介质。另外，作为辅助存储装置102的一个例子，能够列举HDD(Hard Disk Drive：硬盘驱动器)或者闪存等。记录介质101以及辅助存储装置102的任何一个均相当于计算机能够读取的记录介质。
也可以终端10的硬件构成与服务器30相同。此外，终端10除了图3所示的硬件构成之外，还具有拍摄动态图像的照相机(拍摄装置)。
＜构成＞
《动态图像处理装置》
接下来，参照图4，对动态图像处理装置20的构成进行说明。图4是表示实施方式的动态图像处理装置20的一个例子的图。动态图像处理装置20具有解码部21、编码部22、获取部23、检测部24、输出部25、以及控制部26。
通过图2所示的解码电路206，或者通过使动态图像处理装置20的CPU204执行安装于动态图像处理装置20的一个以上的程序的处理实现解码部21。此外，在通过CPU204实现解码部21的情况下，也可以构成为不具备图2所示的解码电路206。该情况下，也可以使CPU204为多核的处理器，并使用不同的核并列地处理解码部21的解码处理、和检测部24的检测特征数据(元数据)的处理。
另外，也可以在动态图像处理装置20经由视频电缆等，从终端10接收未进行编码的RAW数据的动态图像的情况下，不具有解码部21。
使用图2所示的编码电路207实现编码部22。使用图2所示的存储器208实现获取部23。
通过使动态图像处理装置20的CPU204执行安装于动态图像处理装置20的一个以上的程序的处理实现检测部24、输出部25、以及控制部26。此外，也可以具备实现检测部24、输出部25、控制部26的电路。
解码部21对从终端10接收的动态图像进行解码。
编码部22使用HEVC(High Efficiency Video Coding：高效视频编码)/H.265(以下称为“HEVC”。)，或者AVC(Advanced Video Coding：高级视频编码)/H.264等动态图像的压缩标准，对通过解码部21解码的动态图像进行压缩并编码。
获取部23获取通过编码部22压缩动态图像并进行编码的处理所使用的数据。
检测部24基于通过获取部23获取的数据，从该动态图像检测表示从终端10接收的动态图像的特征的特征数据。
输出部25将通过编码部22对动态图像进行了编码的数据、和通过检测部24检测出的特征数据发送给服务器30。对于从输出部25向服务器30的对动态图像进行编码的数据和特征数据的发送来说，既可以按照动态图像的每一帧来发送，也可以集中发送多个帧的数据。
控制部26进行动态图像处理装置20的整体的控制。
《服务器》
接下来，参照图5，对服务器30的功能构成进行说明。图5是表示实施方式的服务器30的功能框图的一个例子的图。服务器30具有解码部31、数据处理部32、以及显示控制部33。
通过使服务器30的CPU104执行安装于服务器30的一个以上的程序的处理来实现解码部31、数据处理部32、以及显示控制部33。
解码部31对从动态图像处理装置20接收的动态图像、以及声音进行解码。
数据处理部32使用从动态图像处理装置20接收的特征数据、以及通过解码部31解码的动态图像，进行规定的数据处理。数据处理部32例如进行更高负荷的图像处理、声音处理、以及估计处理等，作为规定的数据处理。
显示控制部33将特征数据或者数据处理的结果重叠或者附加于解码后的动态图像并进行显示。
＜处理＞
(检测特征数据的处理)
接下来，参照图6，对动态图像处理装置20中的检测特征数据的处理进行说明。图6是表示动态图像处理装置20的检测特征数据的处理的一个例子的流程图。此外，对动态图像中的各帧进行以下的处理。
首先，在步骤S1中，编码部22进行将动态图像压缩并进行编码的处理。
接着，编码部22将该编码处理所使用的数据输出给存储器208(步骤S2)。这里，从图2所示的编码电路207向存储器208存储编码处理所使用的数据。由此，CPU204能够参照存储于存储器208的编码处理所使用的数据。
此外，能够并列地执行通过编码部22的步骤S1的编码处理、和检测部24的检测处理。由于编码电路207的编码处理是基于专用的硬件的处理，所以例如在通过流从终端10接收了实时的动态图像的情况下，能够在实时接收所花费的时间的1/10左右的时间完成对各帧的处理。
接着，检测部24使用存储于存储器208的数据，从该动态图像检测表示从终端10接收的动态图像的特征的特征数据(步骤S3)。这样，通过利用编码处理所使用的数据，能够大幅地降低检测特征数据的处理的负荷。
另外，能够在编码处理的中途进行步骤S2的处理。若使检测部24的检测处理为能够在动态图像的实时接收所花费的时间内完成的程度的处理负荷，则能够不损害编码电路207的处理性能，而实时地检测特征数据。
接着，输出部25将通过编码部22对动态图像进行了编码的数据、和通过检测部24检测出的特征数据发送给服务器30(步骤S4)。
输出部25在特征数据包含日期等前提条件、处理条件、算法等提取特征数据时的信息以及全场景数等信息。另外，包含按照各场景单位、各GOP(Group of Picture：图像组)单位、各帧单位提取的信息。
这里，场景具有成为关键的帧、以及连续的多个帧(GOP)，是在动态图像处理装置20以及服务器30开始动态图像的解析处理的单位。在各场景的信息包含有GOP数、关键帧的数目、以及关键帧的开始位置等信息。在各GOP单位的信息包含有表示帧数等数据构成的信息、利用编码部22的编码处理提取的信息、以及通过检测部24检测到的信息等。在各帧的信息包含有在编码部22的编码处理从各帧提取的信息、以及通过检测部24从各帧检测出的信息等。在全场景数包含有通过检测部24基于全场景检测出的信息。
输出部25既可以按照与进行了编码的动态图像的流不同的通信协议发送特征数据，也可以按照相同的通信协议发送。
另外，也可以仅发送特征数据。由此，能够降低发送的数据量。
＜使用由多个照相机拍摄到的动态图像的情况下的变形例＞
检测部24也可以使用存储于存储器208的数据，分别从各动态图像检测表示从多个终端10接收的该各动态图像的特征的特征数据。该情况下，也可以将来自多个终端10的动态图像集中来检测特征数据。例如，也可以在各终端10的时刻未同步的情况下，检测部24基于预先设定的各终端10的拍摄范围重合的部分的动态图像，使来自各终端10的动态图像的时刻同步，之后分别从输出部25发送。
＜特征数据的检测处理的例子＞
以下，对检测特征数据的处理的例子进行说明。此外，能够适当地组合以下的各例来实施。
《特征数据的检测处理的例1》
作为特征数据的检测处理的例1，对使用在HEVC等编码处理中得到的CTU(CodingTree Unit：编码树单元)(“作为通过编码部22进行编码处理的单位的块”的一个例子。)，比较高速地检测背景以外的结构物，或者背景相关的特征数据的例子进行说明。
编码部22使用HEVC等，按照被称为CTU的正方像素块的单位进行动态图像中的各帧(图片)的编码处理。在HEVC等中，帧中的各块的大小根据帧图像中的轮廓的存在、以及轮廓的复杂度决定。
图7是说明CTU的一个例子的图。如图7所示，通过比较大的块(CB:Coding Block：编码信息块)501分割平坦的背景部分。另外，通过比较小的块502分割物体的轮廓。
若决定CTU的块分割处理完成，则编码部22将CTU的数据储存于存储器208。在储存于存储器208的CTU的数据包含有构成的各颜色成分信号的块亦即各CTB(Coding TreeBlock：编码树块)的层次结构和CB大小、以及相邻的CTB等数据。
检测部24也可以将储存于存储器208的CTU的数据作为特征数据。由此，例如，能够使用作为CTU的数据的特征数据，区分天空或者墙壁等背景与人或者建筑物等具有结构的物体，或者从积蓄的数据提取构图相似的数据。
另外，检测部24也可以使用该CTU的数据，例如检测图像中的检测对象的区域等，并将检测出的区域的数据作为特征数据。该情况下，也可以检测部24例如在将人物等作为检测对象的情况下，执行优先地检索CB的大小在规定值以下的区域，检测面部的处理。由此，例如在实时地解析动态图像的情况下，能够进一步使检测人物等物体的处理的精度提高，并且能够进一步使该处理高速化。该情况下，作为检测人物等的算法，也可以使用公知的算法。另外，也可以使用CTU的数据仅将CB的大小在规定值(例如，16×16)以下的区域作为检索范围。由此，与以往的将图像整体作为搜索范围的方法相比较，能够更高速地进行检测。
另外，也可以检测部24在例如将天空或者道路等背景作为检测对象的情况下，将CB的大小在规定值(例如，32×32)以上的区域作为搜索范围，执行检测背景的处理。
《特征数据的检测处理的例2》
作为特征数据的检测处理的例2，对使用在编码处理中得到的缩小图像，比较高速地检测物体的运动相关的特征数据的例子进行说明。
在HEVC、AVC等中，为了运动补偿，生成各帧的缩小图像(预测图像)。编码部22若生成用于运动补偿的缩小图像，则将生成的缩小图像的数据储存于存储器208。
检测部24也可以将储存于存储器208的缩小图像的数据作为特征数据。由此，在服务器30中，能够将该特征数据例如利用于运动搜索等。
另外，检测部24也可以使用该缩小图像的数据，例如检测图像中的检测对象的运动等，并将检测到的运动数据作为特征数据。该情况下，检测部24例如求出多个搜索起点区域的候补，从多个候补中选出相似度较高的搜索起点区域，并将选出的起点区域作为特征数据。在服务器30中，能够使用等倍图像细致地搜索特征数据所包含的搜索起点及其周围。
《特征数据的检测处理的例3》
作为特征数据的检测处理的例3，对使用在编码处理中得到的表示连续的多个帧间的变化的数据，比较高速地检测物体的运动相关的特征数据的例子进行说明。
在HEVC、AVC等中，为了运动补偿等，生成表示连续的多个帧间的变化的数据。在表示各帧间的变化的数据例如包含有差分、以及运动矢量等。
差分是这次的帧所包含的规定的范围的各像素的亮度和色差的值与上一次的帧所包含的该规定的范围的各像素的亮度和色差的值的差分绝对值和(SAD:Sum ofAbsolute Difference)、差分平方和(SSD:Sum of Squared Difference)、绝对值转换差分和(SATD:Sum of Absolute Transformed Difference)等。运动矢量是表示在连续的各帧间预测出的编码对象块的移动方向的数据。
另外，在HEVC、AVC等中，按照预测块(PU:Prediction Unit)进行运动补偿预测。
图8A、以及图8B是说明HEVC中的运动信息的图。考虑相邻的各预测块具有相似的运动，所以在HEVC中，并不对每个预测块编码不同的运动矢量，而集中地对相邻的各预测块的运动矢量进行编码。在图8A的例子中，通过箭头801等示出每个预测块的运动矢量。在图8B的例子中，通过箭头802等示出在相邻的各预测块集中的运动矢量。
编码部22若生成用于运动补偿的该各数据，则将生成的各数据储存于存储器208。
检测部24也可以将储存于存储器208的各数据作为特征数据。由此，在服务器30中，能够将该特征数据例如利用于运动搜索等。
另外，检测部24也可以使用该各数据，例如检测图像中的检测对象的运动等，并将检测出的运动的数据作为特征数据。该情况下，检测部24也可以在通过编码部22集中规定量以上的预测块的集合，且为各预测块的大小在规定值以下的预测块的集合的运动的情况下，优先地检索该集合所包含的各预测块的区域。由此，例如在实时地解析动态图像的情况下，能够进一步使检测运动的物体的处理的精度提高，并且进一步使该处理高速化。
《特征数据的检测处理的例4》
作为特征数据的检测处理的例4，对使用在编码处理中得到的表示帧的复杂度的数据，比较高速地检测复杂度相关的特征数据的例子进行说明。
在HEVC、AVC等的帧内预测中，计算一个帧内的亮度、色差的SAD(差分绝对值和)、以及SATD(绝对值转换差分和)等各数据。
编码部22若生成帧内预测的该各数据，则将生成的各数据储存于存储器208。检测部24也可以将储存于存储器208的各数据作为特征数据。
根据上述的特征数据的检测处理，例如在监视来自监视照相机的动态图像以及声音的监视照相机系统中，能够检测图像中的面部的位置以及大小、拍摄到的人物的识别、人物的年龄、性别的估计信息、人物的衣服的颜色、眼镜、帽子、鞋子等所有物等相关的特征数据。
另外，在照相机的设置位置、方向、透镜的视角、变形、特性等已知的情况下，或者在预先利用规定的标记等进行照相机的校准的情况下，能够检测拍摄到的人物的大小、距离照相机的距离相关的特征数据。
另外，能够追踪识别出的人、物的运动，检测进行何种运动这样的与行动或者动作相关的特征数据。该情况下，也可以在特征数据例如包含有面部或者身体、脚的方向、手或者脚的运动、各关节的位置、(面部的表情)等信息、和包含这些信息估计出的行动或者动作等信息。此外，也可以每隔数帧或者数秒检测该信息。
另外，也可以通过由多个照相机分别拍摄到的动态图像，检测比较宽的范围的行动，并将检测出的行动的范围作为特征数据。由此，能够使人物或者物移动的轨迹显示于用户的终端。
(基于特征数据的显示处理)
接下来，参照图9、图10A以及图10B，对服务器30中的基于特征数据的显示处理进行说明。图9是表示服务器30中的基于特征数据的显示处理的一个例子的流程图。图10A以及图10B是说明服务器30中的基于特征数据的显示处理的一个例子的图。
在步骤S101中，解码部31对从动态图像处理装置20接收的动态图像、以及声音进行解码。
接着，数据处理部32使用从动态图像处理装置20接收的特征数据、以及通过解码部31解码的动态图像，进行规定的数据处理(步骤S102)。此外，也可以通过并列处理同时执行步骤S101的处理和步骤S102的处理。
接着，显示控制部33将特征数据或者数据处理的结果重叠或者附加于解码后的动态图像并显示(步骤S103)。在图10A的例子中，通过框1001、以及框1002，在动态图像重叠地显示从动态图像处理装置20接收的特征数据所包含的两个人的面部的区域。这里，例如通过按下框1002内的操作等，显示图10B的画面。在图10B的例子中，附加地显示框1002内的图像、和框1002内的人物的姓名、性别等信息。此外，对于框1002内的人物的姓名、性别等来说，也可以在动态图像处理装置20或者数据处理部32，对框1002内的图像、和预先登记的面部图像进行比较，并显示与相似度在规定值以上且最高的人物建立对应关系的姓名、性别等。
[第二实施方式]
在第一实施方式中，对动态图像处理程序使用为了通过作为专用的硬件的编码电路207进行编码生成的数据，通过CPU204的处理检测特征数据的例子进行了说明。在第二实施方式中，对根据从终端10接收的动态图像的数据大小，或者检测对象的特征数据的种类，切换通过作为专用的电路的编码电路207对该动态图像进行编码，还是由动态图像处理程序通过CPU204的处理对其进行编码等的例子进行说明。
例如，编码电路207是专用于帧的分辨率比较高的高精细的动态图像的电路，假设是对于分辨率较低的动态图像来说，与利用编码电路207进行处理相比，使用CPU204利用程序进行处理更快的情况。或者，例如，假设是检测对象的特征数据的种类需要使用不能够通过编码电路207的安装生成的数据，而在使用CPU204通过程序进行编码的情况下生成该数据的情况。在这些情况下，根据第二实施方式，进行使用为了编码生成的数据，从动态图像检测规定的检测对象相关的数据的处理，所以也能够比较高速地进行该处理。
此外，第二实施方式除了一部分之外与第一实施方式相同，所以适当地省略说明。以下，对与第一实施方式相同的部分省略说明，仅对不同的部分进行说明。此外，第二实施方式所记载的内容也能够应用于第一实施方式。
＜处理＞
接下来，参照图11，对第二实施方式的动态图像处理装置20的处理进行说明。图11是表示第二实施方式的动态图像处理装置20的处理的一个例子的流程图。
在步骤S21中，控制部26判定从终端10接收的动态图像的数据大小(帧的分辨率)是否在第一阈值以下。
在第一阈值以下的情况下(步骤S21：是)，解码部21通过使用了CPU204的动态图像处理程序的处理，对从终端10接收的动态图像进行解码(步骤S22)，并进入后述的步骤S24的处理。
在不在第一阈值以下的情况下(步骤S21：否)，解码部21通过解码电路206的处理，对从终端10接收的动态图像进行解码(步骤S23)。
接着，控制部26判定从终端10接收的动态图像的数据大小是否在第二阈值以下(步骤S24)。
在第二阈值以下的情况下(步骤S24：是)，编码部22通过使用了CPU204的动态图像处理程序的处理，对从终端10接收并通过解码部21进行解码的动态图像进行编码(步骤S25)，并结束处理。
在不在第二阈值以下的情况下(步骤S24：否)，编码部22通过编码电路207的处理，对从终端10接收并通过解码部21进行了解码的动态图像进行编码(步骤S26)，并结束处理。
＜变形例＞
在上述的例子中，对在步骤S21、以及步骤S24中，基于从终端10接收的动态图像的数据大小进行判定的例子进行了说明，但也可以在步骤S21、以及步骤S24的至少一方，根据检测对象的特征数据的种类进行该判定。
＜其它＞
以往，在通过专用的硬件进行根据动态图像的检测处理的情况下，有不能够在之后变更检测的逻辑等这样的问题。根据上述的实施方式，作为转码器的动态图像处理装置20通过软件的处理进行根据动态图像的检测处理，所以能够变更检测的逻辑等。
上述的实施方式也能够应用于根据图像识别人的监视照相机系统、在店铺中分析顾客是拿起商品，还是购买该商品等的数字营销系统、IP分发系统、将被拍摄体的信息重叠于动态图像进行显示的AR/VR系统等。
以上，对本发明的实施例进行了详述，但本发明并不限定于这种特定的实施方式，在权利要求书所记载的本发明的主旨的范围内，能够进行各种变形·变更。
例如也可以通过由一个以上的计算机构成的云计算来实现动态图像处理装置20的各功能部。另外，也可以使动态图像处理装置20、以及服务器30构成为一体的装置。也可以使动态图像处理装置20、以及终端10构成为一体的装置。该情况下，动态图像处理装置20也可以不进行动态图像的解码处理。也可以动态图像处理装置20具有终端10或者服务器30的各功能部中至少一部分。
此外，服务器30是“信息处理装置”的一个例子。
附图标记说明
1…通信系统，10…终端，20…动态图像处理装置，21…解码部，22…编码部，23…获取部，24…检测部，25…输出部，26…控制部，202…辅助存储装置，203…存储器装置，204…CPU，205…接口装置，206…解码电路，207…编码电路，208…存储器，30…服务器，31…解码部，32…数据处理部，33…显示控制部。

Claims (11)

1.一种动态图像处理装置，其中，具有：
编码部，其对动态图像进行编码；
获取部，其获取通过上述编码部的压缩上述动态图像并进行编码的处理所使用的数据；
检测部，其基于通过上述获取部获取的数据，从上述动态图像检测表示上述动态图像的特征的特征数据；以及
输出部，其输出通过上述编码部对上述动态图像进行了编码的数据、和通过上述检测部检测出的上述特征数据。
2.根据权利要求1所述的动态图像处理装置，其中，
上述动态图像处理装置具有对按照第一方式进行编码的上述动态图像进行解码的解码部，
上述编码部通过与上述第一方式不同的第二方式，对通过上述解码部进行了解码的上述动态图像进行编码。
3.根据权利要求1或者2所述的动态图像处理装置，其中，
上述获取部获取作为通过编码部进行编码处理的单位的块的数据，或者上述动态图像所包含的帧的缩小图像。
4.根据权利要求1～3中任意一项所述的动态图像处理装置，其中，
通过上述编码部对上述动态图像进行压缩并编码的处理所使用的数据包含作为通过编码部进行编码处理的单位的块的数据、上述动态图像所包含的帧的缩小图像、以及表示上述动态图像中连续的多个帧间的变化的数据的至少一个。
5.根据权利要求4所述的动态图像处理装置，其中，
上述检测部检索上述块的大小在规定值以下的区域、以及在连续的多个帧间进行了变化的区域的至少一个，检测上述特征数据。
6.根据权利要求1～5中任意一项所述的动态图像处理装置，其中，
上述特征数据包含检测对象的物体的区域、以及上述物体的运动的至少一个。
7.根据权利要求1～6中任意一项所述的动态图像处理装置，其中，
上述输出部与通过上述编码部进行了编码的上述动态图像的帧对应地输出通过上述检测部从上述动态图像中与该帧对应的图像检测出的上述特征数据。
8.根据权利要求1～7中任意一项所述的动态图像处理装置，其中，
上述编码部将对上述动态图像进行压缩并进行编码的处理所使用的数据转送至存储器，
上述检测部基于存储于上述存储器的数据，从上述动态图像检测表示上述动态图像的特征的特征数据。
9.根据权利要求1～8中任意一项所述的动态图像处理装置，其中，
上述动态图像处理装置根据进行编码的上述动态图像的帧的分辨率、以及检测对象的特征数据的种类，切换利用CPU(Central Processing Unit)对上述动态图像进行编码，还是利用专用的电路对上述动态图像进行编码。
10.一种动态图像处理系统，其中，
具有动态图像处理装置、和信息处理装置，
上述动态图像处理装置具有：
编码部，其对动态图像进行编码；
获取部，其获取通过上述编码部的压缩上述动态图像并进行编码的处理所使用的数据；
检测部，其基于通过上述获取部获取的数据，从上述动态图像检测表示上述动态图像的特征的特征数据；以及
输出部，其将通过上述编码部对上述动态图像进行了编码的数据、和通过上述检测部检测出的上述特征数据输出给上述信息处理装置，
上述信息处理装置具有：
解码部，其对从上述动态图像处理装置接收的上述动态图像进行解码；以及
显示控制部，其使与上述特征数据对应的信息重叠或者附加于上述动态图像并显示。
11.一种动态图像处理方法，其中，
动态图像处理装置执行以下步骤：
对动态图像进行编码的步骤；
获取对上述动态图像进行压缩并编码的处理所使用的数据的步骤；
基于获取的数据，从上述动态图像检测表示上述动态图像的特征的特征数据的步骤；以及
输出对上述动态图像进行了编码的数据、和检测出的上述特征数据的步骤。
CN201780096169.3A 2017-10-25 2017-10-25 动态图像处理装置、动态图像处理系统、以及动态图像处理方法 Pending CN111279388A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038582 WO2019082318A1 (ja) 2017-10-25 2017-10-25 動画像処理装置、動画像処理システム、及び動画像処理方法

Publications (1)

Publication Number Publication Date
CN111279388A true CN111279388A (zh) 2020-06-12

Family

ID=66246276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096169.3A Pending CN111279388A (zh) 2017-10-25 2017-10-25 动态图像处理装置、动态图像处理系统、以及动态图像处理方法

Country Status (4)

Country Link
US (1) US20200252637A1 (zh)
JP (1) JPWO2019082318A1 (zh)
CN (1) CN111279388A (zh)
WO (1) WO2019082318A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264840A (ja) * 2002-03-11 2003-09-19 Kddi Research & Development Laboratories Inc 符号化動画像データの方式変換装置
CN1685732A (zh) * 2002-11-01 2005-10-19 松下电器产业株式会社 动态图像编码方法和动态图像解码方法
CN1717939A (zh) * 2003-02-19 2006-01-04 松下电器产业株式会社 图像解码装置、图像编码装置及其方法
JP2007336277A (ja) * 2006-06-15 2007-12-27 Nec Corp 動画像符号化復号化方法、符号化復号化装置及び動画像符号化復号化プログラム
US20110075736A1 (en) * 2009-09-29 2011-03-31 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer-readable storage medium
WO2012014472A1 (ja) * 2010-07-29 2012-02-02 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、及び動画像復号装置
CN103339941A (zh) * 2011-11-02 2013-10-02 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
WO2016143067A1 (ja) * 2015-03-10 2016-09-15 三菱電機株式会社 映像解析装置
CN107071403A (zh) * 2011-06-30 2017-08-18 Jvc建伍株式会社 图像编码装置、图像编码方法、图像解码装置及图像解码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299664A (ja) * 1999-04-14 2000-10-24 Casio Comput Co Ltd データ処理装置及びデータ処理プログラムを記憶した記憶媒体
JP5709417B2 (ja) * 2010-06-29 2015-04-30 キヤノン株式会社 画像処理装置及びその制御方法並びにプログラム
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264840A (ja) * 2002-03-11 2003-09-19 Kddi Research & Development Laboratories Inc 符号化動画像データの方式変換装置
CN1685732A (zh) * 2002-11-01 2005-10-19 松下电器产业株式会社 动态图像编码方法和动态图像解码方法
CN1717939A (zh) * 2003-02-19 2006-01-04 松下电器产业株式会社 图像解码装置、图像编码装置及其方法
JP2007336277A (ja) * 2006-06-15 2007-12-27 Nec Corp 動画像符号化復号化方法、符号化復号化装置及び動画像符号化復号化プログラム
US20110075736A1 (en) * 2009-09-29 2011-03-31 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer-readable storage medium
WO2012014472A1 (ja) * 2010-07-29 2012-02-02 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、及び動画像復号装置
CN107071403A (zh) * 2011-06-30 2017-08-18 Jvc建伍株式会社 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN103339941A (zh) * 2011-11-02 2013-10-02 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
WO2016143067A1 (ja) * 2015-03-10 2016-09-15 三菱電機株式会社 映像解析装置

Also Published As

Publication number Publication date
JPWO2019082318A1 (ja) 2020-11-19
US20200252637A1 (en) 2020-08-06
WO2019082318A1 (ja) 2019-05-02

Similar Documents

Publication Publication Date Title
US10652544B2 (en) Encoder, decoder, encoding method, and decoding method
TWI578757B (zh) 場景形式之視訊串流編碼
KR102121558B1 (ko) 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN112789852A (zh) 基于历史的图像编码方法及其设备
JP7436543B2 (ja) 画像符号化システムにおいてアフィンｍｖｐ候補リストを使用するアフィン動き予測に基づいた画像デコード方法及び装置
JP7404481B2 (ja) 画像コーディングシステムにおけるサブブロック単位の動き予測に基づく画像デコーディング方法及び装置
JP6961443B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022168139A (ja) インター予測モードに基づいた映像処理方法およびそのための装置
US20180352248A1 (en) Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US20190268619A1 (en) Motion vector selection and prediction in video coding systems and methods
US11495023B2 (en) Moving image analysis apparatus, system, and method
KR20180021942A (ko) 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
KR101220097B1 (ko) 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법
CN111279388A (zh) 动态图像处理装置、动态图像处理系统、以及动态图像处理方法
RU2816199C1 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
JP6102233B2 (ja) 評価装置、及び評価装置における画質評価方法
RU2777969C1 (ru) Способ и устройство взаимного прогнозирования на основе dmvr и bdof
RU2774673C1 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
US11936893B2 (en) Encoder, decoder, encoding method, and decoding method
KR101323886B1 (ko) 분산처리 기반의 물체 추적장치 및 추적방법
US20230209064A1 (en) Identifying long term reference frame using scene detection and perceptual hashing
EP4429240A1 (en) Feature encoding/decoding method and apparatus, and recording medium storing bitstream
JP2022099611A (ja) 映像圧縮装置、映像復元装置、物体検出装置、映像処理システム、映像圧縮方法、コンピュータプログラム、及びデータ構造
AU2019257506A1 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612