CN110933415B - 对象区域检测方法、装置及对其的非临时性计算机可读介质 - Google Patents

对象区域检测方法、装置及对其的非临时性计算机可读介质 Download PDF

Info

Publication number
CN110933415B
CN110933415B CN201811397383.5A CN201811397383A CN110933415B CN 110933415 B CN110933415 B CN 110933415B CN 201811397383 A CN201811397383 A CN 201811397383A CN 110933415 B CN110933415 B CN 110933415B
Authority
CN
China
Prior art keywords
video
macroblock
information
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811397383.5A
Other languages
English (en)
Other versions
CN110933415A (zh
Inventor
金东基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pintel Co ltd
Original Assignee
Pintel Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pintel Co ltd filed Critical Pintel Co ltd
Publication of CN110933415A publication Critical patent/CN110933415A/zh
Application granted granted Critical
Publication of CN110933415B publication Critical patent/CN110933415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及对象区域检测方法、装置及对其的非临时性计算机可读介质，更详细地，涉及对象区域检测方法、装置及对其的非临时性计算机可读介质，即，以在影像解码过程中导出的参数值为基础来检测预备对象区域，将其参照在影像分析，由此，对象识别、追踪等的分析变得更加高速化。

Description

对象区域检测方法、装置及对其的非临时性计算机可读介质
技术领域
本发明涉及对象区域检测方法、装置及对其的非临时性计算机可读介质，更详细地，涉及对象区域检测方法、装置及对其的非临时性计算机可读介质，即，以在影像解码中导出的参数值为基础来检测预备对象区域，将其参照在影像分析，由此可以使对象识别、追踪等的分析更加高速化。
背景技术
最近，从智能手机、CCTV、黑匣子、高像素摄像头等收集的影像数据急剧增加。由此，以非定型的影像数据为基础来识别任务或事物等并提取有意义的信息，用于时刻分析并使用内容的请求事项增加。
影像数据分析技术为对这种多种影像执行学习及分析来搜索需要的影像或者识别活动发生等的状况的所有技术。
但是，识别影像数据来进行分析并进行追踪的技术为需要相当量的计算量的算法，即，复杂度高，因此，影像数据的带下越大，会对计算装置产生相当的负担。由此，分析容量大的影像数据花费很长的时间。因此，需要可减少影像信息分析时间的方法。
另一方面，最近几年内，因恐怖袭击等因素，对于安保的认知得到强化，影像安保市场持续成长，由此，对于智能型影像处理的需求逐日增加。
最近，以基于H.264等的规章的基于块的视频编解码器为基础，有效地压缩高分辨率的像素来传送并确认的技术得到扩散。上述高分辨率影像也可适用于CCTV等的监控影像，在上述高分辨率影像中，在进行分析、拖拽等过程中，随着影像的分辨率提高，以往的对象检测方法需要更高的计算量，因此，实时对于影像的分析并不顺畅。
另一方面，现有技术文献1(韩国授权专利第10-1409826号，2014年6月13日授权)公开了如下技术，即，以对于参照帧内的多个块的运动矢量的直方图为基础来计算参照帧的运动矢量，以所有运动矢量为基础来确定参照块的领域种类。
但是，在现有技术文献1的情况下，对领域整体计算运动矢量，对领域整体计算直方图数据，因此，当前的高的分辨率的影像中的实时处理无法通过与预期的速度进行，并且，对所有块需要考虑到运动矢量，因此，对不必要的块也需要执行计算。
并且，如现有技术文献1所示，在仅将运动矢量视为考虑要素的情况下，很难进行对象区域的准确检测。因此，在现有技术文献1的情况下，为了准确地确定对象区域，需要再次计算影像内部的特征量，因此，实际上很难进行迅速且准确的高分辨率影像分析。
现有技术文献
专利文献
现有技术文献1：韩国授权专利第10-1409826号，“利用适应性搜索范围的移动预测方法”，2014年6月13日授权
发明内容
要解决的技术问题
本发明的目的在于，提供非临时性计算机可读介质，即，接收从摄像头接收的压缩的影像的比特流来提取用于对象区域检测、对象识别、追踪的数据，以提取的参数为基础来检测预备对象区域，并将其参照在影像分析，由此，对象识别、追踪等的分析变得更加高速化。
解决问题的技术方案
为了解决上述问题，在本发明一实施例中，作为在包括一个以上的处理器及用于存储能够在上述处理器中执行的多个指令的主存储器的计算系统中执行的对象区域检测方法，包括：影像解码步骤，对影像数据执行可变长度解码步骤、逆量化步骤、逆变换步骤、加算步骤来对影像进行解码；以及对象区域检测步骤，以与包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息。
在本发明一实施例中，上述对象区域检测步骤包括：第一辨别步骤，包括从在执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤；以及第二辨别步骤，对于在上述第一辨别步骤中判别为数据的大小信息满足已设定的基准的宏块，以在上述影像解码步骤中提取的1个以上的影像解码参数为基础来检测对象区域。
在本发明一实施例中，在上述第二辨别步骤中，在上述宏块不包括子块的情况下，以与上述宏块整体有关的1个以上的影像解码参数为基础来检测对象区域，在上述宏块包括子块的情况下，以与各个上述子块有关的1个以上的影像解码参数为基础来检测对象区域。
在本发明一实施例中，上述1个以上的影像解码参数包含宏块或构成宏块的子块的块大小信息。
在本发明一实施例中，上述块大小信息可从在上述可变长度解码步骤中译码的信息导出。
在本发明一实施例中，上述1个以上的影像解码参数包含宏块或构成宏块的子块的运动矢量信息。
在本发明一实施例中，上述运动矢量信息从在可变长度解码部中译码的信息导出。
在本发明一实施例中，上述1个以上的影像解码参数包含宏块或构成宏块的子块的预测错误信息。
在本发明一实施例中，上述预测错误信息在上述加算步骤中导出，上述预测错误信息以基于与对应宏块或构成宏块的子块有关的译码的影像数据的颜色信息及与在上述加算步骤中执行的预测步骤中预测的对应宏块或构成对应宏块的子块有关的颜色信息的差异为基础来导出。
在本发明一实施例中，上述对象区域检测步骤以运动矢量信息及预测错误信息为基础来导出对象区域信息。
在本发明一实施例中，上述对象区域检测步骤综合与对于对象块的运动矢量信息及预测错误信息有关的各个评价结果来导出对象区域信息。
为了解决上述问题，本发明一实施例中，在包括一个以上的处理器及用于存储能够在上述处理器中执行的多个指令的主存储器的计算系统中执行对象区域检测方法，包括：影像解码步骤，对影像数据执行可变长度解码步骤、逆量化步骤、逆变换步骤、加算步骤来对影像进行解码；以及对象区域检测步骤，在与包含在上述影像数据中的宏块有关的数据的大小信息满足已设定的基准的情况下，通过在对应宏块或构成对应宏块的子块的运动矢量信息及预测错误信息中的1个以上导出对象区域信息。
为了解决上述为题，在本发明的一实施例中，作为包括一个以上的处理器及用于存储能够在上述处理器中执行的多个指令的主存储器的对象区域检测装置，影像解码部，包括对影像数据分别执行可变长度解码步骤、逆量化步骤、逆变换步骤及加算步骤的可变长度解码部、逆量化部、逆变换部及加算部来对影像进行解码；以及对象区域检测部，以包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息。
为了解决上述问题，在本发明的一实施例中，作为非临时性计算机可读介质，上述非临时性计算机可读介质存储使计算装置执行以下步骤的多个指令，上述步骤包括：影像解码步骤，对影像数据执行可变长度解码步骤、逆量化步骤、逆变换步骤、加算步骤来对影像进行解码；以及对象区域检测步骤，以包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息。
发明的有益效果
根据本发明，本发明具有如下效果，即，在从编码的影像数据对对象进行识别、拖拽、追踪、识别等的分析的情况下，预先检测对象区域来仅对检测的对象区域执行影像分析，因此，以更快的速度对影像进行处理。
根据本发明的一实施例，本发明具有如下效果，即，在影像分析之前，在检测对象区域的过程中，一次性选择去除不必要的宏块，由此，减少对于对象区域检测的计算量来提高系统整体的计算速度。
根据本发明的一实施例，本发明具有如下效果，即，在检测对象区域的过程中，即使是最少的计算量，能够以相当高水平的准确度检测判断为可存在对象的对象区域。
根据本发明的一实施例，本发明具有如下效果，即，用于解码对象影像数据的解码部的结构不变更，在对应解码部中，利用在解码过程中生成的参数，由此，只要是利用基于H.264等的规章的块的方式，即使变更编解码器也可简单适用。
附图说明
图1为简要示出本发明一实施例的对象区域检测系统的整体结构的图。
图2为简要示出本发明一实施例的对象区域检测系统的细部结构的图。
图3为简要示出利用基于H.264等的规章的块的视频编解码器的一实施例的影像数据的数据流的译码前结构的图。
图4为简要示出利用可变快的视频编解码器的一实施例的影像数据的宏块的数据字段结构的图。
图5为简要示出本发明一实施例的对象区域监测部的细部结构的图。
图6为宏块的几个例的图。
图7为示出包括子块的宏块的例的图。
图8为以块基准示出本发明一实施例的对象区域检测步骤的过程的图。
图9为示出与本发明一实施例的影像画面有关的块分割信息的图。
图10为示出与本发明一实施例的影像画面有关的运动矢量信息的图。
图11为示出与本发明一例的影像画面有关的预测错误信息的图。
图12简要示出生成本发明一实施例的编码的影像编码系统。
图13为简要示出影像数据的多个帧的例的图。
图14例示性示出本发明一实施例的计算装置的内部结构。
具体实施方式
参照附图，说明多种实施例，在整体附图中，类似的附图标记表示类似的结构要素。在本说明书中，多种说明为了理解本发明而提供。但是，这种实施例在没有具体说明也可以执行。在另一实施例中，公知的结构及装置为了简单说明实施例而以方框图形态提供。
在本说明书中使用的术语“组件”、“模块”、“系统”、“部”等为计算机相关实体、硬件、固件、软件、软件及硬件的组合或软件的执行。例如，组件在处理器上执行的处理过程、处理器、对象、执行线程、程序和/或计算机，但并不局限于此。例如，计算装置中执行的应用及计算装置均可以为组件。一个以上的组件可内置于处理器和/或执行线程，一组件可在一个计算机内本地化，或者，可分配在2个以上的计算机之间。并且，这种组件可从具有在内部存储的多种数据结构的多种计算机可读介质执行。例如，多个组件可根据具有一个以上的数据包的信号(例如，本体信号、从在分散系统中与其他组件相互作用的一个组件，通过数据和/或信号来与其他系统通过如网络的互联网的数据)，通过逻辑和/或远程处理进行通信。
并且，“包括”和/或“包括”术语意味着对应特征和/或结构要素的存在，而并非意味着排除一个以上的其他特征、结构要素和/或这些的组的存在或追加。
并且，如第一、第二等，包括序数的术语用于说明多种结构要素，上述结构要素并不限定于上述术语。上述术语仅用于区分两种结构要素。例如，在不超出本发明的发明要求保护范围的情况下，第一结构要素可以被命名为第二结构要素，类似地，第二结构要素也可以被命名为第一结构要素。和/或术语包括多个相关记载的项目的组合或多个相关记载的项目中的一个项目。
并且，在本发明的实施例中，只要并未特殊定义，包括技术或科学在内的再次使用的所有术语的汉语与本发明所属技术领域的普通技术人员通常理解的含义相同。通常使用的预先定义的术语的汉语与相关技术的文脉所具有的含义相同，在本发明的实施例中，只要并未明确定义，不能被解释成异常或过度形式。
图1为简要示出本发明一实施例的对象区域检测系统的整体结构的图。
图1中的对象区域检测系统包括对广义接收的影像数据进行处理的对象区域检测部2000、影像解码部1000及影像分析部3000。影像数据为通过规定的编解码器编码的影像数据，优选地，对应利用可变大小块来对影像进行编码的数据，优选地，对应根据包括H.264编解码器方式等的规章编码的影像数据。更优选的，对应根据利用可变大小块的规章来编码的影像数据。
影像数据可以为存储对象区域检测系统的影像或者实时通过其他影像收集装置(例如，CCTV或监控装置)接收的影像数据。
上述影像解码部1000为用于解码或译码根据包括H.264编解码器方式等的规章编码的影像的装置，这根据对应编解码器的译码方式构成。
影像分析部3000对被译码并接收的影像执行对象识别、追踪、识别等的分析，影像分析部3000根据影像分析目的可包括预处理部、特征信息提取部、特征信息分析部等多种结构。
在本发明中，为了进一步改善影像分析部3000的影像处理速度而导入对象区域检测部2000。对象区域检测部2000通过在从影像数据自身提取的信息及在上述影像解码部1000的影像解码过程中提取的如影像解码参数的并非为解码的影像自身的未被解码的影像数据的信息及在解码过程中提取的参数信息来检测对象区域，并向上述影像分析部3000传递对其的对象区域信息。
因此，影像分析部3000并非对影像整体执行对象识别、特征点提取、预处理等，而是仅对从上述对象区域检测部2000传递的对象区域信息的区域执行影像分析。
上述对象区域检测部2000、影像解码部1000、影像分析部3000可由单一计算装置构成，也可通过2以上的计算装置构成。
即，本发明的对象区域检测系统可以为包括一个以上的处理器及存储可在上述处理器中执行的指令的主存储器的计算系统。
图2为简要示出本发明一实施例的对象区域检测系统的细部结构的图。
本发明一实施例的对象区域检测装置可以为包括一个以上的处理器及存储可在上述处理器中执行的指令的主存储器的计算系统。
如图2所示，包括可变长度解码部1100、逆量化部1200、逆变换部1300、加算部1400及预测部1500的影像解码部1000通过影像的编码对编码的影像数据进行解码。
上述影像解码部1000的结构可根据对影像数据进行编码的编码部的结构构成。例如，图2所示的影像解码部1000的结构与对根据图12编码的影像进行解码的经结构对应，在本发明的一实施例中，统一H.264编解码器为基准示出图2及图12。
可变长度解码部1100对所输入的影像数据进行可变长度解码(译码)。由此，可变长度解码部111可将影像数据分为运动矢量、量化值、DCT系数或者从影像数据提取运动矢量、量化值、DCT系数。
逆量化部1200将从可变长度解码部1100输出的DCT系数根据量化值进行逆量化。
逆变换部1300对通过逆量化部1200逆量化的DCT系数进行逆变换(IDCT)来获取差分影像。
预测部1500根据对应帧是否为帧内模式或帧间模式来执行预测。预测部1500的运动补偿部1530利用运动矢量和之前影像数据来补偿对于当前影像数据的运动。由此，运动补偿部生成预测影像。
上述影像解码部1000的可变长度解码部1100、逆量化部1200、逆变换部1300、加算部1400及预测部1500的结构可根据影像数据的编码方式或编解码器变更，本发明所属技术领域的普通技术人员可根据对应影像数据的编解码器体现。本发明在对基于H.264等的顾子航的影像进行解码的以往的解码部追加对象区域检测部2000来构成。
上述对象区域检测部2000以与包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息。如上所述，导出的对象区域信息向上述影像分析部3000传递，影像分析部3000仅对对象区域信息进行影像处理，由此，大幅度减少影像分析所需要的计算量。
图3为简要示出利用基于H.264等的规章的块的视频编解码器的一实施例的影像数据的数据流的译码前结构的图。
图3所示的数据流完全不执行向图2中可变长度解码部1100输入的译码，而是与存储或传送的影像数据相对应。上述影像数据或数据流由网络抽象层(NAL，NetworkAbstraction Layer)形成，各个网络抽象层包括网络抽象层单元和作为有效负荷的原始字节序列有效载荷(RBSP，Raw Byte Sequence Payload)。网络抽象层为记载如SPS、PPS的参数信息的单位或记载与视频编码层(VCL，Video Coding Layer)相对应的Slice数据的单位。
与视频编码层相对应的SLICE网络抽象层由头部和数据构成，其中，数据由多个宏块字段和分隔符字段形成。在本发明中，执行对象区域检测的影像数据的编码方式为在网络抽象层状态的数据中编码成具有规定块大小的宏块的方式。图3中，以MB区分的数据子弹编码成与规定大小的块有关的数据。
后述的对象区域检测部2000的第一辨别部2100从未被解码的影像数据利用各个宏块，即，图3中以MB表示的部分的数据大小。根据上述方式，利用如可变长度解码部1100的一次性解码步骤之前的原本数据来导出预备对象区域候补区域。
通常，在通过H.264编解码器编码的影像数据的情况下，图3的MB数据字段由具有16像素×16像素大小的宏块有关的数据被编码并存储，通过可变长度解码部1100，可将上述宏块的细部块信息以一部分被编码的形态确认。
图4为简要示出利用可变快的视频编解码器的一实施例的影像数据的宏块的数据字段结构的图。
图4所示的宏块的数据字段为通过上述可变长度解码部1100解码的形态。基本上，宏块的数据字段包括：包含块的大小等信息的类型(Type)字段；与帧内模式编码或帧间模式编码有关的信息及在帧间模式的情况下，包含基准帧信息及运动矢量信息的预测类型(Prediction Type)字段；包含用于维持当解码时输入的之前图片位字符串的信息的编码图片缓冲区(CPB，Coded Picture Buffer)字段；包含与量化参数有关的信息的量化参数(QP，Quantization Parameter)字段；以及包含与对于对应块的颜色的DCT系数有关的信息的数据字段。
在宏块包括多的子块的情况下，在图4的第二列示出的类型-预测类型-CPB-QP-DATA的数据单元多个连接。
后述的第二辨别部2200利用通过上述可变长度解码部1100解码的宏块整体(在没有子块的情况下)或在构成宏块的子块的类型字段中了解的块大小及在预测类型字段中了解的运动矢量信息来检测对象区域。
另一方面，数据字段的颜色信息由与多个系统的颜色有关的信息(图4中，包含在YCbCr系统中的颜色信息)被编码的形态包含。上述数据字段的颜色信息通过逆量化部1200及逆变换部1300对信息进行解码，在加算部1400中，可导出与原本的影像数据中的颜色值和在影像解码部1000的预测部1500中预测的颜色值差异相对应的预测错误信息。
如上所述，可在加算部1400中导出的预测错误信息用于可通过上述第二辨别部2200检测对象区域。
图5为简要示出本发明一实施例的对象区域监测部的细部结构的图。
上述对象区域检测部2000包括：第一辨别部2100，在从执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤；以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤；第二辨别部2200，对于在上述第一辨别部2100中判别为数据的大小信息满足已设定的基准的宏块，以在上述影像解码步骤中提取的1个以上的影像解码参数为基础来检测对象区域；以及对象区域输出部2300，向影像分析部3000输出在上述第二辨别部2200中检测对象区域的信息。
如图2所示，在上述第一辨别步骤中，从通过可变长度解码部1100未被解码的影像数据的网络抽象层形式的数据流导出与各个宏块有关的数据的大小信息。即，图3中，以MB标记的各个数据字段的数据大小为基础，确定各个宏块是否称为后述的第二辨别部2200的辨别对象。
利用可变大小块的影像编码方法中，在复杂的影像所在的宏块的情况下，将宏块(16x16)分为多个子块(8x8、4x4等)或者包括多个信息，因此，对应宏块的大小会变大。并且，H.264等的影像编码方法中，在存在宏块的数据中频繁发生值和并非如此的值的情况下，向频繁发生的值分配短的符号，对并非如此的值赋予长的符号来通过整体数据量的方法进行编码。
第一辨别部2100利用使用可变大小块的编码方法的上述特性来从可变长度解码部1100等的解码步骤执行之前的影像数据到户各个的宏块的数据大小，在对应数据大小满足已设定的基准的情况下，即，在已设定的值以上的情况下，将其分类为基于2次辨别部的辨别对象。
通过上述方式，在本发明中不变更影像解码部1000，从向影像解码部1000输入的影像数据提取检测对象区域的有效数据来通过简单的计算辨别是否为与对应宏块有关的对象区域。
在本发明另一实施例中，综合判断基于上述第一辨别部2100的辨别结果及基于第二辨别部2200的辨别结果来判断是否为与各个宏块或子块有关的对象区域。
另一方面，上述第二辨别部2200在上述宏块不包括子块的情况下，以与上述宏块整体有关的1个以上的影像解码参数为基础来检测对象区域，在上述宏块包括子块的情况下，以与各个上述子块有关的1个以上的影像解码参数为基础来检测对象区域。
其中，上述第二辨别部2200以在与对象块有关的块大小信息及运动矢量信息、预测错误信息中的1个以上的信息为基础来导出对象区域信息，优选地，以与对象块有关的块大小信息及运动矢量信息、预测错误信息中的2以上的信息为基础来导出对象区域信息，更优选地，以块大小信息及运动矢量信息、预测错误信息为基础来导出对象区域信息。
具体地，上述第二辨别部2200以在与对象块有关的块大小信息及运动矢量信息、预测错误信息中的与1个以上的信息有关的评价结果为基础来导出对象区域信息，优选地，综合以在于对象块有关的块大小信息及运动矢量信息、预测错误信息中的与2以上的信息有关的各个评价结果来导出对象区域信息，更优选地，综合块大小信息及运动矢量信息、预测错误信息的各个评价结果来导出对象区域信息。在本发明的一实施例中，对块大小信息及运动矢量信息、预测错误信息，通过已设定基准执行评分，对各个要素的评价分数适用加权值等来导出综合分数之后，根据导出的分数是否满足已设定的条件或值来导出对象区域信息。
在本发明的一实施例中，上述1个以上的影像解码参数包括宏块或构成宏块的子块的块大小信息。例如，块大小信息与对应块是否为16x16大小、8x8大小、4x4大小有关。
在存在对象的区域的情况下，具有比背景区域复杂形态的可能性高。另一方面，另可变块的影像编码方式中，对具有复杂形态的宏块通过分割为多个子块来进行编码，在本发明的一实施例中，利用上述编码特性来在第二辨别部2200中执行对象区域检测。即，第二辨别部2200辨别是否为对象区域的宏块或子块的大小越小，判断为与对象区域相对应的可能性高，或者，确定是否为对象区域的分数中，与小的块相比，赋予更高的分数。
其中，如图5所示，上述块大小信息从在上述可变长度解码步骤中译码的信息导出。通过上述方式，无法用于导出对象区域的额外的特定量信息，而是导出维持影像解码部1000的结构，并可检测对象区域的参数。
在本发明的一实施例中，上述1个以上的影像解码参数包括宏块或构成宏块的子块的运动矢量信息。帧间模式的帧的宏块或子块分别包含运动矢量信息(方向及大小)，第二辨别部2200利用在运动矢量信息中的动矢量的大小信息来辨别对应宏块或子块是否与对象区域相对应的或者辨别相关值。
在对象存在的情况下，与背景区域相比，存在运动的可能性高。另一方面，利用可变快的影像编码方式中的参照帧(例如，P帧)的各个图像块包含与基准帧有关的运动矢量的大小信息。在本发明一实施例中，利用上述编码特性来在第二辨别部2200中执行对象区域检测。即，第二辨别部2200辨别是否为对象区域的宏块或者子块的运动矢量的大小越大，判断为与对象区域相对应的可能性高，或者确定是否为对象区域的分数中，与运动矢量的大小相比赋予高的分数。
其中，如图5所示，上述运动矢量信息从在上述可变长度解码部1100中译码的信息导出。通过上述方式，不生成用于导出对象区域的额外的特定量信息，而是导出维持影像解码部1000的结构并检测对象区域的参数。
在本发明的一实施例中，上述1个以上的影像解码参数包含宏块或构成宏块的子块的预测错误信息。
上述预测错误信息在上述加算步骤中导出，上述预测错误信息以基于与对应宏块或构成宏块的子块有关的译码的影像数据的颜色信息及与在上述加算步骤执行的预测步骤中预测的对应宏块或构成宏块的子块有关的颜色信息的差异为基础来导出。
在对象存在的区域的情况下，存在影像的颜色变化或形态变化的可能性高，因此，预测错误信息的大小高的可能性大。
优选地，在本发明中，YCrCb颜色空间中，以与亮度值(LUMA)区域相对应的Y值颜色有关的预测错误信息为基础来在第二辨别部2200中检测对象区域。
即，第二辨别部2200在边界是否为对象区域的宏块或与子块的Y颜色信息有关的预测错误信息的大小越大，判断为与对象区域相对应的可能性高，或者确定是否为对象区域的分数中，与复测错误信息小的块相比，赋予高的分数。
如上所述，上述第二辨别部2200以在块大小信息、运动矢量信息、预测错误信息中的1个以上的值为基础来辨别与对应宏块或子块是否与对象区域相对应。与基于第二辨别部2200的最终对象区域有关的辨别在各个信息均大于已设定的基准值的情况下判断为对象区域，在各个信息大于已设定的基准值的情况下，在已设定的数量以上的情况下判断为对象区域，对各个信息，通过已设定的规则赋予分数，在与各个分数有关的综合分数大于已设定的基准值的情况下，可辨别为最终对象区域。
另一方面，第一辨别部2100及第二辨别部2200的辨别基准或基准值等可通过从对应影像导出的统计数值或在系统中至今通过影像处理导出的统计数值或通过输入的数值来体现。
在本发明的优选实施例中，在第一辨别部2100中，通过宏块的数据的大小一次性对辨别对象进行过滤，在第二辨别部2200中，综合判断块大小信息、运动矢量信息、预测错误信息来判断与对象区域相对应的块。因此，与在最少的计算负荷中简单利用运动矢量的情况相比，可以更准确地检测对象区域。
在本发明的另一实施例中，上述对象区域检测部2000综合在第一辨别部2100及第二辨别部2200中的辨别结果来导出对象区域。具体地，以对于与在第一辨别部2100中的宏块有关的大小信息的分数、在第二辨别部2200中的块大小信息、运动矢量信息、预测错误信息中的1个以上的辨别分数为基础来对宏块整体或构成宏块的子块检测对象区域。
在本发明的另一实施例中，上述对象区域检测部2000以在第一辨别部2100中的辨别结果为基础来导出对象区域。
在本发明的另一实施例中，上述对象区域检测部2000以在第二辨别部2200中的辨别结果为基础来导出对象区域。
图6为宏块的几个例的图。
图6的(A)示出宏块由1个块形成的情况下，图6的(B)示出由4个块形成的情况，图6的(C)示出由7个块形成的情况，图6的(D)示出由16个块形成的情况。
如上所述，上述第一辨别部2100分别与各个宏块有关的数据的大小信息。如图6的(D)所示，在由多个子块形成的情况下，通常，与图6的(A)相比，与宏块有关的数据的大小更高。第一辨别部2100可沿着与如图6的(A)所示的宏块相比，如图6的(D)的宏块与对应区域相对应的可能性高的方向执行辨别。
另一方面，图6的(D)中的子块的块大小小于图6的(B)中的子块闳图6的(A)的宏块整体的块大小，因此，第二辨别部2200沿着图6的(D)中的子块比图6的(B)中的子块或图6的(A)的宏块整体与对象区对应的可能性高的方向执行辨别。
图7为示出包括子块的宏块的例的图。
如图7所示，利用可变大小块的影像数据的编码中的相同宏块中的子块可具有不同的块大小及运动矢量。
图7的块#4、#5、#6、#7具有小于块#1、#2、#3的块大小及大的运动矢量，第二辨别部2200对块#4、#5、#6、#7，在是否为与对象区域相对应的块的分数中赋予大于块#1、#2、#3的分数。
图8为以块基准示出本发明一实施例的对象区域检测步骤的过程的图。
图8的(A)示出16个宏块。
图8的(B)示出执行第一辨别步骤的状态，上述第一辨别步骤包括：在从执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤；以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤。在图8的(B)中，通过虚线表示的部分为与宏块有关的数据的大小小于已设定的值的宏块，图8的(B)中，通过实线表示的部分为与宏块有关的数据的大小为已设定值以上的宏块。
图8的(C)示出执行对于在上述第一辨别步骤中判别为数据的大小信息满足已设定的基准的宏块(图8的(B)的实线区域)，以在上述影像解码步骤提取的1个以上的影像解码参数为基础来检测对象区域的第二辨别步骤的状态。
图8的(C)中，通过虚线表示的部分为在第二辨别步骤中无法满足已设定的基准的块，图8的(C)中，通过实线表示的部分为在第二辨别步骤中满足已设定的基准的子块或宏块。
在本发明的优选一实施例中，通过第一辨别部2100，宏块中的一部分在第二辨别部2200的辨别对象去除，仅对满足第一辨别部2100的基准的宏块执行第二辨别部2200的辨别，由此，在对象区域检测步骤中的计算量进一步减少，结果，整体影像处理的速度得到提高。
图9为示出与本发明一实施例的影像画面有关的块分割信息的图。
如图9所示，在具有对象的区域的情况下，各个宏块进一步分为细部块，反应上述特性，上述第二辨别部2200辨别对应细部块或宏块是否对象区域。
图10为示出与本发明一实施例的影像画面有关的运动矢量信息的图。
如图10所示，在具有对象的区域的情况下，可了解各个宏块或细部块的运动矢量的大小变大，反应上述特性，上述第二辨别部2200辨别对应细部块或宏块是否为对象区域。
图11为示出与本发明一例的影像画面有关的预测错误信息的图。
如图11所示，在具有对象的区域的情况下，各个宏块或细部块的预测错误信息(图11中，在预测错误信息中，YCrCb颜色工序中，根据数值，将与亮度相对应的Y值有关的预测错误信息通过明(在数值大的情况)，暗(在数值小的情况)呈现)的值变大，反应上述特性，上述第二辨别部辨别对应细部块或宏块是否为对象区域。
图12简要示出生成本发明一实施例的编码的影像编码系统。
如图6所示，上述本发明一实施例的对象区域检测部、影像解码部利用可变大小块来对编码的影像数据适用。作为代表例，适用于通过H.264编解码器编码的影像数据。
图12所示的编码器10为了生成图1及图2中的影像数据所示的数据而可包括离散余弦变换部11(Discrete Cosine Transform)、量化部12(Quantization)、逆量化部13(Inverse Quantization，IQ)、逆变换部14(Inverse Discrete Cosine Transform，IDCT)、帧存储器15、移动推定及补偿部16(Motion Estimation and Compensation，ME/MC)及可变长度编码部17(Variable Length Coding，VLC)。同样，上述影像解码部与上述编码部的结构相应。
对此进行简要说明，离散余弦变换部11为了去除空间相关性而对以已设定的尺寸(例如，4×4)像素块单位输入的影像数据执行离散余弦变换计算。
之后，量化部12对在离散余弦变换部11中获取的离散余弦变换系数执行量化来通过几个代表值呈现，由此执行搞笑损失压缩。
并且，逆量化部13对在量化部12中量化的影像数据进行逆量化。
逆变换部14对在逆量化部133中逆量化的影像数据执行逆离散余弦变换。
帧存储器15将在逆变换部14中逆离散余弦变换变换的影像数据以帧单位存储。
另一方面，移动推定及补偿部16利用输入的当前帧的影像数据和存储于帧存储器15的之前帧的影像数据来推定每个宏块的运动矢量(Motion Vector，MV)来计算与阻塞错误(blockmatching error)相对应的绝对差值之和(SAD，sum of absolute difference)。
可变长度编码部17根据在推定及补偿部16中推定的运动矢量来在离散余弦变换及量化处理的数据中去除统计重复性。
图13为简要示出影像数据的多个帧的例的图。
通常，视频的部分包括I帧(图13中，通过“I”示出的帧)、P帧(图13中，通过“P”示出的帧)及B帧(图13中，通过“B”示出的帧)。
I帧为关键帧，包含整体图像，在视频文件中起到接入点的功能，与独立编码的帧对应并具有低的压缩率。
另一方面，在P帧的情况下，作为参照之前的I帧或P帧来通过顺方向预测形成的帧，并不与独立编码的帧相对应。上述P帧的压缩率高于I帧的压缩率。其中，“之前”的帧不仅是上一个帧，还意味着存在于对应帧之前的多个帧中的一个，“之后”帧不仅是下一个帧，还意味着存在于对应帧之后的多个帧中的一个。
另一方面，在B帧的情况下，作为参照之前的帧及之后的帧来通过顺方向及逆方向预测形成的帧，并不与独立编码的帧相对应。上述B帧的压缩率高于I帧及P帧的压缩率。因此，上述独立编码的帧与I帧相对应，非独立编码的帧与剩余B帧或P帧相对应。
上述B帧、P帧与参照帧相对应，优选地，上述对象区域检测部对上述参照帧执行对象区域检测。
如图14所示，计算装置11000可至少包括一个处理器11100(processor)、存储器11200(memory)、周边装置接口11300(peripheral interface)、输入输出子系统11400(I/Osubsystem)、电力电路11500及通信电路11600。
作为一例，存储器11200可包括高速随机存取存储器(high-speed random accessmemory)、磁盘、SRAM、DRAM、ROM、闪存或非易失性存储器。存储器11200可包括用于计算装置11000的动作的软件模块、指令集合或此外的多种数据。
此时，处理器11100或周边装置接口11300等的其他组件中，通过处理器11100控制进入存储器11200。上述处理器11100可由单一或多个构成，为了提高计算处理速度而可包括GPU及TPU形态的处理器。
周边装置接口11300可将计算装置11000的输入和/或输出周边装置与处理器11100及存储器11200相结合。处理器11100执行存储于在存储器11200的软件模块或指令集合来执行用于计算装置11000的多种功能并处理数据。
输入输出子系统11400可将多种输入输出周边装置与周边装置接口11300相结合。例如，输入输出子系统11400可包括显示器或键盘、鼠标、打印机或根据需要，用于将触屏或传感器等的周边装置与周边装置接口11300相结合的控制器。根据另一实施方式，输入输出周边装置不经过输入输出子系统11400并与周边装置接口11300相结合。
电力电路11500可向终端的全部或一部分组件供电。例如，电力电路11500可包括如电力管理系统、电池或交流(AC)等的一个以上的电源、充电系统、电源故障检测电路(power failure detection circuit)、电力变换器或变流器、电力状态显示器或用于电力生成、管理、分配的任意其他组件。
通信电路11600利用至少一个外端口来与其他计算装置进行通信。
或者，如上所述，根据需要，通信电路11600包括射频电路来收发作为电磁信号(electromagnetic signal)的射频信号，由此可以与其他计算装置进行通信。
在这种图14的实施例为计算装置11000的一例，计算装置11000省略图14所示的一部分组件，还具备图14中未图示的追加组件，可具有使2个以上的组件结合的结构或配置。例如，用于移动环境的通信终端的计算装置除图14所示的组件之外，还可包括触摸屏或传感器等，在通信电路1160包括用于多种通信方式(WiFi、3G、LTE、Bluetooth、NFC、Zigbee等)的射频通信的电路。计算装置11000可包括的组件可体现为包括一个以上的信号处理或在应用特化的集成电路的硬件、软件或硬件及软件两者的组合。
本发明实施例的方法体现为通过多种计算装置执行的程序指令(instruction)形态，可记录在计算机可读记录介质。尤其，本实施例的程序可由基于PC的程序或移动终端专用的应用。适用本发明的应用通过文件分发系统提供的文件设置于用户终端。作为一例，文件分发系统可包括根据用户终端的请求传送上述文件的文件传送部(未图示)。
以上说明的装置可体现为硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合。例如，如处理器、控制器、算术逻辑单元(ALU，arithmetic logicunit)、数字信号处理器(digital signal processor)、微计算机、现场可编程门阵列(FPGA，field programmable gate array)、可编程逻辑单元(PLU，programmable logicunit)、微处理器或执行指令(instruction)并可响应的一种装置，可利用一个以上的常用计算机或特殊目的计算机来体现。处理装置可执行在操作系统(OS)及上述操作系统中执行的一个以上的软件应用。并且，处理装置响应软件的执行来接近、存储、操作、处理及生成数据。为了方便理解，处理装置仅使用一个，但是，只要是本发明所属技术领域的普通技术人员可知道处理装置可包括多个处理要素(processing element)和/或多个类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，也可以为如并列处理器(parallel processor)的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或这些中的一个以上的组合，按需要进行动作地构成处理装置或独立或结合(collectively)地命令处理装置。软件和/或数据通过处理装置解析或者为了向处理装置提供指令或数据而在任何类型的机械、结构要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置或传送的信号波(signal wave)永久或暂时具体化(embody)。软件向通过网络连接的计算装置分散，通过分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法体现为可通过多种计算机单元执行的程序指令形态，从而可记录在计算机可读介质。上述计算机可读介质将程序指令、数据文件、数据结构等单独或组合来包括。在上述介质记录的程序指令为了实施例而被特殊设计构成，也可以为计算机领域的普通技术人员公知使用的程序指令。计算机可读记录介质包括如硬盘、软盘及磁盘的磁介质(magnetic media)、如CD-ROM、DVD的光记录介质(optical media)、如光盘(flopticaldisk)的磁光介质(magneto-optical media)及如ROM、RAM、闪存等的存储程序指令并执行的特殊构成的硬件装置。程序指令包括通过编译器形成的机械代码和使用翻译器等来通过计算机执行的高级语言代码。上述硬件装置为了执行实施例的动作而作为一个以上的软件模块进行工作，反之亦然。
如上所述，虽然通过限定的实施例和附图对实施例进行了说明，只要是本发明所属技术领域的普通技术人员，可进行多种修改及变形。例如，说明的技术即使按与说明的方法不同的顺序执行，和/或说明的系统、结构、装置、电路等的结构要素按与说明的方法不同的形态结合或组合，或者通过其他结构要素或等同技术方案代替或者置换，也可以实现适当的结果。
因此，其他体现、其他实施例及发明要求保护范围等同的技术方案也属于发明要求保护范围。

Claims (10)

1.一种对象区域检测方法，在包括一个以上的处理器及用于存储能够在上述处理器中执行的多个指令的主存储器的计算系统中执行，其特征在于，包括：
影像解码步骤，对影像数据执行可变长度解码步骤、逆量化步骤、逆变换步骤、加算步骤来对影像进行解码；以及
对象区域检测步骤，以与包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息，
上述对象区域检测步骤包括：
第一辨别步骤，包括从在执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤；以及
第二辨别步骤，对于在上述第一辨别步骤中判别为数据的大小信息满足已设定的基准的宏块，以在上述影像解码步骤中提取的1个以上的影像解码参数为基础来检测对象区域，
其中，所述第一辨别步骤从未执行可变长度解码步骤解码的影像数据的网络抽象层格式的数据流中提取与宏块有关的数据的大小信息，
在所述第二辨别步骤中应用的所述1个以上的影像解码参数包括与对象块有关的块大小信息。
2.根据权利要求1所述的对象区域检测方法，其特征在于，
在上述第二辨别步骤中，在上述宏块不包括子块的情况下，以与上述宏块整体有关的1个以上的影像解码参数为基础来检测对象区域，
在上述宏块包括子块的情况下，以与各个上述子块有关的1个以上的影像解码参数为基础来检测对象区域。
3.根据权利要求1所述的对象区域检测方法，其特征在于，上述1个以上的影像解码参数包含宏块或构成宏块的子块的运动矢量信息。
4.根据权利要求3所述的对象区域检测方法，其特征在于，上述运动矢量信息从在可变长度解码部中译码的信息导出。
5.根据权利要求1所述的对象区域检测方法，其特征在于，上述1个以上的影像解码参数包含宏块或构成宏块的子块的预测错误信息。
6.根据权利要求5所述的对象区域检测方法，其特征在于，
上述预测错误信息在上述加算步骤中导出，
上述预测错误信息以基于与对应宏块或构成宏块的子块有关的译码的影像数据的颜色信息及与在上述加算步骤中执行的预测步骤中预测的对应宏块或构成对应宏块的子块有关的颜色信息的差异为基础来导出。
7.根据权利要求1所述的对象区域检测方法，其特征在于，上述对象区域检测步骤以运动矢量信息及预测错误信息为基础来导出对象区域信息。
8.根据权利要求7所述的对象区域检测方法，其特征在于，上述对象区域检测步骤综合与对于对象块的运动矢量信息及预测错误信息有关的各个评价结果来导出对象区域信息。
9.一种对象区域检测装置，包括一个以上的处理器及用于存储能够在上述处理器中执行的多个指令的主存储器，其特征在于，包括：
影像解码部，包括对影像数据分别执行可变长度解码步骤、逆量化步骤、逆变换步骤及加算步骤的可变长度解码部、逆量化部、逆变换部及加算部来对影像进行解码；以及
对象区域检测部，以包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息，
上述对象区域检测部执行以下辨别步骤：
第一辨别步骤，包括从在执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤；以及
第二辨别步骤，对于在上述第一辨别步骤中判别为数据的大小信息满足已设定的基准的宏块，以在上述影像解码步骤中提取的1个以上的影像解码参数为基础来检测对象区域，
其中，所述第一辨别步骤从未执行可变长度解码步骤解码的影像数据的网络抽象层格式的数据流中提取与宏块有关的数据的大小信息，
在所述第二辨别步骤中应用的所述1个以上的影像解码参数包括与对象块有关的块大小信息。
10.一种非临时性计算机可读介质，其特征在于，
上述非临时性计算机可读介质存储使计算装置执行以下步骤的多个指令，
上述步骤包括：
影像解码步骤，对影像数据执行可变长度解码步骤、逆量化步骤、逆变换步骤、加算步骤来对影像进行解码；以及
对象区域检测步骤，以包含在上述影像数据中的宏块有关的数据的大小信息及在上述影像解码步骤中提取的1个以上的影像解码参数为基础来导出影像的对象区域信息，
上述对象区域检测步骤包括：
第一辨别步骤，包括从在执行上述可变长度解码步骤之前的影像数据提取与宏块有关的数据的大小信息的步骤以及辨别与上述宏块有关的数据的大小信息是否满足已设定的基准的步骤；以及
第二辨别步骤，对于在上述第一辨别步骤中判别为数据的大小信息满足已设定的基准的宏块，以在上述影像解码步骤中提取的1个以上的影像解码参数为基础来检测对象区域，
其中，所述第一辨别步骤从未执行可变长度解码步骤解码的影像数据的网络抽象层格式的数据流中提取与宏块有关的数据的大小信息，
在所述第二辨别步骤中应用的所述1个以上的影像解码参数包括与对象块有关的块大小信息。
CN201811397383.5A 2018-09-20 2018-11-22 对象区域检测方法、装置及对其的非临时性计算机可读介质 Active CN110933415B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0112606 2018-09-20
KR1020180112606A KR102132335B1 (ko) 2018-09-20 2018-09-20 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
CN110933415A CN110933415A (zh) 2020-03-27
CN110933415B true CN110933415B (zh) 2022-03-08

Family

ID=69856463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811397383.5A Active CN110933415B (zh) 2018-09-20 2018-11-22 对象区域检测方法、装置及对其的非临时性计算机可读介质

Country Status (3)

Country Link
US (1) US11164328B2 (zh)
KR (1) KR102132335B1 (zh)
CN (1) CN110933415B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US20230107012A1 (en) * 2021-10-05 2023-04-06 Mellanox Technologies, Ltd. Hardware accelerated video encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2262254A1 (en) * 2008-11-28 2010-12-15 Victor Company Of Japan, Limited Repetitive object detecting device and method
CN102726047A (zh) * 2010-03-19 2012-10-10 庆熙大学校产学协力团 侦测系统
CN102761737A (zh) * 2011-04-28 2012-10-31 财团法人工业技术研究院 用于处理压缩视频图像中阴影的系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01118073A (ja) * 1987-10-30 1989-05-10 Rinnai Corp 給湯器
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
KR101217627B1 (ko) * 2006-02-02 2013-01-02 삼성전자주식회사 블록 기반의 움직임 추정 방법 및 장치
JP4357560B2 (ja) * 2007-12-27 2009-11-04 株式会社東芝 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
KR101834541B1 (ko) * 2011-07-22 2018-03-07 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
CN104025591A (zh) * 2011-10-31 2014-09-03 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
KR101409826B1 (ko) 2012-10-19 2014-06-24 한양대학교 산학협력단 적응적 탐색 범위를 이용한 움직임 예측 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
WO2018008678A1 (ja) * 2016-07-08 2018-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2262254A1 (en) * 2008-11-28 2010-12-15 Victor Company Of Japan, Limited Repetitive object detecting device and method
CN102726047A (zh) * 2010-03-19 2012-10-10 庆熙大学校产学协力团 侦测系统
CN102761737A (zh) * 2011-04-28 2012-10-31 财团法人工业技术研究院 用于处理压缩视频图像中阴影的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
交通监控视频中感兴趣目标检测系统的研究与设计;冯爽;《中国优秀硕士论文全文数据库（电子期刊）》;20170315;全文 *

Also Published As

Publication number Publication date
KR102132335B1 (ko) 2020-07-09
CN110933415A (zh) 2020-03-27
KR20200033412A (ko) 2020-03-30
US11164328B2 (en) 2021-11-02
US20200098132A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP5555221B2 (ja) 着目物の適応的な色モデル・パラメータ推定に係る方法および装置
CN112534818B (zh) 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应
KR102261669B1 (ko) 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
Babu et al. A survey on compressed domain video analysis techniques
CN112673625A (zh) 混合视频以及特征编码和解码
US10373458B2 (en) Automatic threat detection based on video frame delta information in compressed video streams
EP2665275B1 (en) Video coding employing an image de-graining loop-filter
CN111670580A (zh) 渐进压缩域计算机视觉和深度学习系统
CN110933415B (zh) 对象区域检测方法、装置及对其的非临时性计算机可读介质
US20130155228A1 (en) Moving object detection method and apparatus based on compressed domain
US9712828B2 (en) Foreground motion detection in compressed video data
WO2016143067A1 (ja) 映像解析装置
CN117730537A (zh) 经由基于学习神经网络的过滤器对机器视觉任务的性能改进
KR102345258B1 (ko) 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
Tong et al. Encoder combined video moving object detection
KR102530635B1 (ko) 교통정보 및 보행정보 분석방법, 장치 및 이에 대한 컴퓨터 프로그램
JP3711022B2 (ja) 動画像内の特定物体認識方法及び装置
KR102592089B1 (ko) 움직임이 존재하는 프레임의 검출방법
WO2013160040A1 (en) Methods and devices for object detection in coded video data
US20210241024A1 (en) Jpeg classifier
KR20230040287A (ko) 영상정보의 비트스트림정보에 기반하여 객체의 낙상이벤트를 감지하는 방법 및 시스템
KR102163556B1 (ko) 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치
Liao et al. An analysis-oriented ROI based coding approach on surveillance video data
Chen et al. Improving feature preservation in high efficiency video coding standard
Dai Visual Saliency Estimation Via HEVC Bitstream Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant