CN104660978B - 用于对图像进行处理的设备和方法 - Google Patents

用于对图像进行处理的设备和方法 Download PDF

Info

Publication number
CN104660978B
CN104660978B CN201410659065.7A CN201410659065A CN104660978B CN 104660978 B CN104660978 B CN 104660978B CN 201410659065 A CN201410659065 A CN 201410659065A CN 104660978 B CN104660978 B CN 104660978B
Authority
CN
China
Prior art keywords
video camera
picture frame
frame
decoding performance
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410659065.7A
Other languages
English (en)
Other versions
CN104660978A (zh
Inventor
赵成峯
李成勋
蔡锡镐
金孝真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN104660978A publication Critical patent/CN104660978A/zh
Application granted granted Critical
Publication of CN104660978B publication Critical patent/CN104660978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于对图像进行处理的设备和方法。提供了一种图像处理设备和用于对图像进行处理的方法。所述图像处理设备被连接到至少一个摄像机并且包括：性能计算单元，被配置为基于关于从所述至少一个摄像机接收到的图像帧的编解码器、分辨率和帧率中的至少一个的信息，计算所述至少一个摄像机的解码性能；筛选单元，被配置为基于所述至少一个摄像机的解码性能的计算结果，对接收到的图像帧进行筛选以选择用于进行解码的图像帧。

Description

用于对图像进行处理的设备和方法
本申请要求于2013年11月18日提交到韩国知识产权局的第10-2013-0140089号韩国专利申请的优先权，所述申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及对图像进行处理，其中，当对从至少一个摄像机接收到的图像进行解码所需的性能超过内部解码性能时，在接收到的图像之中对特定帧进行选择性地解码。
背景技术
一种用于记录和存储图像的设备(诸如数字视频录像机或网络视频录像机)被连接到至少一个监控摄像机，存储从选择的摄像机接收到的图像，执行解码和显示处理，并将结果输出到监视器。
在这样的用于记录和存储图像的设备中，在内部预设了解码器可对图像帧进行解码的最高解码性能。当解码器超过最高解码性能时，没有图像帧可被提供给解码器。换句话说，存储图像帧以进行解码的队列已满，不再有另外的图像帧可被存储在所述队列中。在这种状态下，发生丢帧，并且因此随机的图像帧未被解码。
在发生丢帧之后，解码器可恢复正常解码。然而，在丢帧和随后的解码器的正常操作之后，一定量的时间的流逝造成解码器再次超过预设最高解码性能，因此，队列排满的状态和丢帧被重复。因此，最后，显示在监视器上的图像可能停止并且再启动，或者可能重复发生画面间断，这令人不便。
发明内容
将在下面的描述中部分阐述本发明构思，还有部分从描述中将是清楚的，或者可通过本示例性实施例的实践而被获知。
示例性实施例所要解决的技术目标在于提供一种用于对图像进行处理的设备和方法，其中，在对从至少一个摄像机接收到的图像帧进行解码的时候，如果超过了在内部预设解码性能，则所述设备和方法可通过对从所述至少一个摄像机接收到的图像帧之中的特定图像帧进行选择性地解码，使得能够在没有画面间断的情况下监视图像，或者所述设备和方法可通过防止满队列状态和丢帧现象或使满队列状态和丢帧现象最小化，使得能够在没有画面间断的情况下监视图像。
根据示例性实施例的一方面，提供了一种连接到至少一个摄像机的图像处理设备，所述设备可包括：性能计算单元，被配置为基于关于从所述至少一个摄像机接收到的图像帧的编解码器、分辨率和帧率中的至少一个的信息，计算所述至少一个摄像机的解码性能；筛选单元，被配置为基于所述至少一个摄像机的解码性能的计算结果，对接收到的图像帧进行筛选以选择用于进行解码的图像帧。
所述至少一个摄像机可以是多个摄像机，所述筛选单元可被配置为通过将由性能计算单元计算出的所述多个摄像机的各个解码性能之和与所述图像处理设备的解码性能进行比较，选择用于进行解码的图像帧。
所述筛选单元可被配置为：如果所述和超过所述图像处理设备的解码性能，则选择用于进行解码的图像帧。如果所述和未超过所述图像处理设备的解码性能，则所述筛选单元可不选择用于进行解码的图像帧，反而可提供从所述多个摄像机接收到的所有图像帧以进行解码。
所述性能计算单元可被配置为通过将分配给接收到的图像帧的编解码器的权重值、所述图像帧的分辨率和帧率相乘，计算所述至少一个摄像机的解码性能。
依据编解码器的类型，不同的权重值可被分配给编解码器。
所述筛选单元可被配置为周期性地选择用于进行解码的图像帧。
选择的用于进行解码的图像帧可以是按画面组(GOP)单位从所述至少一个摄像机接收到的图像帧中的帧内帧。
选择的图像帧可以是从所述至少一个摄像机之中的具有最高解码性能或最低解码性能的摄像机接收到的图像帧。
选择的图像帧可以是从所述至少一个摄像机之中选择的一个或更多个摄像机接收到的图像帧。
所述筛选单元可被配置为基于从所述至少一个摄像机接收图像帧的至少一个通道的状况，改变选择的图像帧的数量。
根据另一示例性实施例的一方面，提供了一种对从至少一个摄像机接收到的图像帧进行处理的方法。所述方法可包括：基于关于接收到的图像帧的编解码器、分辨率和帧率中的至少一个的信息，计算所述至少一个摄像机的解码性能；基于所述至少一个摄像机的解码性能的计算结果，对接收到的图像帧进行筛选以选择用于进行解码的图像帧。
所述至少一个摄像机可以是多个摄像机，可基于将所述多个摄像机的各个解码性能之和与图像处理设备的解码性能进行比较的结果来执行筛选步骤。
如果所述和超过所述图像处理设备的解码性能，则可执行所述筛选步骤。如果所述和未超过所述图像处理设备的解码性能，则可不执行所述筛选步骤，并且从所述多个摄像机接收到的所有图像帧被提供以进行解码。
可通过将分配给接收到的图像帧的编解码器的权重值、所述图像帧的分辨率和帧率相乘来计算所述至少一个摄像机的解码性能。
依据编解码器的类型，不同的权重值可被分配给编解码器。
在所述筛选步骤中，用于进行解码的图像帧可被周期性地选择。
选择的用于进行解码的图像帧可以是按画面组(GOP)单位从所述至少一个摄像机接收到的图像帧中的帧内帧。
选择的图像帧可以是从所述至少一个摄像机之中的具有最高解码性能或最低解码性能的摄像机接收到的图像帧。
选择的图像帧可以是从所述至少一个摄像机之中选择的一个或更多个摄像机接收到的图像帧。
在所述筛选步骤中，可基于从所述至少一个摄像机接收图像帧的至少一个通道的状况来改变选择的图像帧的数量。
附图说明
从以下结合附图对示例性实施例的描述，这些和/或其它方面将变得清楚并更易于理解，其中：
图1是示出根据示例性实施例的用于对图像进行处理的设备的配置的框图；
图2A和图2B是示出根据示例性实施例的图1中的筛选单元的操作的示图；
图3是示出根据示例性实施例的对图像进行处理的方法的操作的流程图。
具体实施方式
现在将详细描述在附图中示出的示例性实施例，其中，相同的参考标号始终指示相同的元件。在这一点上，实施例可具有不同的形式并且不应该被解释为受限于在此阐述的描述。因此，通过参照附图，实施例在下面仅被描述用于解释本发明构思的多个方面。
虽然诸如“第一”、“第二”等的术语可用于描述各种组件，但是这样的组件不必受上述术语限制。上述术语仅用于将一个组件与另一组件区分开。在本说明书中使用的术语仅用于描述特定实施例，而并不意图限制本发明构思。以单数形式使用的表达包括复数表达，除非所述单数形式使用的表达在上下文中具有明确不同的含义。在本说明书中，将理解，诸如“包括”、“具有”和“包含”的术语意图指示说明书中所公开的特征、数量、步骤、动作、组件、部件或它们的组合的存在，而并不意图排除可能存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或它们的组合的可能性。
可按照组件或单元的功能块(例如，图1)和各个处理步骤来描述示例性实施例。这样的功能块可通过任意数量的被配置为执行特定功能的硬件组件和/或软件组件来实现。例如，所述功能块可采用在一个或更多个微处理器或其他控制装置的控制下可实现各种功能的各种集成电路(IC)组件，例如，存储器元件、处理元件、逻辑元件、查找表等。类似地，在所述功能块的元件使用软件编程或软件元件来实现的情况下，可用任意编程语言或脚本语言(诸如C、C++、java、汇编语言等)来实现实施例，其中，用数据结构、对象、进程、例程或其他编程元素的任意组合来实现各种算法。可在一个或更多个处理器上运行的算法中实现多个功能方面。此外，本发明构思可采用任意数量的针对电子配置、信号处理和/或控制、数据处理等的现有技术。词语“机构”、“元件”、“手段”和“配置”被广泛使用并且不限于机械实施例或物理实施例，而是可包括与处理器结合的软件例程等。
图1是示出根据示例性实施例的用于对图像进行处理的设备的配置的框图。参照图1，所述用于对图像进行处理的设备包括至少一个摄像机(例如，多个网络摄像机100)、网络200、图像处理单元300和显示单元400。
网络摄像机100安装在任意区域并通过网络200将捕获的图像作为数字图像信号输出到图像处理单元300(诸如数字视频录像机或网络视频录像机)。网络摄像机100可以是被置于特定区域中的固定位置处的高速球形摄像机。此外，网络摄像机100可包括配备有固定镜头并具有固定捕获范围的单个固定摄像机，或可包括具有可变捕获范围的摇摄倾斜变焦(PTZ，pan-tilt-zoom)摄像机。单个PTZ摄像机可通过针对沿水平方向的旋转的摇摄移动、针对沿垂直方向的旋转的倾斜移动和拉近/拉远(zoom in/zoom out)移动而容易地改变各种监控范围。
图像处理单元300接收并存储由至少一个网络摄像机100捕获的图像，基于关于从每个摄像机100接收到的图像的编解码器、分辨率和帧率的信息来计算每个摄像机100或相应通道的第一解码性能，并且当摄像机100的第一解码性能之和超过预先存储的第二解码性能时，从按通道接收的图像选择特定帧并对所述特定帧进行解码，其中，所述第二解码性能与所述用于对图像进行处理的设备的解码性能相应。以下提供了关于图像处理单元300的详细解释。
显示单元400显示由图像处理单元300处理过的图像。显示单元400可通过对用户期望监视的至少一个通道图像进行划分来显示图像。换句话说，显示单元400可将屏幕划分为2部分、4部分、8部分等，并在每个划分部分上显示每个通道图像。显示单元400可包括以下显示器中的至少一个：液晶显示器(LCD)、有机发光二极管(OLED)显示器、电泳显示器(EPD)、柔性显示器和三维(3D)显示器。
图像处理单元300的详细描述如下。图1中示出的图像处理单元300包括图像接收单元301、性能计算单元303、计时器305、筛选单元307、筛选控制单元309、帧提供单元311、解码器313、缩放器315、同步调整单元317、复用器319和渲染单元321。
图像接收单元301接收由至少一个网络摄像机100捕获的图像。图像接收单元301将至少一个网络地址分别分配给至少一个网络摄像机100，并接收由具有分配的网络地址的至少一个网络摄像机100捕获的图像。
可由用户选择多于一个的网络摄像机100以监视由选择的这些网络摄像机100捕获的图像，并且图像接收单元301可接收被编码的由选择的网络摄像机100捕获的图像。例如，当用户在第一网络摄像机100至第n网络摄像机100之中选择第一网络摄像机100至第四网络摄像机100以监视由第一网络摄像机100至第n网络摄像机100捕获的图像时，图像接收单元301可接收被编码的仅由第一网络摄像机100至第四网络摄像机100捕获的图像。
从所述至少一个网络摄像机100接收到的图像包括帧内帧(I帧)、预测帧(P帧)和双向帧(B帧)，其中，I帧、P帧和B帧包括在图像帧画面组(GOP)。作为关键帧的I帧是无需参照先前帧即可压缩的独立帧，并且与其他帧相比具有最好的画面质量和最大的容量。P帧是基于关于先前的I帧或先前的P帧的信息而被构成的，并且具有中间级别的画面质量和容量。P帧仅参照先前的I帧或先前的P帧来压缩改变的内容。I帧和P帧用作其他帧的参考帧。B帧具有最低级别的画面质量和容量，并且需要先前的参考帧和之后的参考帧(即，I帧和P帧)以进行压缩。
性能计算单元303通过对从选择的每个摄像机接收到的图像的编解码器、分辨率和帧率求和或将从选择的每个摄像机接收到的图像的编解码器、分辨率和帧率相乘来计算选择的每个摄像机的第一解码性能。
第一解码性能可依据图像编解码器(诸如H.264、MPEG-4和JPEG)而变化。当对按编解码器的图像进行比较时，对于相同的画面质量级别，MPEG-4具有JPEG的三分之一的压缩率，而H.264具有JPEG的五分之一的压缩率，并且用于解码的计算量与压缩率成反比。换句话说，当JPEG的解码性能是1.0时，MPEG-4需要三倍的JPEG的解码性能并且H.264需要五倍的JPEG的解码性能。诸如三或五的数量可依据在用于对图像进行处理的设备上具体实现的编解码器而变化。因此，编解码器的类型可被定义为用于确定第一解码性能的因素。
当第一解码性能基于相同的编解码器被确定时，分辨率主要影响第一解码性能。这是因为对与画面尺寸相应的存储器(未示出)的访问和计算量与分辨率成比例得增加。当第一解码性能基于相同的编解码器被确定时，第一解码性能与分辨率成比例。例如，与740×480的分辨率(320000像素)相比，1920×1080的分辨率(2百万像素)在第一解码性能上显示出6倍的提高。换句话说，还可根据分辨率来限定第一解码性能。
最后，第一解码性能可按照每秒所输入的由硬件编解码器和软件编解码器进行解码的输入帧的数量或者按照帧率而变化。例如，每秒三十个输入帧的情况可显示出是每秒一个输入帧的三十倍的第一解码性能。
因此，性能计算单元303可将一个摄像机的第一解码性能计算为通过该摄像机接收到的图像的编解码器、分辨率和帧率的倍乘(multiple)。在编解码器的情况下，可依据编解码器的类型不同地分配权重值，1.0可被分配给H.264、0.7可被分配给MPEG-4、0.5可被分配给JPEG。这里，所述权重值是用于计算关于编解码器的第一解码性能的值。
由于帧率会随着图像被接收而连续改变，因此计时器305测量帧率以检查由图像处理单元300接收到的图像帧的溢出。
当现有技术的个人计算机(PC)系统使用软件编解码器时，性能计算单元303可依据视频图形阵列(VGA)和缩放因子的渲染技术，以不同的方式计算第一解码性能。在这种情况下，影响第一解码性能的值是缩放因子，其中，所述缩放因子可被定义为屏幕上的图像面积与原始图像面积的值的比率。此外，用于缩放的插值技术可影响对第一解码性能的计算。通过插值技术(诸如Bi-Linear、Bi-Cubic等)进行的计算会影响对第一解码性能的计算。当前发布的安装在PC上的VGA卡可在渲染操作选择性地确定使用这样的插值技术。因此，现有技术的PC系统中的第一解码性能可被性能计算单元303计算为编解码器(即，H.264、MPEG-4或JPEG)、分辨率、帧率、缩放因子和插值因子的倍乘。
性能计算单元303将针对从所述至少一个网络摄像机接收到的图像帧的各个第一解码性能之和与第二解码性能进行比较，并确定第一解码性能之和是否超过第二解码性能，其中，所述第二解码性能与预先存储的图像处理单元300的解码性能相应。
例如，如果预先存储的第二解码性能是4CH×H.264×(1920×1080)×30帧每秒(FPS)，并且针对从选择的第一网络摄像机100至第四网络摄像机100接收到的图像的各个第一解码性能之和为4CH×H.264×(1920×1080)×30FPS，则各个第一解码性能之和未超过第二解码性能。然而，如果针对从第一网络摄像机100至第三网络摄像机100接收到的图像的各个第一解码性能之和为3CH×H.264×(1920×1080)×30FPS，并且针对从第四网络摄像机100接收到的图像的第一解码性能是1CH×H.264×(1920×1080)×60FPS，则各个第一解码性能之和超过第二解码性能。
如果各个第一解码性能之和超过第二解码性能，则筛选单元307执行筛选，使得在从选择的摄像机(例如，第一网络摄像机100至第四网络摄像机100)接收到的图像帧之中，仅I帧被选择。此外，如果各个第一解码性能之和超过第二解码性能，则筛选单元307可被配置为执行筛选，使得在从选择的摄像机接收到的图像帧之中，仅I帧被周期性地选择。
图2A和图2B是分别示出筛选单元307的操作的示图。图2A示出MPEG编解码器被用于执行筛选，使得在以GOP为单位接收到的图像帧之中，仅I帧被选择，而其他的B帧和P帧被筛除。图2B示出MPEG编解码器被用于执行筛选，使得在以GOP为单位接收到的图像帧之中，仅I帧被周期性地选择，而B帧和P帧被筛除。
因此，如果各个第一解码性能之和超过第二解码性能，则筛选单元307执行筛选，使得在从选择的摄像机接收到的图像帧之中仅I帧被选择或者仅I帧被周期性地选择，并且筛选单元307将I帧提供给解码器313。然后，可通过防止满队列情况和丢帧或使满队列情况和丢帧最小化来实现在没有画面间断情况下对帧的监视。
筛选控制单元309控制筛选单元307筛选I帧。
筛选控制单元309可控制筛选，使得从具有最高第一解码性能的摄像机接收到的图像帧之中仅I帧被选择，或者仅来自这些摄像机的I帧被周期性地选择。在存在从具有大于阈值的第一解码性能的少量摄像机接收到的图像帧，以及存在从具有大于阈值的第一解码性能的大量摄像机接收到的图像帧的情况下，筛选控制单元309可控制筛选，使得从所述少量摄像机接收到的图像帧被筛选，并且从所述大量摄像机接收到的全部图像帧未被筛选并被提供给解码器313。
此外，筛选单元309可控制筛选，使得在从具有最低第一解码性能的摄像机接收到的图像帧之中仅I帧被选择，或者仅来自这些摄像机的I帧被周期性地选择。在存在从具有小于阈值的第一解码性能的少量摄像机接收到的图像帧，并且存在从具有小于阈值的第一解码性能的大量摄像机接收到的图像帧的情况下，筛选控制单元309可控制筛选，使得从所述大量摄像机接收到的图像帧被筛选，并且从所述少量摄像机接收到的全部图像帧未被筛选并被提供给解码器313。
筛选控制单元309可选择其图像帧将被筛选单元307筛选的摄像机，并控制筛选单元307进行的筛选，使得在从选择的摄像机接收到的图像帧之中仅I帧可被选择，或者仅来自这些摄像机的I帧被周期性地选择。图像帧将被筛选单元307筛选的摄像机可由用户按照从第一摄像机开始的升序，或按照从第n摄像机开始的降序，或者按照随机顺序来选择。例如，如果摄像机按照从第一摄像机开始的升序被选择，则筛选控制单元309可控制筛选，使得在从选择的摄像机接收到的图像帧之中，仅I帧被选择，或者仅I帧被周期性地选择，直到各个第一解码性能之和变得小于第二解码性能为止。由于用户知道筛选单元307被首先应用于从第一摄像机接收到的图像帧，因此筛选控制提供了特定摄像机可被选择以查看所有图像帧的优点。
筛选控制单元309可进一步控制筛选单元307改变对从选择的摄像机(例如，少量具有最高第一解码性能的摄像机或具有第一最高解码性能的特定摄像机)接收到的图像帧进行筛选的频率。例如，当从第一摄像机接收到的图像帧的帧率是30FPS并且单位GOP(即，GOP中的画面或图像帧的数量)是15时，筛选单元307可被控制以将每秒两个I帧提供给解码器313。然而，筛选控制单元309可以以被应用以向解码器313提供每秒一个I帧或向解码器313提供每两秒一个I帧的权重值来控制筛选单元307。在这种情况下，筛选控制单元309可通过调整来自具有大于阈值的第一解码性能的摄像机的图像帧的I帧间隔来控制筛选，使得来自其他摄像机的全部图像帧被提供给解码器313。
帧提供单元311将筛选单元307进行筛选之后所选择的I帧或将所有未被筛选的图像帧提供给解码器313。解码器313对由帧提供单元311提供的图像帧进行解码。缩放器315调整解码后的图像帧的尺寸，同步调整单元317调整图像帧和音频的同步。复用器319对图像帧进行合成，并产生一个最终的输出图像。渲染单元321执行一系列处理以根据显示单元400的规格显示一个最终的输出图像。
图3是示出根据示例性实施例的对图像进行处理的方法的流程图。以下省略已参照图1和图2提供的重复描述。
参照图3，图像处理单元300通过将关于通过至少一个网络摄像机100接收到的图像的编解码器、分辨率和帧率的信息相乘来计算第一解码性能(S100)。在该阶段，图像处理单元300可选择捕获用户期望监视的图像的至少一个网络摄像机100，并接收被编码的由选择的网络摄像机100捕获的图像。第一解码性能可依据图像的编解码器(诸如H.264、MPEG-4和JPEG)而变化。用于计算第一解码性能的权重值依据每种类型的编解码器的压缩率和计算量而被不同地分配，1.0可被应用于H.264，0.7可被应用于MPEG-4并且0.5可被应用于JPEG。如果按相同的编解码器计算第一解码性能，则分辨率会主要影响第一解码性能。当按相同的编解码器获得第一解码性能时，所述第一解码性能与分别率成正比。最后，第一解码性能可按照每秒被输出的用于由硬件编解码器和软件编解码器进行解码的输出帧的数量或者按照帧率而变化。
在计算出第一解码性能之后，图像处理单元300将针对从所述至少一个摄像机接收到的图像帧的各个第一解码性能之和与第二解码性能进行比较(S200)，其中，所述第二解码性能与预先存储的图像处理单元300的解码性能相应。例如，当预存储的第二解码性能是4CH×H.264×(1920×1080)×30FPS并且针对从选择的第一网络摄像机至第四网络摄像机接收到的图像的各个第一解码性能之和为4CH×H.264×(1920×1080)×30FPS时，各个第一解码性能之和未超过第二解码性能。然而，如果针对从第一网络摄像机至第三网络摄像机接收到的图像的各个第一解码性能之和为3CH×H.264×(1920×1080)×30FPS，并且针对从第四网络摄像机接收到的图像的第一解码性能是1CH×H.264×(1920×1080)×60FPS，则针对从第一网络摄像机至第四网络摄像机接收到的图像的各个第一解码性能之和超过第二解码性能。
如果各个第一解码性能之和超过第二解码性能，则图像处理单元300执行筛选，使得在从选择的摄像机接收到的图像帧之中仅I帧被选择，或者在从选择的摄像机接收到的图像帧之中仅I帧被周期性地选择(S300)。在进行筛选的时候，图像处理单元300控制对从选择的每个摄像机接收到的图像帧的筛选。图像处理单元300可控制筛选，使得从具有最高第一解码性能的摄像机接收到的图像之中仅I帧被选择，或者仅来自这些摄像机的I帧被周期性地选择。此外，图像处理单元300可控制筛选，使得在从具有最低第一解码性能的摄像机接收到的图像帧之中仅I帧被选择，或者仅来自这些摄像机的I帧被周期性地选择。此外，图像处理单元300可选择其图像帧将通过筛选处理而被筛选的摄像机，并控制筛选，使得在从选择的摄像机接收到的图像帧之中仅I帧被选择，或者仅来自这些摄像机的I帧被周期性地选择。图像帧将被筛选单元307筛选的摄像机可由用户按照从第一摄像机开始的升序，或按照从第n摄像机开始的降序，或者按照随机顺序来选择。图像处理单元300可控制对从少量具有最高第一解码性能的摄像机或具有最高第一解码性能的特定摄像机接收到的图像帧进行筛选的频率。例如，如果从第一摄像机接收到的图像帧的帧率是30FPS并且单位GOP是15，则筛选步骤可被应用以将每秒两个I帧提供给解码器313。然而，图像处理单元300可以以用于向解码器313提供每秒一个I帧或向解码器313提供每两秒一个I帧的权重值来控制筛选。
在这些处理之后，图像处理单元300执行对筛选出的I帧或未被筛选的图像帧的解码，调整解码后的图像帧的尺寸，调整图像帧和音频的同步，对图像帧进行合成并产生一个最终的输出图像，以执行一系列的处理，从而按照显示单元400的规格显示一个最终的输出图像。
如上所述，根据一个或更多个示例性实施例，通过对来自接收的图像的特定帧进行选择性的解码并且通过防止满队列情况和丢帧或使满队列情况和丢帧最小化，即使当在对从至少一个摄像机接收到的图像进行解码的时候超过了在内部预设的解码性能，也可实现在没有画面间断的情况下监视图像。
此外，其他示例性实施例也可通过介质(例如，计算机可读介质)中/上的计算机可读代码/指令来实现，以控制至少一个处理元件实现任意上述实施例。所述介质可与允许存储和/或传输计算机可读代码的任意介质/媒介相应。
计算机可读代码可以以各种方式被记录在介质上/在介质上传送，其中，介质的示例包括记录介质(诸如，磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD等))和传输介质(诸如互联网传输介质)。因此，根据一个或更多个实施例，介质可以是这样定义的和可测量的包括或携带信号或信息的结构(诸如，携带比特流的装置)。介质还可以是分布式网络，使得计算机可读代码以分布式方式被存储/传送并被运行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可被分布和/或包括在单个装置中。
应理解，上述示例性实施例应被认为仅是描述性意义，而不是为了限制的目的。每个实施例内的特征或方面的描述通常应被认为可用于其它实施例中的其它类似特征或方面。例如，在以上实施例中，尽管通过将关于从摄像机或通过通道接收到的一个图像或多个图像的编解码器、分辨率和帧率的信息相乘来计算摄像机或相应通道的第一解码性能，但根据另一示例性实施例，可通过与编解码器、分辨率和帧率中的一个或更多个的乘法不同的操作来计算所述第一解码性能。此外，根据又一示例性实施例，可基于除编解码器、分辨率和帧率以外的特征来计算第一解码性能。虽然已经参照附图描述了一个或更多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (14)

1.一种连接到至少一个摄像机的图像处理设备，所述设备包括：
性能计算单元，被配置为基于关于从所述至少一个摄像机接收到的图像帧的编解码器、分辨率和帧率中的至少一个的信息，计算所述至少一个摄像机的解码性能；
筛选单元，被配置为基于所述至少一个摄像机的解码性能的计算结果，对接收到的图像帧进行筛选以选择用于进行解码的图像帧，
其中，所述至少一个摄像机包括多个摄像机，
其中，所述筛选单元被配置为通过将由性能计算单元计算出的所述多个摄像机的各个解码性能之和与所述图像处理设备的解码性能进行比较，选择用于进行解码的图像帧，
其中，所述筛选单元被配置为：如果所述和超过所述图像处理设备的解码性能，则选择用于进行解码的图像帧，
其中，如果所述和未超过所述图像处理设备的解码性能，则所述筛选单元不选择用于进行解码的图像帧，并提供从所述多个摄像机接收到的所有图像帧以进行解码，
其中，所述性能计算单元被配置为通过将分配给接收到的图像帧的编解码器的权重值、所述图像帧的分辨率和帧率相乘，计算所述至少一个摄像机的解码性能。
2.如权利要求1所述的图像处理设备，其中，依据编解码器的类型，不同的权重值被分配给编解码器。
3.如权利要求1所述的图像处理设备，其中，所述筛选单元被配置为周期性地选择用于进行解码的图像帧。
4.如权利要求3所述的图像处理设备，其中，选择的用于进行解码的图像帧是按画面组(GOP)单位从所述至少一个摄像机接收到的图像帧中的帧内帧。
5.如权利要求1所述的图像处理设备，其中，选择的图像帧是从所述至少一个摄像机之中的具有最高解码性能或最低解码性能的摄像机接收到的图像帧。
6.如权利要求1所述的图像处理设备，其中，选择的图像帧是从所述至少一个摄像机之中选择的一个或更多个摄像机接收到的图像帧。
7.如权利要求1所述的图像处理设备，其中，所述筛选单元被配置为基于从所述至少一个摄像机接收图像帧的至少一个通道的状况，改变选择的图像帧的数量。
8.一种对从至少一个摄像机接收到的图像帧进行处理的方法，所述方法包括：
基于关于接收到的图像帧的编解码器、分辨率和帧率中的至少一个的信息，计算所述至少一个摄像机的解码性能；
基于所述至少一个摄像机的解码性能的计算结果，对接收到的图像帧进行筛选以选择用于进行解码的图像帧，
其中，所述至少一个摄像机包括多个摄像机，
其中，基于将所述多个摄像机的各个解码性能之和与图像处理设备的解码性能进行比较的结果来执行筛选步骤，
其中，如果所述和超过所述图像处理设备的解码性能，则执行所述筛选步骤，
其中，如果所述和未超过所述图像处理设备的解码性能，则不执行所述筛选步骤，并且从所述多个摄像机接收到的所有图像帧被提供以进行解码，
其中，通过将分配给接收到的图像帧的编解码器的权重值、所述图像帧的分辨率和帧率相乘来计算所述至少一个摄像机的解码性能。
9.如权利要求8所述的方法，其中，依据编解码器的类型，不同的权重值被分配给编解码器。
10.如权利要求8所述的方法，其中，在所述筛选步骤中，用于进行解码的图像帧被周期性地选择。
11.如权利要求10所述的方法，其中，选择的用于进行解码的图像帧是按画面组(GOP)单位从所述至少一个摄像机接收到的图像帧中的帧内帧。
12.如权利要求8所述的方法，其中，选择的图像帧是从所述至少一个摄像机之中的具有最高解码性能或最低解码性能的摄像机接收到的图像帧。
13.如权利要求8所述的方法，其中，选择的图像帧是从所述至少一个摄像机之中选择的一个或更多个摄像机接收到的图像帧。
14.如权利要求8所述的方法，其中，在所述筛选步骤中，基于从所述至少一个摄像机接收图像帧的至少一个通道的状况来改变选择的图像帧的数量。
CN201410659065.7A 2013-11-18 2014-11-18 用于对图像进行处理的设备和方法 Active CN104660978B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130140089A KR102268597B1 (ko) 2013-11-18 2013-11-18 영상 처리 장치 및 방법
KR10-2013-0140089 2013-11-18

Publications (2)

Publication Number Publication Date
CN104660978A CN104660978A (zh) 2015-05-27
CN104660978B true CN104660978B (zh) 2019-06-18

Family

ID=53173411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410659065.7A Active CN104660978B (zh) 2013-11-18 2014-11-18 用于对图像进行处理的设备和方法

Country Status (4)

Country Link
US (1) US9640225B2 (zh)
JP (1) JP6547097B2 (zh)
KR (1) KR102268597B1 (zh)
CN (1) CN104660978B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600391B2 (en) * 2016-04-05 2020-03-24 Hanwha Techwin Co., Ltd. Apparatus and method of managing display
CN107249144B (zh) * 2017-05-12 2020-05-15 北京小鸟看看科技有限公司 多媒体文件解码的方法、多媒体播放器和播放设备
CN107155093B (zh) * 2017-06-21 2020-10-23 普联技术有限公司 一种视频预览方法、装置及设备
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
CN110868570A (zh) * 2019-11-20 2020-03-06 广东奥园奥买家电子商务有限公司 一种基于摄像装置的门店监控方法和摄像装置及摄像设备
CN111416979B (zh) * 2020-03-03 2023-01-10 深圳市天视通电子科技有限公司 一种自适应解码方法及装置
CN115190304A (zh) * 2021-04-01 2022-10-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN116091321B (zh) * 2023-04-11 2023-07-11 苏州浪潮智能科技有限公司 图像缩放方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071365A (ja) * 2007-09-10 2009-04-02 Victor Co Of Japan Ltd 動画像復号装置およびその方法
CN101778259A (zh) * 2009-12-25 2010-07-14 深圳中兴力维技术有限公司 一种网络视频监控系统及其视频显示效率的提高方法
JP2010283683A (ja) * 2009-06-05 2010-12-16 Canon Inc ストリーム復号装置及びストリーム復号方法
CN103354610A (zh) * 2013-06-19 2013-10-16 圆展科技股份有限公司 监控设备与摄影机的调整方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100276686B1 (ko) 1998-07-21 2001-01-15 정선종 디코더 성능 기반 비디오 복호화 장치 및 방법
JP3639517B2 (ja) * 2000-10-04 2005-04-20 三洋電機株式会社 動画像復号化装置および動画像復号化方法
JP2007525067A (ja) 2003-06-19 2007-08-30 トムソン ライセンシング 低複雑性空間スケーラブル符号化のための方法および装置
KR20080000579A (ko) 2005-03-07 2008-01-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 스트림 데이터의 버퍼링
JP2007158410A (ja) * 2005-11-30 2007-06-21 Sony Computer Entertainment Inc 画像符号化装置、画像復号装置、および画像処理システム
JP4714039B2 (ja) * 2006-02-27 2011-06-29 株式会社東芝 映像再生装置及び映像再生方法
JP2007288559A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 再生方法および再生装置
KR100962673B1 (ko) * 2008-01-12 2010-06-11 (주) 이노티브잉크코리아 영상처리시스템, 영상처리방법 및 영상전달방법
JP2011077912A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd 通信制御装置、通信制御方法、及び通信制御プログラム
US8625973B2 (en) * 2009-10-30 2014-01-07 Verint Systems, Inc. Method and apparatus for operating a video system
TW201338537A (zh) * 2012-03-09 2013-09-16 Ind Tech Res Inst 動態派工錄影系統與方法
JP5940999B2 (ja) * 2013-03-12 2016-06-29 日本電信電話株式会社 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071365A (ja) * 2007-09-10 2009-04-02 Victor Co Of Japan Ltd 動画像復号装置およびその方法
JP2010283683A (ja) * 2009-06-05 2010-12-16 Canon Inc ストリーム復号装置及びストリーム復号方法
CN101778259A (zh) * 2009-12-25 2010-07-14 深圳中兴力维技术有限公司 一种网络视频监控系统及其视频显示效率的提高方法
CN103354610A (zh) * 2013-06-19 2013-10-16 圆展科技股份有限公司 监控设备与摄影机的调整方法

Also Published As

Publication number Publication date
US9640225B2 (en) 2017-05-02
JP2015100101A (ja) 2015-05-28
US20150139602A1 (en) 2015-05-21
JP6547097B2 (ja) 2019-07-24
KR102268597B1 (ko) 2021-06-23
KR20150057137A (ko) 2015-05-28
CN104660978A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
CN104660978B (zh) 用于对图像进行处理的设备和方法
EP3783895A2 (en) Visual quality optimized video compression
US10474343B2 (en) Image processing apparatus, image processing method, and program
US10499066B2 (en) Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
CN103636212B (zh) 基于帧相似性和视觉质量以及兴趣的帧编码选择
AU2018255414B2 (en) Systems and methods for rendering and pre-encoded load estimation based encoder hinting
JP7129517B2 (ja) ３６０ビデオストリーミングのための予測ビットレート選択
KR20150006771A (ko) 비디오의 선택된 부분들을 고해상도로 렌더링하는 방법 및 장치
CN114072764B (zh) 用于自适应地修改媒体内容的呈现的系统和方法
US20210127180A1 (en) Methods and systems for saving data while streaming video
KR101399951B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
EP4078442A1 (en) System and method of determining a region of interest in media
US9870598B2 (en) Low complexity adaptive filtering for mobile captures
KR102126869B1 (ko) 영상 처리 장치 및 방법
Zhang et al. Exploiting layer and spatial correlations to enhance SVC and tile based 360-degree video streaming
WO2021175247A1 (en) Method and system of simultaneous media capturing and displaying at electronic device
Gärde Visual Attention Guided Adaptive Quantization for x265 using Deep Learning
CN114202495A (zh) 应用于视频的图像质量损失确定方法、装置、设备及介质
JPH10301556A (ja) 画像表示制御装置および方法
JP5361763B2 (ja) マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム
CN112529823A (zh) 一种图像处理方法、装置及设备
AU2016262689A1 (en) Method, system and apparatus for determining a bounded region of interest in a video frame

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190228

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.