CN103517076A - 图像传输系统及其传输端装置与接收端装置 - Google Patents
图像传输系统及其传输端装置与接收端装置 Download PDFInfo
- Publication number
- CN103517076A CN103517076A CN201210238854.4A CN201210238854A CN103517076A CN 103517076 A CN103517076 A CN 103517076A CN 201210238854 A CN201210238854 A CN 201210238854A CN 103517076 A CN103517076 A CN 103517076A
- Authority
- CN
- China
- Prior art keywords
- reduction
- roi
- data
- field information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims description 121
- 230000004044 response Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种图像传输系统及其传输端装置与接收端装置。在图像传输系统中包括经由多个通信链路相连接的传输端装置及接收端装置。传输端装置接收一笔原始图像数据，并参考感兴趣图像区域(Region of Interest，ROI)信息自此原始图像数据中决定ROI图像数据。传输端装置还提供两个独立的图像处理路径分别针对原始图像数据及ROI图像数据进行处理，并经由此些通信链路分别输出处理后的原始图像数据及ROI图像数据。接收端装置接收处理后的原始图像数据及ROI图像数据，并据以合并得到还原帧画面数据。
Description
技术领域
本发明涉及一种图像传输系统，且特别涉及一种应用多个数据串流，来分别针对原始图像数据及感兴趣图像区域(Region of Interest，ROI)图像数据进行传输的图像传输系统。
背景技术
在科技发展日新月异的现今时代中，图像提取、处理及传输的技术被开发出来，并广泛地被应用在诸如第三代或第四代通信系统(Third or FourthGeneration Mobile Telecommunication)、视频电话、网络视频会议、实时通信视频、网络影音传输接口或远端图像保全/监视系统等图像处理及传送应用场合中。随着消费者对于影音质量的要求日渐提升，如何在有限的传输频宽限制下，有效地传递质量较佳的图像数据，为业界不断致力的方向之一。
发明内容
根据本发明的第一方面，提出一种传输端装置，包括信源单元、存储单元、图像处理单元、第一、第二编码单元及传输单元。信源单元提供原始图像数据。图像处理单元接收原始图像数据，并响应于感兴趣图像区域(Regionof Interest，ROI)信息，从原始图像数据中找出并将ROI图像数据存储于存储单元中。第一编码单元存取信源单元中的原始图像数据，并据以编码产生第一图像串流数据。第二编码单元存取该存储单元中的ROI图像数据，并据以编码产生第二图像串流数据，第二图像串流数据具有参考时间字段(“字段”也称之为“栏位”)信息及空间字段信息，分别指示ROI图像数据与原始图像数据的时间域及空间域对应关系。传输单元接收第一及第二图像串流数据，并分别经由第一及第二通信链路传输第一及第二图像串流数据。
根据本发明的第二方面提供一种接收端装置，包括第一、第二暂存单元、接收单元、第一、第二解码单元、图像选择单元及图像处理单元。接收单元经由第一及第二通信链路分别接收第一及第二图像串流数据，并将其分别存储在第一及第二暂存单元中。第一解码单元存取第一暂存单元中的第一图像串流数据，并据以解码产生及暂存还原原始图像数据。第二解码单元存取第二暂存单元中的第二图像串流数据，并据以解码产生并暂存ROI图像数据，第二图像串流数据具有还原参考时间字段信息及还原空间字段信息，分别指示还原ROI图像数据与还原原始图像数据的时间域及空间域对应关系。图像选择单元参考还原参考时间及还原空间字段信息从第一及第二解码单元中存取相互对应的一笔选取还原帧画面及一笔选取还原ROI画面。图像处理单元接收选取还原帧画面及选取还原ROI画面，并据以合并得到还原帧画面数据。
根据本发明的第三方面，提供一种图像传输系统，其中包括如前述段落所述的传输端装置及接收端装置。
为了对本发明的上述及其他方面有更佳的了解，下文特举优选实施例，并配合附图，作详细说明如下：
附图说明
图1绘示依照本发明实施例的图像传输系统的方块图。
图2绘示依照本发明实施例的传输端装置的方块图。
图3绘示依照本发明实施例的接收端装置的方块图。
图4绘示图像选择单元的操作示意图。
【主要元件符号说明】
1：图像传输系统
10：传输端装置
20：接收端装置
C1、C2：通信链路
101：信源单元
103：存储单元
105：图像处理单元
107、109：编码单元
111：传输单元
107a、109a：数据存取模块
107b、109b：编码内核模块
107c、109c：暂存模块
201：接收单元
203、205：暂存单元
207、209：解码单元
211：图像选择单元
213：图像处理单元
207a、209a：解码内核模块
207b、209b：暂存模块
S_in：状态指示信号
D_ROI：ROI图像数据
D_ROI’：还原ROI图像数据
D_i：原始图像数据
D_i’：还原原始图像数据
Fm：还原帧画面数据
F(t-2)-F(t+2)：还原帧画面数据
f(t-2)-f(t+2)：还原ROI画面数据
S_in：状态指示信号
SI：ROI信息
Str_i、Str_i’、Str_ROI、Str_ROI’：图像串流数据
具体实施方式
请参照图1，其绘示依照本发明实施例的图像传输系统的方块图。本实施例的图像传输系统1包括传输端装置10及接收端装置20，其经由期间的通信链路C1及C2相互连接并进行通信操作。通信链路C1及C2例如可以A/V端子、D-sub连接端口、DVI连接端口、HDMI连接端口、DisplayPort连接端口、USB连接端口、RJ-45连接端口为接口的实体线路来实现，或是诸如无线网络或移动通信系统路径等非实体路径来实现。此外，通信链路C1及C2也可选择性地以不同的路径来实现；例如通信链路C1及C2其中一个经由USB实体路径来实现，而其中的另一个经由无线网络来实现。
传输端装置
请参照图2，其绘示依照本发明实施例的传输端装置的方块图。举例来说，传输端装置10包括信源单元101、存储单元103、图像处理单元105、编码单元107、109及传输单元111。信源单元101例如为图像数据提取装置或为图像数据接收装置，其对应地提取或接收原始图像，以对应地提供原始图像数据D_i。举例来说，信源单元101可为录像机、手持式照相机等图像数据提取装置，或是图像信号连接端口、网络控制器等图像数据接收装置。
图像处理单元105分别与信源单元101及存储单元103耦接，图像处理单元105接收原始图像数据D_i，并响应于感兴趣图像区域(Region of Interest，ROI)信息SI，从原始图像数据D_i中决定一笔ROI图像数据D_ROI，并将ROI图像数据D_ROI存储于存储单元103中。举例来说，ROI图像数据D_ROI可为自原始图像数据D_i中复制对应至ROI区域的ROI图像数据。换句话说，对于原始图像数据D_i中的ROI区域来说，其的图像数据内容同时被存储在信源单元101及存储单元103中。
在一具体实施例中，ROI信息SI例如由使用者所定义，并经由信源单元101提供至图像处理单元105，例如由使用者对应地定义原始图像数据D_i中处于视觉重心的图像区域为ROI区域。
在一具体实施例中，例如在视频电话或网络视频会议的应用情境，ROI信息SI例如可选择性地将原始图像数据D_i中人脸图像显示区域、画面中心区域或是成像焦距景深内的区域定义为ROI区域，而后由图像处理单元105辨识人脸图像显示区域、画面中心区域或是成像焦距景深内的区域以决定或产生ROI图像数据。
在一具体实施例中，例如在远端图像监视系统的应用情境，ROI信息SI例如可对应至原始图像数据D_i中变异量(例如是前后不同帧画面间的变异量)最大的区域定义为ROI区域，而后由图像处理单元105搜寻变异量最大的区域以决定或产生ROI图像数据。
编码单元107存取信源单元101中的原始图像数据D_i，并据以编码产生图像串流数据Str_i。举例来说，编码单元107可为任何现有的图像压缩、编码、处理单元，用以针对原始图像数据D_i进行诸如压缩、编码及相关处理操作。进一步的说，编码单元107包括数据存取模块107a、编码内核模块107b及暂存模块107c，其分别用以存取原始图像数据D_i中的各笔帧画面数据、针对各笔帧画面数据进行编码处理及暂存相关操作后所得到的数据。
举例来说，原始图像数据D_i中包括原始时间字段信息，其对应地指示原始图像数据D_i中各笔帧画面数据的时间索引值。编码单元107例如选择性地参考原始图像数据D_i中的原始时间字段信息或参考其编码操作中产生的帧索引信息，在图像串流数据Str_i中夹带各笔帧画面数据的时间字段信息。
编码单元109存取存储单元103中的ROI图像数据D_ROI，并据以编码产生图像串流数据Str_ROI。与编码单元107相似，编码单元109也可为任何现有的图像压缩、编码及处理单元，以针对ROI图像数据D_ROI进行对应的处理；而编码单元109亦对应地具有数据存取模块109a、编码内核模块109b及暂存模块109c。
由于ROI图像数据D_ROI由图像处理单元105自原始图像数据D_i中复制而得，ROI图像数据D_ROI中亦包括与原始时间字段信息对应的参考时间字段信息，以指示ROI图像数据D_ROI中各笔ROI画面数据的时间索引值。此外，ROI图像数据D_ROI还包括空间字段信息，以指示各笔ROI画面数据与原始图像数据中的各笔帧画面数据的像素值坐标关系。换句话说，ROI图像数据D_ROI对应地包括参考时间字段信息及空间字段信息，以对应地指示ROI图像数据D_ROI中的各笔ROI画面数据与原始图像数据D_i中各笔帧画面数据的时间域及空间域对应关系。
编码单元109例如选择性地参考ROI图像数据D_ROI中的参考时间字段信息或参考其编码操作产生的帧时序索引信息，在图像串流数据Str_ROI中夹带各笔ROI画面数据的参考时间字段信息及空间字段信息。
举一个操作实例来说，编码单元107及109以完全独立的硬件模块来实现，以经由完全独立的两组线路分别对原始图像数据D_i及ROI图像数据D_ROI进行处理。
传输单元111接收编码单元107及109所产生的图像串流数据Str_i及Str_ROI，并分别经由通信链路C1及C2传输图像串流数据Str_i及Str_ROI。据此，传输端装置10可有效地经由通信链路C1传送信源单元101所提供的原始图像数据D_i，同时额外通过通信连接C2来传送原始图像数据D_i中对应的ROI图像数据D_ROI。通信链路C1及C2可以任何现有的图像数据传输接口及协议来传输。简言之，图像串流数据Str_i及Str_ROI经由传输端装置10中完全独立的两个串流路径来提供，而其也可独立地经由完全不相同的传输路径来进行传输。
再者，由于传输端装置10通过完全独立的两个串流路径来产生图像串流数据Str_i及Str_ROI，编码单元107及109也可以具有不同压缩比例或是不同处理机制的编码器来实现。举例来说，相较于编码单元107，编码单元109系配置有运算量较高的错误更正机制或是压缩比率较低图像还原质量较高的图像处理机制，以针对ROI图像数据D_ROI配置运算负载较高的图像处理机制，以对应地提供质量较佳的ROI图像数据D_ROI。
在本实施例中，虽仅原始图像数据D_i及ROI图像数据D_ROI分别存储在信源单元101及存储单元103中，而编码单元107及109分别存取并针对信源单元101及存储单元103中的图像数据进行编码操作的情形为例作说明，然而，本实施例的传输端装置10并不局限于此。
在其他例子中，本实施例的传输端装置10也可省去存储单元103的配置，编码单元109通过图像处理单元105耦接至存取信源单元101。此时，图像处理单元105可参考ROI信息SI，以调整编码单元109存取信源单元101时的存储器存取指针(Pointer)设定。据此，通过图像处理单元105的存储器存取指针设定操作，编码单元107及109可分别从信源单元101中存取得到原始图像数据D_i及ROI图像数据D_ROI，藉此针对其进行对应的图像编码操作而无需存储单元103的配置。
接收端装置
请参照图3，其绘示依照本发明实施例的接收端装置的方块图。举例来说，接收端装置20包括接收单元201、暂存单元203、205、解码单元207、209、图像选择单元211及图像处理单元213。
接收单元201分别经由通信链路C1及C2与传输单元111进行通信操作，以对应地接收并分别将到图像串流数据Str_i’及Str_ROI’存储在暂存单元203及205中。在理想情况中，通信链路C1及C2为理想传输通道，而接收单元201接收到的图像串流数据Str_i’及Str_ROI’实质上分别等于传输单元111所提供的图像串流数据Str_i及Str_ROI。
解码单元207存取暂存单元203中存储的图像串流数据Str_i’，并据以解码产生还原原始图像数据D_i’。举例来说，解码单元207包括解码内核模块207a及暂存模块207b；解码内核模块207a配置与编码内核模块107b对应的解码操作能力，以解码得到还原原始图像数据D_i’，并将还原原始图像数据D_i’存储在暂存模块207b中。
解码单元209存取暂存单元205中存储的图像串流数据Str_ROI’，并据以解码产生还原ROI图像数据D_ROI’。相似地，解码单元209例如包括解码内核模块209a及暂存模块209b；解码内核模块209a配置与编码内核模块109b对应的解码操作能力，以解码得到还原ROI图像数据D_ROI’，并将还原ROI图像数据D_ROI’存储在暂存模块209b中。
此外，解码单元207及209还找出图像串流数据Str_i’及Str_ROI’中夹带的各帧画面数据的原始时间字段信息及各笔ROI画面数据的参考时间字段信息与空间字段信息，并将其存储在还原原始图像数据D_i’及还原ROI图像数据D_ROI’中。其中，还原原始时间字段信息（位于还原原始图像数据D_i’中）与还原参考时间字段信息（位于还原ROI图像数据D_ROI’中）对应，并分别用以指示还原原始图像数据D_i’中各笔还原帧画面数据的时间索引值，及还原ROI图像数据D_ROI’中各笔还原ROI画面数据的时间索引值。此外，还原ROI图像数据D_ROI’中更具有还原空间字段信息。据此，对应地指示各笔还原ROI图像数据与对应的各笔还原帧画面数据间的时间域及空间域对应关系。
图像选择单元211参考还原原始时间字段信息、还原参考时间字段信息及还原空间字段信息，分别从暂存模块207b及209b中存取对应至相同时间索引值的选取还原帧画面及选取还原ROI画面。
请参照图4，其绘示图像选择单元211的操作示意图。举例来说，在某个操作时点上，暂存模块207b暂存还原原始图像数据D_i’中的5笔还原帧画面数据F(t-2)、F(t-1)、F(t)、F(t+1)及F(t+2)，其中的还原原始时间字段信息分别对应至时间索引值t-2、t-1、t、t+1及t+2，其中t为大于或等于2的自然数。相似地，暂存模块209b暂存还原ROI图像数据D_ROI’中的5笔还原ROI画面数据f(t-2)、f(t-1)、f(t)、f(t+1)及f(t+2)，其中的还原参考时间字段信息分别对应至时间索引值t-2、t-1、t、t+1及t+2。
在这个操作实例中，图像选择单元211参考各笔还原帧画面数据F(t-2)至F(t+2)的还原原始时间字段信息及各笔还原ROI画面数据f(t-2)至f(t+2)的还原参考时间字段信息，找出对应具有相同时间索引值的一笔选取还原帧画面及一笔选取还原ROI画面，例如是还原帧画面数据F(t)及还原ROI画面数据f(t)。
图像处理单元213接收选取还原帧画面及选取还原ROI画面，并根据还原空间字段信息以合并得到还原帧画面数据Fm。举例来说，图像处理单元213通过将选取还原ROI画面数据覆盖并取代选取还原帧画面数据的方式，覆盖区域的信息由还原空间字段信息提供，藉此整合此两笔画面数据；图像处理单元213更例如针对还原帧画面数据Fm进行平滑化操作。
据此，经由上述操作流程，本实施例的接收端装置20可有效地经由通信链路C1及C2接收传输端装置10提供的图像串流数据Str_i’及Str_ROI’，并据以合并得到还原帧画面数据Fm。
在本实施例中，虽仅以图像选择单元211执行如图4所示的画面数据选取操作的情形为例作说明，然而，本实施例的图像选择单元211并不局限于此。在其他例子中，图像选择单元211更用提供状态指示信号S_in通知图像处理单元213还原原始图像数据D_i’及还原ROI图像数据D_ROI’是否发生数据遗失的情形，并指示其经由不同的图像处理方法来得到还原帧画面数据Fm。
进一步的说，当还原原始及还原ROI图像数据D_i’及D_ROI’中均未发生数据遗失时，状态指示信号S_in对应至预设数值；图像处理单元213响应于对应至预设数值的状态指示信号S_in，执行前述根据对应至相同时间索引值的选取还原帧画面及选取还原ROI画面合并得到还原帧画面数据Fm的操作。
相对地，当遗失还原原始图像数据D_i’中对应至时间索引值t的还原帧画面数据F(t)时，图像选择单元211输出对应至第一状态数值的状态指示信号S_in，并选择性选择对应至前一个或后一个时间索引值的还原帧画面数据(即是F(t-1)或F(t+1))作为选择还原帧画面。据此，图像处理单元213响应于对应至第一状态数值的状态指示信号S_in，根据实质上对应至不同时间索引值的选取还原帧画面(例如是F(t-1)或F(t+1)及选取还原ROI画面(f(t))合并得到还原帧画面数据Fm。此外，图像处理单元213还选择性地额外针对选取还原帧画面进行诸如移动补偿等修补操作。
相对地，当遗失还原ROI图像数据D_ROI’中对应至时间索引值t的还原ROI画面数据f(t)时，图像选择单元211输出对应至第二状态数值的状态指示信号S_in。据此，图像处理单元213响应于对应至第二状态数值的状态指示信号S_in，直接将选取还原帧画面(例如是F(t))及作为还原帧画面数据Fm。换句话说，在遗失还原ROI画面数据f(t)的情况下，图像处理单元213对应地舍弃合并选取还原帧画面及选取还原ROI画面的操作，以将选取还原帧画面输出。
本实施例的图像传输系统包括传输端装置及接收端装置，其间通过多个通信链路相连接。传输端装置通过完全独立的两个图像数据处理路径来进行原始图像数据及ROI图像数据的编码及传输处理；接收端装置经由此些通信链路分别接收此笔原始图像数据串流及ROI图像数据串流，并对应地通过完全独立的图像数据处理路径来进行对应的数据解码及接收处理。据此，相较于传统图像传输系统，本实施例的图像传输系统具有可独立地传输原始图像及ROI图像，及可有效地在未大幅增加数据传输量的情况下，提升原始图像中ROI区域的图像显示质量的优点。
综上所述，虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本领域技术人员在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附权利要求书所界定者为准。
Claims (11)
1.一种传输端装置，包括：
一信源单元，用以提供一原始图像数据；
一图像处理单元，接收该原始图像数据，并响应于一感兴趣图像区域ROI(Region of Interest)信息，从该原始图像数据中决定一ROI图像数据；
一第一编码单元，存取该原始图像数据，并据以编码产生一第一图像串流数据；
一第二编码单元，存取该ROI图像数据，并据以编码产生一第二图像串流数据，其中该第二图像串流数据具有一参考时间字段信息及一空间字段信息，分别指示该ROI图像数据与该原始图像数据的时间域及空间域对应关系；以及
一传输单元，接收该第一及该第二图像串流数据，并分别经由一第一通信链路及一第二通信链路传输该第一及该第二图像串流数据。
2.如权利要求1所述的传输端装置，其中该原始图像数据包括一原始时间字段信息，用以指示该原始图像数据中各多个帧画面的索引值。
3.如权利要求2所述的传输端装置，其中该图像处理单元系参考该原始时间字段信息以产生该参考时间字段信息，该参考时间字段信息与该原始时间字段信息对应，并用以指示该ROI图像数据中各多个ROI画面的索引值。
4.一种接收端装置，包括：
一第一暂存单元及一第二暂存单元；
一接收单元，经由一第一通信链路及一第二通信链路分别接收一第一图像串流数据及一第二图像串流数据，并将该第一及该第二图像串流数据分别存储在该第一及该第二暂存单元中；
一第一解码单元，存取该第一暂存单元中的该第一图像串流数据，并据以解码产生及暂存一还原原始图像数据；
一第二解码单元，存取该第二暂存单元中的该第二图像串流数据，并据以解码产生并暂存一还原感兴趣图像区域ROI(Region of Interest)图像数据，该第二图像串流数据具有一还原参考时间字段信息及一还原空间字段信息，分别指示该还原ROI图像数据与该还原原始图像数据的时间域及空间域对应关系；
一图像选择单元，参考该还原参考时间及该还原空间字段信息从该第一及该第二解码单元中存取相互对应的一选取还原帧画面及一选取还原ROI画面；以及
一图像处理单元，接收该选取还原帧画面及该选取还原ROI画面，并据以合并得到一还原帧画面数据。
5.如权利要求4所述的接收端装置，其中该还原原始图像数据包括一还原原始时间字段信息，用以指示该还原原始图像数据中各多个还原帧画面的索引值。
6.如权利要求5所述的接收端装置，其中该图像处理单元系参考该还原原始时间字段信息来产生该还原参考时间字段信息，该还原参考时间字段信息与该还原原始时间字段信息对应，并用以指示该还原ROI图像数据中各多个还原ROI画面的索引值。
7.一种图像传输系统，包括：
一传输端装置，包括：
一信源单元，用以提供一原始图像数据；
一存储单元；
一第一图像处理单元，接收该原始图像数据，并响应于一感兴趣图像区域ROI(Region of Interest)信息，从该原始图像数据中决定一ROI图像数据，该图像处理单元还将该ROI图像数据存储于该存储单元中；
一第一编码单元，存取该信源单元中的该原始图像数据，并据以编码产生一第一图像串流数据；
一第二编码单元，存取该存储单元中的该ROI图像数据，并据以编码产生一第二图像串流数据，其中该第二图像串流数据具有一参考时间字段信息及一空间字段信息，分别指示该ROI图像数据与该原始图像数据的时间域及空间域对应关系；及
一传输单元，接收该第一及该第二图像串流数据，并分别经由一第一通信链路及一第二通信链路传输该第一及该第二图像串流数据；以及
一接收端装置，经由该第一及该第二通信链路与该传输端装置耦接，该接收端装置包括：
一第一暂存单元及一第二暂存单元；
一接收单元，分别经由该第一及该第二通信链路接收该第一及该第二图像串流数据，并将该第一及该第二图像串流数据分别存储在该第一及该第二暂存单元中；
一第一解码单元，存取该第一暂存单元中的该第一图像串流数据，并据以解码产生及暂存一还原原始图像数据；
一第二解码单元，存取该第二暂存单元中的该第二图像串流数据，并据以解码产生并暂存一还原ROI图像数据，该第二图像串流数据具有一还原参考时间字段信息及一还原空间字段信息，分别指示该还原ROI图像数据与该还原原始图像数据的时间域及空间域对应关系；
一图像选择单元，参考该还原参考时间及该还原空间字段信息从该第一及该第二解码单元中存取相互对应的一选取还原帧画面及一选取还原ROI画面；及
一图像处理单元，接收该选取还原帧画面及该选取还原ROI画面，并据以合并得到一还原帧画面数据。
8.如权利要求7所述的图像传输系统，其中该原始图像数据包括一原始时间字段信息，该原始时间字段信息用以指示该原始图像数据中各多个帧画面的索引值。
9.如权利要求8所述的图像传输系统，其中该第一图像处理单元系参考该原始时间字段信息以产生该参考时间字段信息，该参考时间字段信息与该原始时间字段信息对应，并用以指示该ROI图像数据中各多个ROI画面的索引值。
10.如权利要求9所述的图像传输系统，其中该还原原始图像数据包括一还原原始时间字段信息，该还原原始时间字段信息与该原始时间字段信息对应，并用以指示该还原原始图像数据中各多个还原帧画面的索引值。
11.如权利要求10所述的图像传输系统，其中该还原参考时间字段信息与该还原原始时间字段信息对应，并用以指示该还原ROI图像数据中各多个还原ROI画面的索引值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101121957 | 2012-06-19 | ||
| TW101121957A TWI519131B (zh) | 2012-06-19 | 2012-06-19 | 影像傳輸系統及其傳輸端裝置與接收端裝置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103517076A true CN103517076A (zh) | 2014-01-15 |
Family
ID=49755887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210238854.4A Pending CN103517076A (zh) | 2012-06-19 | 2012-07-10 | 图像传输系统及其传输端装置与接收端装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130336381A1 (zh) |
| CN (1) | CN103517076A (zh) |
| TW (1) | TWI519131B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888401A (zh) * | 2015-12-15 | 2017-06-23 | 宏正自动科技股份有限公司 | 影像处理装置及影像处理方法 |
| CN111901522A (zh) * | 2020-07-10 | 2020-11-06 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、系统、装置及电子设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107211177A (zh) * | 2015-01-30 | 2017-09-26 | 高通股份有限公司 | 在通信会话期间经由不同链路来交换视频流的各部分 |
| CN107105119A (zh) * | 2017-04-12 | 2017-08-29 | 青岛海信电器股份有限公司 | 一种用于源设备与目标设备的图像传输方法及装置 |
| JP2020080479A (ja) * | 2018-11-13 | 2020-05-28 | Ｎｅｃプラットフォームズ株式会社 | 動画記録再生装置、動画伝送システムおよび方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080225945A1 (en) * | 2007-03-13 | 2008-09-18 | Ping-Hao Wu | Constant-quality rate control system and algorithm for regions of interest |
| CN101453639A (zh) * | 2007-11-29 | 2009-06-10 | 展讯通信（上海）有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
| CN101882316A (zh) * | 2010-06-07 | 2010-11-10 | 深圳市融创天下科技发展有限公司 | 一种图像区域划分/编码方法、装置及系统 |
| US20100284460A1 (en) * | 2009-05-07 | 2010-11-11 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9626769B2 (en) * | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
-
2012
- 2012-06-19 TW TW101121957A patent/TWI519131B/zh not_active IP Right Cessation
- 2012-07-10 CN CN201210238854.4A patent/CN103517076A/zh active Pending
- 2012-11-09 US US13/672,769 patent/US20130336381A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080225945A1 (en) * | 2007-03-13 | 2008-09-18 | Ping-Hao Wu | Constant-quality rate control system and algorithm for regions of interest |
| CN101453639A (zh) * | 2007-11-29 | 2009-06-10 | 展讯通信（上海）有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
| US20100284460A1 (en) * | 2009-05-07 | 2010-11-11 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
| CN101882316A (zh) * | 2010-06-07 | 2010-11-10 | 深圳市融创天下科技发展有限公司 | 一种图像区域划分/编码方法、装置及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888401A (zh) * | 2015-12-15 | 2017-06-23 | 宏正自动科技股份有限公司 | 影像处理装置及影像处理方法 |
| CN106888401B (zh) * | 2015-12-15 | 2020-02-07 | 宏正自动科技股份有限公司 | 影像处理装置及影像处理方法 |
| CN111901522A (zh) * | 2020-07-10 | 2020-11-06 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、系统、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI519131B (zh) | 2016-01-21 |
| US20130336381A1 (en) | 2013-12-19 |
| TW201401882A (zh) | 2014-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190197739A1 (en) | Handling duplicate points in point cloud compression | |
| CN103281539B (zh) | 一种图像编、解码处理的方法、装置及终端 | |
| CN102457544B (zh) | 基于互联网的屏幕共享系统中用于采集屏幕图像的方法和系统 | |
| CN103108197A (zh) | 一种用于3d视频无线显示的优先级压缩方法和系统 | |
| CN103517076A (zh) | 图像传输系统及其传输端装置与接收端装置 | |
| CN102905132B (zh) | 无线视频传输的压缩和解压缩装置 | |
| WO2024061295A1 (zh) | 视频数据的处理方法和系统 | |
| RU2767771C1 (ru) | Способ и оборудование для кодирования/декодирования облака точек, представляющего трехмерный объект | |
| CN110830819B (zh) | 编码、解码方法、编码端和解码端 | |
| JP2005287035A (ja) | マルチメディアデータの表示方法および表示システム | |
| CN108400956A (zh) | 视频数据流的分配方法、装置和系统 | |
| CN102088593B (zh) | 基于蓝牙3.0规范的mpeg4压缩视频传输通信系统及方法 | |
| CN105578247A (zh) | 镜射显示系统与镜射显示方法 | |
| CN107079101A (zh) | 一种飞行图像数据的处理方法、系统及地面端设备 | |
| CN114938408B (zh) | 一种云手机的数据传输方法、系统、设备及介质 | |
| CN107396082A (zh) | 一种图像数据的处理方法和装置 | |
| CN104967917A (zh) | 一种即时视频的编码方法和电子设备 | |
| CN104010194A (zh) | 信息传输方法及装置 | |
| CN102843566B (zh) | 一种3d视频数据的通讯方法和设备 | |
| TWI295438B (en) | Method, system and receiving apparatus for transmitting screen frame from one to many terminals | |
| CN111343463A (zh) | 一种图像编码设备、方法及图像编码器 | |
| CN110798688A (zh) | 一种基于实时传输的高清视频压缩编码系统 | |
| CN107318021B (zh) | 一种远程显示的数据处理方法及系统 | |
| CN104869350A (zh) | 多频道分享装置及多频道分享方法 | |
| CN102984518B (zh) | 一种vnc图像传输数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140115 |