CN102780881A - 编解码器、编解码系统及方法、传送适配器和成像装置 - Google Patents
编解码器、编解码系统及方法、传送适配器和成像装置 Download PDFInfo
- Publication number
- CN102780881A CN102780881A CN2012101368844A CN201210136884A CN102780881A CN 102780881 A CN102780881 A CN 102780881A CN 2012101368844 A CN2012101368844 A CN 2012101368844A CN 201210136884 A CN201210136884 A CN 201210136884A CN 102780881 A CN102780881 A CN 102780881A
- Authority
- CN
- China
- Prior art keywords
- unit
- composition
- image
- picture
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000005540 biological transmission Effects 0.000 title claims abstract description 35
- 238000003384 imaging method Methods 0.000 title claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 109
- 238000012544 monitoring process Methods 0.000 claims abstract description 70
- 230000008878 coupling Effects 0.000 claims abstract description 54
- 238000010168 coupling process Methods 0.000 claims abstract description 54
- 238000005859 coupling reaction Methods 0.000 claims abstract description 54
- 230000006835 compression Effects 0.000 claims abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 26
- 239000000203 mixture Substances 0.000 claims description 434
- 230000015556 catabolic process Effects 0.000 claims description 92
- 239000012634 fragment Substances 0.000 claims description 45
- 230000006837 decompression Effects 0.000 claims description 33
- 238000011084 recovery Methods 0.000 claims description 19
- 230000008676 import Effects 0.000 claims description 16
- 238000009432 framing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 description 56
- 238000012937 correction Methods 0.000 description 54
- 238000012546 transfer Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 27
- 238000009877 rendering Methods 0.000 description 23
- 238000000926 separation method Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了编解码器、编解码系统及方法、传送适配器和成像装置。编码器包括：图像分解单元，被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除第一成分以外的第二成分，输入图像通过使第一成分和第二成分相互耦合到一起而被恢复；第一传送单元，被配置为把所分解出的第一成分作为第一信道传送图像而输出；压缩编码单元，被配置为对第二成分进行压缩编码；以及第二传送单元，被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
Description
技术领域
本公开涉及对图像进行压缩编码并且传送经压缩编码的图像的编码器、对经压缩编码的图像进行解码的解码器、由多个编码器构成的编码器系统、由多个解码器构成的解码器系统、连接到编码器而使用的传送适配器、编码方法、解码方法以及具有内置编码器的成像装置。
背景技术
随着向地面数字广播的转变，数字高清晰度广播正迅速变得普及。此外，近年来，3D高清晰度视频的广播也已经常见了。3D高清晰度视频的传送是通过例如利用数字高清晰度广播的两个信道同步并传送利用两个同步的高清晰度相机拍摄的左右两个视频流来实现的(参见日本专利申请早期公布No.2004-266497(第[0013]段和图1))。
虽然当前的高清晰度数据被定义为1920×1080像素的图像，但为了支持具有更高分辨率的超慢动作和超高分辨率高清晰度视频，例如由大约4000×2000像素构成的4K图像和由大约8000×4000像素构成的8K图像，已经出现了用于诸如具有120fps或240fps的帧速率的超快速高清晰度视频和通过拼接利用多个HDV(高清晰度视频)相机拍摄的高清晰度视频而获得的广角视频之类的下一代高清晰度视频的技术。
发明内容
在当前的广播现场中，主要建立了用于高清晰度视频的系统环境。同时，将来必然会研究转变到用于诸如超高分辨率高清晰度视频、超快速高清晰度视频和广角高清晰度视频之类的下一代高清晰度视频的系统环境。然而，预测转变到用于下一代高清晰度视频的系统环境需要巨大的成本，并且恐怕其实现会被延后。
鉴于上述情况，希望提供可有助于下一代高清晰度视频的系统环境的实现的编码器、解码器、编码器系统、解码器系统、编码方法、解码方法、传送适配器和成像装置。
根据本公开的实施例，提供了一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
编码器还可包括：辅助图像添加单元，该辅助图像添加单元被配置为向所述第一成分添加用于监视的辅助图像；以及输出单元，该输出单元被配置为输出具有所述辅助图像的所述第一成分作为监视图像。
编码器还可包括压缩分析单元，该压缩分析单元被配置为分析所述经压缩编码的第二成分的大小并将分析的结果作为可见信息输出。
根据本公开的另一实施例，提供了一种能够与编码器结合使用的解码器，所述编码器包括
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
根据上述的编码器和解码器，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送诸如4K高清晰度图像和8K高清晰度图像之类的下一代超高分辨率图像，并且还可以在相机的监视器或取景器上显示监视图像。
根据本公开的另一实施例，提供了一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
降频转换单元，该降频转换单元被配置为通过降频转换而从所述输入图像生成具有能够被用作所述监视图像的大小的图像来作为所述第一成分，以及
差异生成单元，该差异生成单元被配置为生成所述输入图像与通过将所述第一成分按像素放大到所述输入图像的大小而获得的图像之间的差异来作为所述第二成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
根据本公开的另一实施例，提供了一种能够与编码器结合使用的解码器，所述编码器包括
图像分解单元，该图像分解单元被配置来输入图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
降频转换单元，该降频转换单元被配置为通过降频转换而从所述输入图像生成具有能够被用作所述监视图像的大小的图像来作为所述第一成分，以及
差异生成单元，该差异生成单元被配置为生成所述输入图像与通过将所述第一成分按像素放大到所述输入图像的大小而获得的图像之间的差异来作为所述第二成分，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元被配置为对所述第一成分进行按像素放大并将该放大图像和经解压缩解码的第二成分相加来恢复所述原始状态的图像。
根据上述的编码器和解码器，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以成功地传送诸如4K高清晰度图像和8K高清晰度图像之类的下一代超高分辨率图像。另外，由于包括充分的高频成分的图像被获得作为监视图像，所以可以成功地执行图像的高清晰度所必要的相机调整，例如焦点调整。
根据本公开的另一实施例，提供了一种编码器，包括：
图像分解单元，该图像分解单元被配置为输入由按高于监视帧速率的帧速率顺次拍摄的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为按所述监视帧速率从所述输入图像的所述多个帧中分离帧作为监视帧并生成所述第一成分，
频率分解单元，该频率分解单元被配置为通过频率分解而把所述输入图像的所述多个帧中的每一个分解成低频成分和高频成分，以及
差异生成单元，该差异生成单元被配置为关于每个经分解的帧的低频成分生成所述监视帧与至少一个非监视帧之间的差异来作为所述第二成分，所述至少一个非监视帧位于所述监视帧和下一监视帧之间；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
根据本公开的另一实施例，提供了一种能够与编码器结合使用的解码器，所述编码器包括
图像分解单元，该图像分解单元被配置为输入由按高于监视帧速率的帧速率顺次拍摄的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为按所述监视帧速率从所述输入图像的所述多个帧中分离帧作为监视帧并生成所述第一成分，
频率分解单元，该频率分解单元被配置为通过频率分解而把所述输入图像的所述多个帧中的每一个分解成低频成分和高频成分，以及
差异生成单元，该差异生成单元被配置为关于每个经分解的帧的低频成分生成所述监视帧与至少一个非监视帧之间的差异来作为所述第二成分，所述至少一个非监视帧位于所述监视帧和下一监视帧之间，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元包括，
频率分解单元，该频率分解单元被配置为通过频率分解而把所获取的第一成分分解成低频成分和高频成分，
差异恢复单元，该差异恢复单元被配置为基于所分解出的低频成分和经解压缩解码的第二成分来恢复所述至少一个非监视帧的低频成分，
逆频率分解单元，该逆频率分解单元被配置为基于所恢复的低频成分和所述第二成分中包括的高频成分通过逆频率分解来恢复所述至少一个非监视帧，以及
帧耦合单元，该帧耦合单元被配置为把作为由所述图像获取单元获取的第一成分的监视帧与由所述逆频率分解单元恢复的至少一个非监视帧相耦合。
根据上述的编码器和解码器，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送具有高于当前系统的监视帧速率的帧速率的超快速高清晰度图像。另外，还可以在相机的监视器或取景器上显示监视图像。
根据本公开的另一实施例，提供了一种编码器，包括：
图像分解单元，该图像分解单元被配置为输入由在不同视点拍摄以构成立体图像的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为将所述输入图像分离成所述多个帧，
频率分解单元，该频率分解单元被配置为通过频率分解而把每个分离出的帧分解成低频成分和高频成分并生成所述高频成分来作为所述第二成分，以及
耦合单元，该耦合单元被配置为将分解出的所述多个帧的低频成分相互耦合到一起以生成所述第一成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
根据本公开的另一实施例，提供了一种能够与编码器结合使用的解码器，所述编码器包括
图像分解单元，该图像分解单元被配置为输入由在不同视点拍摄以构成立体图像的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为将所述输入图像分离成所述多个帧，
频率分解单元，该频率分解单元被配置为通过频率分解而把每个分离出的帧分解成低频成分和高频成分并生成所述高频成分来作为所述第二成分，以及
耦合单元，该耦合单元被配置为将分解出的所述多个帧的低频成分相互耦合到一起以生成所述第一成分，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元包括
帧分离单元，该帧分离单元被配置为对每个帧分离所获取的第一成分，
耦合单元，该耦合单元被配置为耦合对每个帧分离的第一成分和经解压缩解码的第二成分，以及
逆频率分解单元，该逆频率分解单元被配置为基于耦合的第一成分和第二成分通过逆频率分解来恢复所述立体图像。
根据上述的编码器和解码器，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以成功地传送超立体图像。另外，还可以在相机的监视器或取景器上显示监视图像。
根据本公开的另一实施例，提供了一种编码器，包括：
大小调整单元，该大小调整单元被配置为输入具有与用于监视的屏幕的宽高比不同的宽高比的图像并且对输入图像执行分离和耦合中的至少一种以使之具有所述用于监视的屏幕的宽高比；
图像分解单元，该图像分解单元被配置为把由所述大小调整单元输出的图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述图像是通过将所述第一成分和所述第二成分相互耦合到一起而被恢复；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
根据本公开的另一实施例，提供了一种能够与编码器结合使用的解码器，所述编码器包括
大小调整单元，该大小调整单元被配置为输入具有与用于监视的屏幕的宽高比不同的宽高比的图像并且对输入图像执行分离和耦合中的至少一种以使之具有所述用于监视的屏幕的宽高比，
图像分解单元，该图像分解单元被配置为把由所述大小调整单元输出的图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述图像是通过将所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
根据上述的编码器和解码器，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送诸如超广角图像和多个拼接图像之类的与用于监视的屏幕具有不同宽高比的图像。另外，还可以在相机的监视器或取景器上显示监视图像。
根据本公开的另一实施例，提供了一种编码器系统，包括：
多个编码器，每个编码器包括图像分解单元，该图像分解单元被配置为将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，每个编码器还包括压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，所述多个编码器中的每个编码器被配置为输出所分解出的第一成分和经压缩编码的第二成分并且每个编码器具有所述图像分解单元的不同图像分解模式；
编码器选择单元，该编码器选择单元被配置为选择用于对输入的图像进行编码的多个编码器；
第一传送图像配置单元，该第一传送图像配置单元被配置为把由所选择的编码器输出的多个第一成分分配到分割第一信道传送图像的空间的多个片段，并且生成至少包括关于该分配的信息的第一头部信息以将所述第一头部信息添加到所述第一信道传送图像；
第一传送单元，该第一传送单元被配置为传送被提供有所述第一头部信息的所述第一信道传送图像；
第二传送图像配置单元，该第二传送图像配置单元被配置为把由所选择的编码器输出的多个第二成分分配到分割第二信道传送图像的空间的多个片段，并且生成至少包括关于该分配的信息的第二头部信息以将所述第二头部信息添加到所述第二信道传送图像；以及
第二传送单元，该第二传送单元被配置为传送被提供有所述第二头部信息的所述第二信道传送图像。
在编码器系统中，所述第一传送图像配置单元和所述第二传送图像配置单元中的至少一个可生成把被分配到所述第一信道传送图像的多个片段中的每个片段的每个所述第一成分与被分配到所述第二信道传送图像的多个片段中的每个片段的每个所述第二成分关联起来的关联信息并将所述关联信息添加到所述第一头部信息和所述第二头部信息中的至少一个。
根据本公开的另一实施例，提供了一种能够与编码器系统结合使用的解码器系统，所述编码器系统包括
多个编码器，每个编码器包括图像分解单元，该图像分解单元被配置为将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，每个编码器还包括压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，所述多个编码器中的每个编码器被配置为输出所分解出的第一成分和经压缩编码的第二成分并且每个编码器具有所述图像分解单元的不同图像分解模式，
编码器选择单元，该编码器选择单元被配置为选择用于对输入的图像进行编码的多个编码器，
第一传送图像配置单元，该第一传送图像配置单元被配置为把由所选择的编码器输出的多个第一成分分配到分割第一信道传送图像的空间的多个片段，并且生成至少包括关于该分配的信息的第一头部信息以将所述第一头部信息添加到所述第一信道传送图像，
第一传送单元，该第一传送单元被配置为传送被提供有所述第一头部信息的所述第一信道传送图像，
第二传送图像配置单元，该第二传送图像配置单元被配置为把由所选择的编码器输出的多个第二成分分配到分割第二信道传送图像的空间的多个片段，并且生成至少包括关于该分配的信息的第二头部信息以将所述第二头部信息添加到所述第二信道传送图像，以及
第二传送单元，该第二传送单元被配置为传送被提供有所述第二头部信息的所述第二信道传送图像，所述解码器系统包括：
多个解码器，每个解码器与所述多个编码器中的每个编码器相对应；
图像获取单元，该图像获取单元被配置为获取由所述编码器系统传送的所述第一信道传送图像和所述第二信道传送图像；
第一头部分析单元，该第一头部分析单元被配置为基于被提供给所获取的第一信道传送图像的所述第一头部信息，把被分别分配到所述第一信道传送图像的多个片段的所述多个第一成分选择性地提供给所述多个解码器；以及
第二头部分析单元，该第二头部分析单元被配置为基于被提供给所获取的第二信道传送图像的所述第二头部信息，把被分别分配到所述第二信道传送图像的多个片段的所述多个第二成分选择性地提供给所述多个解码器。
根据上述的编码器系统和解码器系统，可以将双信道传送图像与由多种类型的编码器压缩编码的多个图像相混和以传送混和图像并且在解码器方根据对每个图像的编码方法来对其执行解码处理。
根据本公开的另一实施例，提供了一种传送适配器，包括：
第一接收单元，该第一接收单元被配置为接收由编码器传送的第一信道传送图像，所述编码器包括
图像分解单元，该图像分解单元被配置来输入图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出；
第二接收单元，该第二接收单元被配置为接收由所述编码器传送的所述第二信道传送图像；以及
发送单元，该发送单元被配置为把由所述第一接收单元接收的所述第一信道传送图像和由所述第二接收单元接收的所述第二信道传送图像相互耦合到一起并且转换所述第一信道传送图像和所述第二信道传送图像的传送形式以便发送。
根据本公开的另一实施例，提供了一种编码方法：包括：
将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复；
把所分解出的第一成分作为第一信道传送图像而输出；
对所述第二成分进行压缩编码；以及
把经压缩编码的第二成分作为第二信道传送图像而输出。
根据本公开的另一实施例，提供了一种解码方法，包括：
获取由编码方法作为第一信道传送图像而输出的第一成分和作为第二信道传送图像而输出的第二成分，所述编码方法包括
将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
把所分解出的第一成分作为所述第一信道传送图像输出，
对所述第二成分进行压缩编码，以及
把经压缩编码的第二成分作为所述第二信道传送图像输出；
对所获取的第二成分进行解压缩解码；以及
将所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
根据本公开的另一实施例，提供了一种成像装置，包括：
编码器，该编码器包括
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
如上所述，本公开可有助于下一代高清晰度视频的系统环境的实现。
根据以下对附图中所示的本公开的最佳模式实施例的详细描述，可更清楚本公开的这些和其他目的、特征和优点。
附图说明
图1是示出根据本公开的第一实施例的编码器的配置的框图；
图2是示出根据第一实施例的编码器的操作的过程的流程图；
图3是根据第一实施例的编码处理和解码处理的概念图；
图4是示出根据第一实施例的解码器的配置的框图。
图5是示出根据第一实施例的解码器的操作的过程的流程图；
图6是示出根据本公开的第二实施例的编码器的配置的框图；
图7是示出根据第二实施例的编码器的操作的过程的流程图；
图8是根据第二实施例的编码处理的概念图；
图9是示出根据第二实施例的解码器的配置的框图；
图10是示出根据第二实施例的解码器的操作的过程的流程图；
图11是示出根据本公开的第三实施例的编码器的配置的框图；
图12是示出根据第三实施例的编码器的操作的过程的流程图；
图13是根据第三实施例的编码处理的概念图；
图14是示出根据第三实施例的解码器的配置的框图；
图15是示出根据第三实施例的解码器的操作的过程的流程图；
图16是示出根据本公开的第四实施例的编码器的配置的框图；
图17是示出根据第四实施例的编码器的操作的过程的流程图；
图18是根据第四实施例的编码处理的概念图；
图19是示出根据第四实施例的解码器的配置的框图；
图20是示出根据第四实施例的解码器的操作的过程的流程图；
图21是示出根据本公开的第五实施例的编码器的配置的框图；
图22是示出根据第五实施例的编码器的操作的过程的流程图；
图23是根据第五实施例的编码处理的概念图；
图24是示出根据第五实施例的解码器的配置的框图；
图25是示出根据第五实施例的解码器的操作的过程的流程图；
图26是根据第六实施例对具有高清晰度图像大小的三个拼接图像和具有4K高清晰度图像大小的超高分辨率图像进行编码的情况的概念图；
图27是示出第一传送图像的数据结构的示例的示图；
图28是示出第二传送图像的数据结构的示例的示图；
图29是示出根据第六实施例的混合模式中的编码器系统的配置的框图；
图30是示出根据第六实施例的混合模式中的解码器系统的配置的框图；
图31是示出根据本公开的实施例的相机系统的配置的框图；
图32是示出根据本公开的变形例1的使用传送适配器的相机系统的配置的框图；
图33是示出根据变形例1的传送适配器的配置的框图；并且
图34是示出根据变形例1的级联连接的多相机系统的配置的框图。
具体实施方式
以下，将参考附图描述本公开的实施例。
本公开涉及对图像进行压缩编码的编码器和对经压缩编码的图像进行解码的解码器。
本公开包括以下实施例，并且这些实施例将被顺次描述。
1.适于超高分辨率图像的编码器和解码器
2.适于超高分辨率图像和焦点调整的编码器和解码器
3.适于超快速图像的编码器和解码器
4.适于超立体图像的编码器和解码器
5.适于超广角图像的编码器和解码器
6.混合模式中的编码器系统和解码器系统
(第一实施例)
[1.适于超高分辨率图像的编码器和解码器]
此实施例涉及能够利用诸如当前的3D图像传送系统之类的能够通过双信道数字信号传送路径同时传送两个高清晰度图像的基础设施来传送诸如4K高清晰度图像和8K高清晰度图像之类的下一代超高分辨率图像的编码器和解码器。
在当前的3D图像传送系统中，假定对于每个信道传送具有高清晰度图像大小的图像。因此，在当前的3D图像传送系统中难以传送诸如4K高清晰度图像或8K高清晰度图像之类的超高分辨率图像。另外，在当前的3D图像传送系统中，通过信道之一传送的高清晰度图像被按原样显示在相机的监视器或取景器上以执行对所拍摄的视频的监视。这意味着利用相机的监视器或取景器等等难以监视诸如4K高清晰度图像和8K高清晰度图像之类的超高分辨率图像。此实施例可解决这样的问题。
为了传送数字信号，使用i.LINK(注册商标)、光纤传送、3G-SDI(3G-单文档接口)、存储装置等等。在此实施例中，将描述采用链路A(Link-A)和链路B(Link-B)的两个信道作为i.LINK(注册商标)的情况。
[编码器100的配置]
图1是示出根据本公开的第一实施例的适于超高分辨率图像的编码器100的配置的框图。
如图1中所示，编码器100包括频率分解单元101(图像分解单元)、分支单元102、辅助图像添加单元103、第一传送单元105、熵编码单元106(压缩编码单元)、纠错编码单元107、第二传送单元108、压缩分析单元109以及显示处理单元110(输出单元)。
频率分解单元101通过频率分解而把输入的超高分辨率图像(以下在此实施例中简称为“图像”)分离成可用作监视图像的频率成分(第一成分)和其他高频成分(第二成分)。这里，作为用于频率分解的方法，例如，可以使用小波变换。在小波变换中，图像被分离成低频成分、X方向高频成分、Y方向高频成分以及XY方向高频成分。在输入图像是4K高清晰度图像的情况下，通过执行小波变换一次将低频成分改变成大小减小到高清晰度图像大小的图像。另外，在输入图像是8K高清晰度图像的情况下，通过执行两步小波变换，将低频成分改变成大小减小到高清晰度图像大小的图像。这里，监视图像的分辨率例如被设定到高清晰度图像大小。
分支单元102把由频率分解单元101获取的图像的低频成分提供给辅助图像添加单元103和第一传送单元105。
辅助图像添加单元103向从分支单元102提供来的图像的低频成分添加用于辅助用户监视所拍摄的图像的辅助图像，例如标记、斜线图案(以下称为斑纹图案)或字符串。被提供有辅助图像的图像的低频成分可被用作监视图像，并且监视图像通过显示处理单元110被提供给相机的监视器或取景器并被显示在其上。
第一传送单元105通过使用i.LINK(注册商标)的链路A来传送从分支单元102提供来的图像的低频成分。
熵编码单元106通过熵编码对由频率分解单元101获取的图像的高频成分进行压缩。熵编码方法的示例包括霍夫曼编码和算术编码。
纠错编码单元107向经熵编码的图像的高频成分添加纠错码。
第二传送单元108通过使用链路B来传送在纠错编码单元107中被提供有纠错码的图像的高频成分。
压缩分析单元109分析被提供有的纠错码的图像的高频成分的大小并且通过显示处理单元110将分析的结果提供给相机的监视器或取景器等等。
[编码器100的操作]
图2是示出根据第一实施例的编码器100的操作的过程的流程图。
首先，执行编码器100的初始化，包括编码器100中的寄存器、存储器等等的初始化(步骤S101)。然后，图像被输入到编码器100中(步骤S102)。输入到编码器100中的图像如图3所示在频率分解单元101中被分离成低频成分和高频成分(步骤S103)。
图3是在输入图像121是4K高清晰度图像并且小波变换被用作频率分解的方法的情况下的编码处理和解码处理的概念图。这样，在输入图像是4K高清晰度图像的情况下，在频率分解单元101分离出的低频成分被改变成高清晰度图像大小的图像122并被提供到分支单元102。
返回参考图2，图像的低频成分被分支单元102提供到第一传送单元105和辅助图像添加单元103。从而，图像的低频成分被第一传送单元105通过使用链路A来传送(步骤S106)。另外，具有由辅助图像添加单元103添加的辅助图像的低频成分通过显示处理单元110被提供到相机的监视器或取景器等等，然后被显示在其上。
同时，在频率分解单元101中分离出的图像的高频成分(在图3中由标号123表示)在熵编码单元106中经历熵编码(在图3中由标号124表示)(步骤S104)，随后在纠错编码单元107被提供以纠错码(步骤S105)。被提供有纠错码的图像的高频成分被第二传送单元108通过使用链路B来传送(步骤S106)。
另外，被提供有纠错码的图像的高频成分被提供到压缩分析单元109。压缩分析单元109分析经熵编码的图像的高频成分的大小，并通过显示处理单元110将分析的结果提供给相机的监视器或取景器等等并将其显示在其上。
[解码器150的配置]
接下来，将描述对由上述编码器100压缩编码的图像进行解码的解码器150的配置。
图4是示出解码器150的配置的框图。解码器150包括第一传送单元151(图像获取单元)、第二传送单元152(图像获取单元)、纠错解码单元153、逆熵编码单元154(解压缩解码单元)以及逆频率分解单元155(图像恢复单元)。
第一传送单元151接收通过链路A传送来的图像的低频成分并将低频成分提供给逆频率分解单元155。
第二传送单元152接收通过链路B传送来的图像的高频成分并将高频成分提供给纠错解码单元153。
纠错解码单元153对从第二传送单元152提供来的图像的高频成分执行纠错解码。
逆熵编码单元154对在纠错解码单元153中解码的图像的高频成分执行逆熵编码。
逆频率分解单元155通过逆频率分解把经逆熵编码的图像的高频成分(在图3中由标号125表示)和从第一传送单元151提供来的图像的低频成分(在图3中由标号122表示)相互耦合到一起，从而恢复超高分辨率图像(在图3中由标号126表示)。
[解码器150的操作]
图5是示出根据第一实施例的解码器150的操作的过程的流程图。
首先，执行解码器150的初始化(步骤S201)。然后，分别在第一传送单元151和第二传送单元152中接收通过链路A传送来的图像的低频成分(在图3中由标号122表示)和通过链路B传送来的图像的高频成分(在图3中由标号125表示)(步骤S202)。
在第一传送单元151中接收的图像的低频成分(在图3中由标号122表示)被提供到逆频率分解单元155。同时，在第二传送单元152中接收的图像的高频成分(在图3中由标号125表示)在纠错解码单元153中被解码(步骤S203)，然后在逆熵编码单元154中被逆熵编码(步骤S204)，然后被提供给逆频率分解单元155。然后，图像的低频成分(在图3中由标号122表示)和在逆熵编码单元154中逆熵编码的图像的高频成分(在图3中由标号125表示)在逆频率分解单元155中通过逆频率分解被相互耦合到一起(步骤S205)。从而，恢复了原始的超高分辨率图像(在图3中由标号126表示)。
如上所述，根据此实施例的编码器100和解码器150，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送诸如4K高清晰度图像和8K高清晰度图像之类的下一代超高分辨率图像，并且还可以在相机的监视器或取景器上显示监视图像。
(第二实施例)
[适于超高分辨率图像、焦点调整等等的编码器和解码器]
在第一实施例中，通过频率分解获取的图像的低频成分被提供给显示处理单元110、相机的监视器或取景器等等并被显示在其上。这里，在相机操作者在通过相机的取景器等等查看图像的同时调整相机的焦点或者基于图像选择自动焦点调整的情况下，难以很准确地执行焦点调整。第二实施例可解决这样的问题。
[适于超高分辨率图像、焦点调整等等的编码器200的配置]
图6是示出根据本公开的第二实施例的适于超高分辨率图像、焦点调整等等的编码器200的配置的框图。
如图6中所示，编码器200包括降频转换单元201、分支单元202、辅助图像添加单元203、第一传送单元205(第一传送单元)、差异生成单元204、熵编码单元206(压缩编码单元)、纠错编码单元207、第二传送单元208(第二传送单元)、压缩分析单元209、显示处理单元210以及频率分解单元211。这里，降频转换单元201和差异生成单元204构成图像分解单元。
降频转换单元201通过对输入的超高分辨率图像进行降频转换来生成可用作监视图像的高清晰度图像大小的降频转换图像(第一成分)。为了生成包括充分的高频成分的降频转换图像，例如，能够在留下高清晰度细节的同时减小图像的大小的双三次方法被用作降频转换方法。双三次方法是利用三次函数基于中心像素的值计算邻居像素的值的方法。应当注意，在本公开中，这里使用的方法不限于双三次方法，只要所使用的方法能够在留下高清晰度细节的同时减小图像的大小即可。
分支单元202把由降频转换单元201生成的降频转换图像提供给辅助图像添加单元203和第一传送单元205。
第一传送单元205通过使用链路A来传送从分支单元202提供来的降频转换图像。
辅助图像添加单元203向从分支单元202提供来的图像的低频成分添加用于辅助用户监视所拍摄的图像的辅助图像，例如标记、斑纹图案或字符串。被提供有辅助图像的图像的低频成分可被用作监视图像，并且监视图像通过显示处理单元210被提供给相机的监视器或取景器并被显示在其上。
差异生成单元204生成输入图像与通过将降频转换图像按像素放大到输入图像的分辨率(例如4K高清晰度图像大小)而获得的图像之间的差异作为升频转换插值图像。
熵编码单元206对由差异生成单元204生成的升频转换插值图像进行熵编码。熵编码方法的示例包括霍夫曼编码和算术编码。
纠错编码单元207向经熵编码的升频转换插值图像添加纠错码。
第二传送单元208通过使用链路B来传送被提供有纠错码的升频转换插值图像。
压缩分析单元209分析经熵编码的升频转换插值图像的大小并且通过显示处理单元210将分析的结果提供给相机的监视器或取景器等等以将结果显示在其上。
另外，在编码器200中，由差异生成单元204生成的升频转换插值图像可在频率分解单元211中经历频率分解，然后可以只有高频成分被提供给熵编码单元206。或者，用户可根据需要在频率分解的执行与否之间切换。例如，设想了以下情况。在用户通过相机的监视器等等确认由压缩分析单元209获得的对升频转换插值图像的大小的分析结果的情况下，当该大小超过某个基准值时，用户开启频率分解的执行。
[编码器200的操作]
图7是示出根据第二实施例的编码器200的操作的过程的流程图。
首先，执行编码器200的初始化，包括编码器200中的寄存器、存储器等等的初始化(步骤S301)。然后，诸如4K高清晰度图像之类的超高分辨率图像被输入到编码器200中(步骤S302)。
图8是在输入图像221是4K高清晰度图像并且例如双三次方法被用作降频转换方法的情况下根据此实施例的编码器200进行的编码操作的概念图。如图8中所示，输入到编码器200的超高分辨率图像221被降频转换单元201降频转换到其中留下了高清晰度细节的高清晰度图像大小的图像，其结果是超高分辨率图像221变成了可用作监视图像的降频转换图像222(步骤S303)。
降频转换图像222被分支单元202提供到分支单元202和差异生成单元204的每一个并随后被提供到第一传送单元205和辅助图像添加单元203.然后，降频转换图像被第一传送单元205使用链路A来传送(步骤S307)。另外，被辅助图像添加单元203添加了辅助图像的低频成分可用作监视图像。具有辅助图像的低频成分通过显示处理单元210被提供到相机的监视器或取景器等等，然后被显示在其上。这里，由于在降频转换图像中留下了充分的高频成分，所以可以通过使用降频转换图像成功地执行图像的高清晰度所必要的调整处理，例如手动焦点调整和自动焦点调整。
同时，差异生成单元204把由降频转换单元201输入的降频转换图像按像素放大成输入图像的分辨率(例如4K高清晰度图像大小)以生成图8中所示的放大图像223。差异生成单元204生成放大图像223与输入图像221之间的差异作为升频转换插值图像224(步骤S304)，并将升频转换插值图像224提供给熵编码单元206。升频转换插值图像在熵编码单元206中被熵编码(步骤S305)，随后在纠错编码单元207中被提供以纠错码(步骤S306)。然后，被提供有纠错码的升频转换插值图像的数据被第二传送单元208通过使用链路B来传送(步骤S307)。
另外，经熵编码的高频成分被提供给压缩分析单元209。压缩分析单元209分析经熵编码的高频成分的大小，并通过显示处理单元210将分析的结果提供给相机的监视器或取景器等等以将结果显示在其上。此时，例如，在关于经熵编码的升频转换插值图像的大小的分析结果的值超过了某个基准值的情况下，必要时由差异生成单元204的升频转换插值图像在频率分解单元211中经历频率分解并且只有高频成分被提供给熵编码单元206。从而，可以减小经熵编码的升频转换插值图像的大小，并且尽可能迅速地抵制与传送频带相关的未及时传送升频转换插值图像的情形的发生。
[解码器250的配置]
接下来，将描述对由上述编码器200压缩编码的图像进行解码的解码器250的配置。
图9是示出解码器250的配置的框图。解码器250包括第一传送单元251(图像获取单元)、第二传送单元252(图像获取单元)、纠错解码单元253、逆熵编码单元254(解压缩解码单元)以及升频转换单元256(图像恢复单元)。
第一传送单元251接收通过链路A传送来的降频转换图像并将降频转换图像提供给升频转换单元256。
第二传送单元252接收通过链路B传送来的升频转换插值图像并将升频转换插值图像提供给纠错解码单元253。
纠错解码单元253对从第二传送单元252提供来的升频转换插值图像执行纠错解码。
逆熵编码单元254对在纠错解码单元253中经历了纠错解码的升频转换插值图像进行逆熵编码，并将逆熵编码的结果提供给升频转换单元256。
升频转换单元256通过使用从逆熵编码单元254提供来的升频转换插值图像对从第一传送单元251提供来的降频转换图像进行升频转换，从而恢复原始的超高分辨率图像。更具体而言，升频转换单元256可通过对降频转换图像进行像素放大并且将放大图像和升频转换插值图像加在一起的过程来恢复原始的超高分辨率图像。
[解码器250的操作]
图10是示出根据第二实施例的解码器250的操作的过程的流程图。
首先，执行解码器250的初始化，包括解码器250中的寄存器、存储器等等的初始化(步骤S401)。然后，分别在第一传送单元251和第二传送单元252中接收通过链路A和链路B传送来的降频转换图像和升频转换插值图像(步骤S402)。
由第一传送单元251接收的降频转换图像被提供到升频转换单元256。同时，由第二传送单元252接收的升频转换插值图像在纠错解码单元253中被解码(步骤S403)，在逆熵编码单元254中被逆熵编码(步骤S404)，然后被提供给升频转换单元256。然后，在升频转换单元256中，利用经逆熵编码的升频转换插值图像对降频转换图像进行升频转换，其结果是恢复了原始的超高分辨率图像(步骤S405)。
如上所述，根据此实施例的编码器200和解码器250，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以成功地传送诸如4K高清晰度图像和8K高清晰度图像之类的下一代超高分辨率图像。另外，由于在此实施例的编码器200中，包括充分的高频成分的降频转换图像被获得作为监视图像，所以可以成功地执行图像的高清晰度所必要的相机调整，例如焦点调整。
(第三实施例)
[3.适于超快速图像的编码器和解码器]
此实施例涉及能够通过使用诸如当前3D图像传送系统之类的能够通过例如双信道数字信号传送路径以59.94帧/秒同时传送两个高清晰度图像的基础设施来传送具有高于当前3D图像传送系统的监视帧速率的帧速率的超快速高清晰度图像(以下称为“超快速图像”)的编码器和解码器。
[适于超快速图像的编码器300的配置]
图11是示出根据本公开的第三实施例的编码器300的配置的框图。
如图11中所示，编码器300包括帧分离单元301、分支单元302、辅助图像添加单元303、频率分解单元311、第一传送单元305、差异生成单元304、熵编码单元306(压缩编码单元)、纠错编码单元307、第二传送单元308、压缩分析单元309以及显示处理单元310。这里，帧分离单元301、频率分解单元311和差异生成单元304构成图像分解单元。
输入到编码器300的是由按高于用作基础设施的当前3D图像传送系统等等的规格中的每个信道的帧速率(以下称为“标准帧速率”)的帧速率顺次成像的多个帧构成的超快速图像。另外，在当前3D图像传送系统中，由于利用信道之一传送的高清晰度图像被按原样显示在相机的监视器或取景器等等上以监视所拍摄的视频，所以相机中的监视帧速率与标准帧速率相同。
帧分离单元301将输入的超快速图像提供给频率分解单元311，同时帧分离单元301按标准帧速率从超快速图像分离帧以将帧作为普通速度帧(监视帧＝第一成分)提供给分支单元202。
分支单元302把由帧分离单元301分离出的普通速度帧提供给辅助图像添加单元303和第一传送单元305。
辅助图像添加单元303向从分支单元302提供来的普通速度帧添加用于辅助用户监视图像的辅助图像，例如标记、斑纹图案或字符串。被提供有辅助图像的普通速度帧通过显示处理单元310被提供到相机的监视器或取景器等等，然后作为监视图像被显示在其上。
第一传送单元305通过使用链路A来传送从分支单元302提供来的普通速度帧。
频率分解单元311将输入的超快速图像分离成低频成分和高频成分。频率分解方法的示例包括以上所述的小波变换。
差异生成单元304对于由频率分解单元311分离出的超快速图像的低频成分获得普通速度帧和其他帧(非监视帧)之间的差异并这些差异与相应的非监视帧的高频成分相组合，然后将结果提供给熵编码单元306。
熵编码单元306通过熵编码对从差异生成单元304提供来的数据进行压缩。熵编码方法的示例包括霍夫曼编码和算术编码。
纠错编码单元307向经熵编码的数据添加纠错码，并将所得到的数据提供给第二传送单元308。
第二传送单元308通过使用链路B来把在纠错编码单元307中添加了纠错码的数据作为“帧间插值图像”(第二成分)传送。
压缩分析单元309分析帧间插值图像的大小并且通过显示处理单元310将分析的结果作为可见信息提供给相机的监视器或取景器等等。
[编码器300的操作]
图12是示出编码器300的操作的过程的流程图。
首先，执行编码器300的初始化，包括编码器300中的寄存器、存储器等等的初始化(步骤S501)。然后，超快速图像被输入到编码器300中(步骤S502)。输入到编码器300中的超快速图像被输入到帧分离单元301。帧分离单元301将输入的超快速图像按原样提供给频率分解单元311，同时帧分离单元301按标准帧速率从超快速图像分离帧以将帧作为普通速度帧(监视帧)提供给分支单元302。普通速度帧被分支单元302提供给第一传送单元305和辅助图像添加单元303。然后，普通速度帧被第一传送单元305通过使用链路A传送(步骤S508)。
另外，由辅助图像添加单元303添加了辅助图像的普通速度帧通过显示处理单元310被提供到相机的监视器或取景器等等，然后作为监视图像被显示在其上。
同时，频率分解单元311从提供自帧分离单301的超快速图像的各个帧中分离低频成分并且将低频成分提供给差异生成单元304(步骤S504)。差异生成单元304对于从频率分解单元311提供来的超快速图像的低频成分获得关于普通速度帧(监视帧)与位于普通速度帧和下一普通速度帧之间的一个或多个帧(非监视帧)之间的差异的一个或多个数据项。差异生成单元304对于每个非监视帧把差异数据项和由频率分解单元311从每个非监视帧分离出的高频成分的组合输出到熵编码单元306(步骤S505)。
随后，在从差异生成单元304输出的数据在熵编码单元306中被熵编码(步骤S506)之后，纠错码在纠错编码单元307中被添加到该数据(步骤S507)。被提供有纠错码的数据作为帧间插值图像(第二成分)被第二传送单元308通过使用链路B来传送(步骤S508)。
图13是编码器300进行的处理的概念图。此概念图示出了传送标准帧速率的16倍速度的超快速图像320的情况。在帧0至帧15这连续的16个帧之中，帧0这一个帧被帧分离单元301分离作为普通速度帧321以提供给差异生成单元304。同时，频率分解单元311将帧0至帧15分离成低频成分321a和322a以及高频成分321b和322b。这里，普通速度帧321包括低频成分321a和高频成分321b。每个非监视帧322包括低频成分322a和高频成分322b。频率分解单元311将帧0至帧15的低频成分321a和322a提供给差异生成单元304。这里，在小波变换被用作频率分解方法的情况下，通过对一个帧执行两步小波变换，图像的低频成分的大小(像素数目)变成原始大小的1/16。差异生成单元304获得普通速度帧321(帧0)的低频成分321a和非监视帧322(帧1至帧15)的低频成分322a之间的总共15个差异数据项。差异生成单元304将差异数据项和非监视帧322的相应高频成分322b相互组合在一起并将总共15个组合325提供给熵编码单元306。总共15个组合325被熵编码单元306和纠错编码单元307压缩编码并且作为帧间插值图像(第二成分)326被第二传送单元308通过链路B传送。
[解码器350的配置]
接下来，将描述对由上述编码器300编码的图像进行解码的解码器350的配置。
图14是示出解码器350的配置的框图。解码器350包括第一传送单元351(图像获取单元)、第二传送单元352(图像获取单元)、频率分解单元358、纠错解码单元353、逆熵编码单元354(解压缩解码单元)、逆频率分解单元355、差异恢复单元356以及帧耦合单元357。这里，频率分解单元358、逆频率分解单元355、差异恢复单元356和帧耦合单元357构成图像恢复单元。
第一传送单元351接收通过链路A传送来的普通速度帧并将普通速度帧提供给频率分解单元358和帧耦合单元357。
频率分解单元358从普通速度帧中分离低频成分并将低频成分提供给差异恢复单元356。
第二传送单元352接收通过链路B传送来的帧间插值图像并将帧间插值图像提供给纠错解码单元353。
纠错解码单元353对从第二传送单元352提供来的帧间插值图像执行纠错解码。
逆熵编码单元354对已在纠错解码单元353中解码的帧间插值图像进行逆熵编码并将结果提供给差异恢复单元356。
差异恢复单元356基于从频率分解单元358提供来的普通速度帧(监视帧)的低频成分和从逆熵编码单元354提供来的帧间插值图像中包括的差异数据项来恢复普通速度帧的低频成分。
逆频率分解单元355基于由差异恢复单元356恢复的非监视帧的低频成分和帧间插值图像中包括的非监视帧的高频成分通过逆频率分解来恢复非监视帧。
帧耦合单元357按原始快速图像的顺序把从频率分解单元358提供来的普通速度帧和由逆频率分解单元355恢复的非监视帧相互耦合到一起，然后输出结果。
[解码器350的操作]
图15是示出解码器350的操作的过程的流程图。
首先，执行解码器350的初始化(步骤S601)。然后，分别由第一传送单元351和第二传送单元352接收通过链路A和链路B传送来的普通速度帧和帧间插值图像(步骤S602)。
由第一传送单元351接收的普通速度帧被提供到逆频率分解单元358和帧耦合单元357。频率分解单元358从所提供的普通速度帧中分离低频成分并将低频成分提供给差异恢复单元356(步骤S603)。
同时，由第二传送单元352接收的帧间插值图像在纠错解码单元353中被解码(步骤S604)并且在逆熵编码单元354中被逆熵编码，并且结果被提供给差异恢复单元356(步骤S605)。
在从频率分解单元358输入普通速度帧的低频成分并从逆熵编码单元354输入帧间插值图像后，差异恢复单元356基于上述信息恢复除了普通速度帧以外的各个帧的低频成分并且将这些低频成分提供给逆频率分解单元355(步骤S606)。
在逆频率分解单元355中，基于从差异恢复单元356提供来的除了普通速度帧以外的各个帧的低频成分和非监视帧的高频成分通过逆频率分解恢复非监视帧，并将结果提供给帧耦合单元357(步骤S607)。
然后，在帧耦合单元357中，从频率分解单元358提供来的普通速度帧和从逆频率分解单元355提供来的非监视帧被按原始快速图像的顺序相互耦合到一起，随后被输出(步骤S608)。
如上所述，根据此实施例的编码器300和解码器350，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送具有高于当前系统的监视帧速率的帧速率的超快速高清晰度图像。另外，还可以在相机的监视器或取景器等等上显示监视图像。
(第四实施例)
[4.适于超立体图像的编码器和解码器]
此实施例涉及能够通过使用诸如当前3D图像传送系统之类的能够通过例如双信道数字信号传送路径同时传送两个高清晰度图像的基础设施来传送超立体图像的编码器和解码器。
图16是示出根据本公开的第四实施例的编码器400的配置的框图。
如图16中所示，编码器400包括帧分离单元401、频率分解单元411、分离和耦合单元412、分支单元402、转换单元413、辅助图像添加单元403、第一传送单元405、熵编码单元406、纠错编码单元407、第二传送单元408、压缩分析单元409以及显示处理单元410。这里，帧分离单元401、频率分解单元411以及分离和耦合单元412(耦合单元)构成图像分解单元。
输入到编码器400的是由在不同视点成像以便构成立体图像的多个帧构成的图像。
帧分离单元401将输入图像分离成每个视点的图像，即逐帧图像，以将这些图像提供给频率分解单元411。
频率分解单元411将逐帧图像分离成低频成分和高频成分。这里，在获得了只在水平方向上具有视差的超立体图像的情况下，频率分解只需要对水平方向上的频率执行，在获得了只在垂直方向上具有视差的超立体图像的情况下，频率分解只需要对垂直方向上的频率执行，并且在获得了在水平方向和垂直方向上都具有视差的超立体图像的情况下，频率分解需要对水平方向和垂直方向上的频率执行。应当注意，在此实施例中，超立体图像是基于例如利用16个相机拍摄的16个图像获得的。在此情况下，频率分解单元411通过对一个帧执行两步小波变换来为每个帧生成1/16大小的低频成分。
分离和耦合单元412把由频率分解单元411分离出的各个帧的低频成分相互耦合到一起以生成3D监视降频转换图像(第一成分)，并将3D监视降频转换图像提供给分支单元402。分离和耦合单元412还把由频率分解单元411分离出的各个帧的高频成分作为升频转换插值图像(第二成分)提供给熵编码单元406。
分支单元402把从分离和耦合单元412提供来的3D监视降频转换图像提供给转换单元413和第一传送单元405。
第一传送单元405通过使用链路A传送从分支单元402提供来的3D监视降频转换图像。
转换单元413根据3D监视器的双凸透镜的规格打乱3D监视降频转换图像的线并将结果提供给辅助图像添加单元403。
辅助图像添加单元403向从转换单元413提供来的3D监视降频转换图像添加用于辅助用户监视图像的辅助图像，例如标记、斑纹图案或字符串。被提供有辅助图像的3D监视降频转换图像通过显示处理单元410被提供到相机的监视器或取景器等等，然后作为监视图像被显示在其上。
熵编码单元406对从分离和耦合单元412提供来的逐帧的升频转换插值图像进行熵编码，并将所得到的图像提供给纠错编码单元407。熵编码方法的示例包括霍夫曼编码和算术编码。
纠错编码单元407向从熵编码单元406提供来的逐帧升频转换插值图像中的每一个添加纠错码，然后将所得到的图像提供给第二传送单元408和压缩分析单元409。
第二传送单元408通过使用链路B传送从纠错编码单元407提供来的逐帧升频转换插值图像。
压缩分析单元409分析已被熵编码的逐帧升频转换插值图像的大小并将结果作为可视信息通过显示处理单元410提供给相机的监视器或取景器等等以显示在其上。
[编码器400的操作]
图17是示出编码器400的操作的过程的流程图。
首先，执行编码器400的初始化，包括编码器400中的寄存器、存储器等等的初始化(步骤S701)。然后，由在不同视点成像以便构成立体图像的多个帧构成的图像被输入到编码器100中(步骤S702)。
输入到编码器400的图像在帧分离单元401中被分离成每个视点的图像，即逐帧图像，并被提供给频率分解单元411(步骤S703)。逐帧图像在频率分解单元411中被分离成低频成分和高频成分(步骤S704)，并且低频成分和高频成分被提供给分离和耦合单元412。分离和耦合单元412把各个帧的低频成分相互耦合到一起以生成3D监视降频转换图像，并将3D监视降频转换图像提供给分支单元402。分离和耦合单元412还把各个帧的高频成分作为升频转换插值图像提供给熵编码单元406(步骤S705)。
3D监视降频转换图像通过分支单元402被提供到第一传送单元405，然后被第一传送单元405通过链路A传送(步骤S708)。另外，此时，必须在转换单元413中根据3D监视器的双凸透镜的规格打乱构成利用各个相机拍摄的图像的线。在不存在充分的线的情况下，通过利用相邻的线进行图像插值和图像预测而获得的线弥补线的短缺。然后，3D监视降频转换图像被辅助图像添加单元403提供以辅助图像并通过显示处理单元410被提供到相机的3D监视器等等以被显示在其上。
同时，由分离和耦合单元412分离出的逐帧升频转换插值图像被熵编码单元406熵编码(步骤S706)，被纠错编码单元407提供以纠错码(步骤S707)，并被第二传送单元408通过使用链路B来传送(步骤S708)。
图18是编码器400到此为止进行的处理的概念图。图18示出了传送利用16个相机拍摄的来自16个视点的超立体图像420的情况。帧分离单元401把来自16个视点的超立体图像420分离成作为每个视点的图像的帧421(帧0至帧15)。频率分解单元411进一步将分离出的帧421分离成低频成分422和高频成分423。此示例示出了仅对水平方向上的频率执行频率分解以获得仅在水平方向上有视差的超立体图像的情况。在此情况下，为了将来自16个视点的图像的低频成分降频转换成高清晰度图像大小，频率分解单元411执行四步频率分解以生成大小为原始大小的1/16的低频成分422。这样生成的16个低频成分422在分离和耦合单元412中被相互耦合到一起以获得3D监视降频转换图像424。
同时，返回参考图17，各个帧421的高频成分423作为各个帧的升频转换插值图像被熵编码单元406和纠错编码单元407压缩编码(步骤S706和S707)，然后被第二传送单元408通过使用链路B来传送(步骤S708)。
[解码器450的配置]
接下来，将描述对由上述编码器400压缩编码的图像进行解码的解码器450的配置。
图19是示出解码器450的配置的框图。解码器450包括第一传送单元451(图像获取单元)、分离单元455(帧分离单元)、第二传送单元452(图像获取单元)、纠错解码单元453、逆熵编码单元454(解压缩解码单元)、耦合单元456以及逆频率分解单元457。这里，分离单元455、耦合单元456和逆频率分解单元457构成图像恢复单元。
第一传送单元451接收通过链路A传送来的3D监视降频转换图像并将3D监视降频转换图像提供给分离单元455。
分离单元455从提供自第一传送单元451的3D监视降频转换图像中分离出各个帧的低频成分并将低频成分提供给耦合单元456。
第二传送单元452接收通过链路B传送来的逐帧升频转换插值图像并将逐帧升频转换插值图像提供给纠错解码单元453。
纠错解码单元453对从第二传送单元452提供来的逐帧升频转换插值图像执行纠错解码。
逆熵编码单元454对由纠错解码单元453解码的逐帧升频转换插值图像执行逆熵编码，并将结果提供给耦合单元456。
耦合单元456对于每个视点把从分离单元455提供来的各个帧的每个低频成分耦合到从逆熵编码单元454提供来的相应的逐帧升频转换插值图像，并将结果提供给逆频率分解单元457。
逆频率分解单元457基于被耦合单元456相互耦合到一起的图像的低频成分和升频转换插值图像通过逆频率分解来恢复超立体图像。
[解码器450的操作]
图20是示出解码器450的操作的过程的流程图。
首先，执行解码器450的初始化(步骤S801)。然后，分别由第一传送单元451和第二传送单元452接收通过链路A和链路B传送来的3D监视降频转换图像和逐帧升频转换插值图像(步骤S802)。
被第一传送单元451接收的3D监视降频转换图像在分离单元455中被分离成逐帧低频成分(步骤S803)并被提供到耦合单元456。
同时，被第二传送单元452接收的逐帧升频转换插值图像在纠错解码单元453中被解码(步骤S804)并且在逆熵编码单元454中被逆熵编码(步骤S805)，并且结果被提供到耦合单元456。
在耦合单元456中，从分离单元455提供来的逐帧低频成分和从纠错解码单元453提供来的逐帧升频转换插值图像被相互耦合到一起(步骤S806)，并且结果被提供到逆频率分解单元457。然后，在逆频率分解单元457中，基于被耦合单元456相互耦合到一起的低频成分和升频转换插值图像通过逆频率分解来恢复超立体图像(步骤S807)。
如上所述，根据此实施例的编码器400和解码器450，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以成功地传送超立体图像。另外，还可以在相机的监视器或取景器等等上显示监视图像。
(第五实施例)
[5.适于超广角图像的编码器和解码器]
此实施例涉及能够通过使用诸如当前的3D图像传送系统之类的能够通过双信道数字信号传送路径同时传送两个高清晰度图像的基础设施来传送诸如超广角图像和多个拼接图像之类的具有与用于监视的屏幕不同的宽高比的图像的编码器和解码器。
[编码器500的配置]
图21是示出根据本公开的第五实施例的编码器500的配置的框图。
如图21中所示，编码器500包括大小调整单元511、频率分解单元501(图像分解单元)、分支单元502、辅助图像添加单元503、第一传送单元505、熵编码单元506、纠错编码单元507、第二传送单元508、压缩分析单元509以及显示处理单元510。
输入到编码器500的是具有与用于监视的屏幕的宽高比不同的宽高比的图像，例如超广角图像和多个拼接图像。
大小调整单元511分离和/或耦合输入图像以使之具有用于监视的屏幕的宽高比，从而调整图像的大小。
频率分解单元501把经历了由大小调整单元511进行的大小调整的图像分离成低频成分和高频成分，并将低频成分和高频成分提供给分支单元502和熵编码单元506。
由于分支单元502、辅助图像添加单元503、第一传送单元505、熵编码单元506、纠错编码单元507、第二传送单元508和压缩分析单元509与第一实施例中的编码器100的那些相同，因此将省略对其的描述。
[编码器500的操作]
图22是示出根据第五实施例的编码器500的操作的过程的流程图。
首先，执行编码器500的初始化(步骤S901)。然后，诸如超广角图像和多个拼接图像之类的具有与用于监视的屏幕不同的宽高比的图像被输入到编码器500(步骤S902)。输入到编码器500的图像在大小调整单元511中被分离和/或耦合以具有用于监视的屏幕的宽高比，从而大小被调整。
然后，经大小调整的图像在频率分解单元501中被分离成低频成分和高频成分。低频成分被提供到分支单元502，并且高频成分被提供到熵编码单元506(步骤S903)。
低频成分被从分支单元502提供到第一传送单元505和辅助图像添加单元503。从而，低频成分被第一传送单元505通过使用链路A来传送(步骤S906)。另外，被辅助图像添加单元503提供以辅助图像的低频成分通过显示处理单元510被提供到相机的监视器或取景器等等，然后作为监视图像被显示在其上。
图23是在输入的超广角图像具有是高清晰度图像大小的水平分辨率的八倍高的水平分辨率和是高清晰度图像大小的垂直分辨率的两倍高的垂直分辨率的情况下编码器500的处理的概念图。在此情况下，大小调整单元511将超广角图像水平分离成两个相等部分，然后将这些相等部分垂直耦合到一起，从而获得具有是高清晰度图像大小的分辨率的16倍高的分辨率的图像521。通过对图像521执行两步频率分解，频率分解单元501生成具有高清晰度图像大小的低频成分522。
同时，由频率分解单元501分离出的高频成分(在图23中由标号523表示)在熵编码单元506中被熵编码(步骤S904)，然后被纠错编码单元507提供以纠错码(步骤S905)。被提供有纠错码的高频成分被第二传送单元508通过使用链路B来传送(步骤S906)。
[解码器550的配置]
接下来，将描述对由上述编码器500压缩编码的图像进行解码的解码器550的配置。
图24是示出解码器550的配置的框图。解码器550包括第一传送单元551(图像获取单元)、第二传送单元552(图像获取单元)、纠错解码单元553、逆熵编码单元554、逆频率分解单元555以及分离和耦合单元556。
第一传送单元551接收通过链路A传送来的超广角图像的低频成分并将低频成分提供给逆频率分解单元555。
第二传送单元552接收通过链路B传送来的超广角图像的高频成分并将高频成分提供给纠错解码单元553。
纠错解码单元553对从第二传送单元552提供来的超广角图像的高频成分执行纠错解码。
逆熵编码单元554对在纠错解码单元553中解码的超广角图像的高频成分进行逆熵编码。
逆频率分解单元555通过逆频率分解把从第一传送单元551提供来的超广角图像的低频成分和从逆熵编码单元554提供来的超广角图像的高频成分相互耦合到一起以恢复经大小调整的超广角图像(在图23中由标号521表示).
分离和耦合单元556分离所恢复的超广角图像以使得由逆频率分解单元555恢复的超广角图像被容纳在监视器的屏幕中。
[解码器550的操作]
图25是示出解码器550的操作的过程的流程图。
首先，执行解码器550的初始化(步骤S1001)。然后，分别由第一传送单元551和第二传送单元552接收通过链路A和链路B传送来的诸如超广角图像和多个拼接图像之类的具有与用于监视的屏幕不同的宽高比的图像的低频成分和高频成分(步骤S1002)。
由第一传送单元551接收的图像的低频成分被提供到逆频率分解单元555。同时，由第二传送单元552接收的图像的高频成分被纠错解码单元553解码(步骤S1003)，在逆熵编码单元554中被逆熵编码(步骤S1004)，然后被提供给逆频率分解单元555。然后，从第一传送单元551提供来的图像的低频成分和从逆熵编码单元554提供来的高频成分在逆频率分解单元555中通过逆频率分解被相互耦合到一起，其结果是恢复了执行大小调整前的图像。
如上所述，根据此实施例的编码器500和解码器550，例如，通过按原样使用诸如当前的3D图像传送系统之类的基础设施，可以传送诸如超广角图像和多个拼接图像之类的与用于监视的屏幕具有不同宽高比的图像。另外，还可以在相机的监视器或取景器上显示监视图像。
(第六实施例)
[6.混合模式中的编码器系统和解码器系统]
此实施例涉及能够将双信道传送图像与由多种类型的编码器压缩编码的多个图像相混和以传送混和图像并且在解码器方根据对每个图像的编码方法来对其执行解码处理的混合模式中的编码器系统和解码器系统。
将双信道传送图像与由多种类型的编码器压缩编码的多个图像相混和以传送混和图像的方式例如如下所述。
图26是具有高清晰度图像大小的三个拼接图像621、622和623和具有4K高清晰度图像大小的超高分辨率图像624被编码成双信道传送图像的情况的概念图。
这里，假定具有高清晰度图像大小的三个拼接图像621、622和623分别被分离成低频成分621L、622L和623L以及高频成分的熵编码图像621H、622H和623H。同时，假定具有4K高清晰度图像大小的超高分辨率图像624被分离成降频转换图像624L和高频成分的熵编码图像624H。
三个拼接图像的低频成分621L、622L和623L和降频转换图像624L被分配到形成通过链路A传送的传送图像(以下称为“第一信道传送图像”)的空间的四个片段，然后被传送。另外，三个熵编码图像621H、622H和623H和熵编码图像624H被分配到通过链路B传送的传送图像(以下称为“第二信道传送图像”)的空间的四个片段，然后被传送。
另外，如图27和图28中所示，第一信道传送图像和第二信道传送图像的空间内的每个片段可由形成该片段的多个更小片段构成。
顺便说一下，在由多种类型的编码器压缩编码的多个图像被与双信道传送图像相混和以被传送的情况下，在解码时至少需要以下信息。
1.关于图像到第一信道传送图像的片段的分配的信息(第一分配信息)
2.关于图像到第二信道传送图像的片段的分配的信息(第二分配信息)
3.关于第一信道传送图像的片段和第二信道传送图像的片段之间的对应关系的关联信息
为此，必须提供一种机制，其中将上述那些信息项作为头部信息项添加到第一信道传送图像和第二信道传送图像，在解码时分析这些头部信息项，并且基于分析的结果来执行解码。以下，将描述使用上述机制的编码器系统和解码器系统作为混合模式中的编码器系统和解码器系统。
[混合模式中的编码器系统的配置]
图29是示出混合模式中的编码器系统600的配置的框图。
编码器系统600包括编码器选择单元601、多种类型的编码器100a、200a、300a、400a和500a、第一传送图像配置单元602、第二传送图像配置单元603、第一传送单元604以及第二传送单元605。
编码器选择单元601选择用来对输入图像执行处理的编码器。例如，用户可以为编码器选择单元601设定利用哪个编码器来处理哪个输入图像。
多种类型的编码器100a、200a、300a、400a和500a例如是从根据第一至第五实施例的编码器100、200、300、400和500的配置中排除至少第一传送单元和第二传送单元的编码器。
第一传送图像配置单元602把由编码器选择单元601选择的多个编码器的处理结果之中将被分配给第一信道传送图像的处理结果(例如，超高分辨率图像的低频成分和降频转换图像、超快速图像的普通速度帧、超立体图像的降频转换图像、以及超广角图像和拼接图像的低频成分)分配到第一信道传送图像的多个片段。第一传送图像配置单元602生成包括第一分配信息和关联信息的第一头部信息，将第一头部信息添加到第一信道传送图像，并将结果提供给第一传送单元604。
第二传送图像配置单元603把由编码器选择单元601选择的多个编码器的处理结果之中将被分配给第二信道传送图像的处理结果(例如，超高分辨率图像的高频成分的熵编码图像、超高分辨率图像的升频转换插值图像的熵编码图像、超快速图像的帧间插值图像的熵编码图像、超立体图像的升频转换插值图像的熵编码图像、以及超广角图像和拼接图像的高频成分的熵编码图像)分配到第二信道传送图像的多个片段。第二传送图像配置单元603生成包括第二分配信息和关联信息的第二头部信息，将第二头部信息添加到第二信道传送图像，并将结果提供给第二传送单元605。
应当注意，关联信息可被包括在第一头部信息和第二头部信息的任何一个中。另外，可以将第一头部信息和第二头部信息的详情相加以获得一个头部信息项并将此头部信息项添加到第一信道传送图像和第二信道传送图像的任何一个。换言之，第一分配信息、第二分配信息和关联信息可以通过任何机制来传送，只要它们被传送到所选的解码器即可。
第一传送单元604通过链路A传送由第一传送图像配置单元602生成的第一信道传送图像。
第二传送单元605通过链路B传送由第二传送图像配置单元603生成的第二信道传送图像。
接下来，如图26中所示，将描述在具有高清晰度图像大小的三个拼接图像621、622和623以及具有4K高清晰度图像大小的超高分辨率图像624是输入图像的情况下编码器系统600的操作。
例如，基于由用户预先设定的信息，编码器选择单元601首先选择编码器500a作为用于处理具有高清晰度图像大小的三个拼接图像621、622和623的编码器，然后选择编码器200a作为用于处理具有4K高清晰度图像大小的超高分辨率图像624的编码器。
通过编码器500a，基于三个拼接图像621、622和623生成低频成分621L、622L和623L以及高频成分的熵编码图像621H、622H和623H。
同时，通过编码器200a，基于具有4K高清晰度图像大小的超高分辨率图像624生成降频转换图像624L和高频成分的熵编码图像624H。
第一传送图像配置单元602把由编码器500a生成的三个低频成分621L、622L和623L和由编码器200a生成的降频转换图像624L分配给第一信道传送图像的四个片段，从而生成第一分配信息。
同时，第二传送图像配置单元603把由编码器500a生成的高频成分的熵编码图像621H、622H和623H和由编码器200a生成的高频成分的熵编码图像624H分配给第二信道传送图像的四个片段，从而生成第二分配信息。
第一传送图像配置单元602和第二传送图像配置单元603交换其分配信息，基于其分配信息生成关联信息，并且创建第一头部信息和第二头部信息。
第一传送图像配置单元602向第一信道传送图像添加包括第一分配信息和关联信息的第一头部信息并将结果提供给第一传送单元604。然后，被提供有第一头部信息的第一信道传送图像被第一传送单元604通过链路A来传送。
同时，第二传送图像配置单元603类似地向第二信道传送图像添加包括第二分配信息和关联信息的第二头部信息并将结果提供给第二传送单元605。然后，被提供有第二头部信息的第二信道传送图像被第二传送单元605通过链路B来传送。
[混合模式中的解码器系统的配置]
图30是示出混合模式中的解码器系统650的配置的框图。
解码器系统650包括第一传送单元651(图像获取单元)、第二传送单元652(图像获取单元)、第一头部分析单元653、第二头部分析单元654、多种类型的解码器150a、250a、350a、450a和550a。
第一传送单元651接收通过链路A传送来的第一信道传送图像并将第一信道传送图像提供给第一头部分析单元653。
第二传送单元652接收通过链路B传送来的第二信道传送图像并将第二信道传送图像提供给第二头部分析单元654。
基于添加到从第一传送单元651提供来的第一信道传送图像的第一头部信息中包括的第一分配信息，第一头部分析单元653确定适于第一信道传送图像的每个片段的图像的解码的解码器，并将各个片段的图像提供给这些解码器。
基于添加到从第二传送单元652提供来的第二信道传送图像的第二头部信息中包括的第二分配信息，第二头部分析单元654确定适于第二信道传送图像的每个片段的图像的解码的解码器，并将各个片段的图像提供给这些解码器。
另外，基于第一头部信息和第二头部信息两者中包括的关联信息项，第一头部分析单元653和第二头部分析单元654确定第一信道传送图像的片段的图像和第二信道传送图像的片段的图像中要彼此同步并被传送到共同的解码器的图像。从而，在每个解码器中，正确地获取了要相互结合地处理的两个图像。
多种类型的解码器150a、250a、350a、450a和550a例如是从根据第一至第五实施例的解码器150、250、350、450和550的配置中排除至少第一传送单元和第二传送单元的解码器。
接下来，将描述在接收到图26中所示的第一信道传送图像和第二信道传送图像的情况下解码器系统650的操作。
第一头部分析单元653基于添加到第一信道传送图像的第一头部信息中包括的第一分配信息确定三个拼接图像621、622和623的低频成分621L、622L和623L以及超高分辨率图像624的降频转换图像624L被分配到第一信道传送图像的各个片段。
同时，第二头部分析单元654基于添加到第二信道传送图像的第二头部信息中包括的第二分配信息确定三个拼接图像621、622和623的高频成分的熵编码图像621H、622H和623H以及超高分辨率图像624的高频成分的熵编码图像624H被分配到第二信道传送图像的各个片段。
另外，基于第一头部信息和第二头部信息两者中包括的关联信息项，第一头部分析单元653和第二头部分析单元654确定第一信道传送图像的片段的图像和第二信道传送图像的片段的图像中要相互同步并被提供给共同的解码器的图像。
基于上述确定的结果，第一头部分析单元653和第二头部分析单元654如下所述选择性地将第一信道传送图像和第二信道传送图像的各个片段的图像提供给解码器150a、250a、350a、450a和550a。
1.拼接图像621的低频成分621L被从第一头部分析单元653提供到解码器550a，并且拼接图像621的高频成分的熵编码图像621H被从第二头部分析单元654提供到解码器550a。从而，拼接图像621在解码器550a中被解码。
2.接下来，拼接图像622的低频成分622L被从第一头部分析单元653提供到解码器550a，并且拼接图像622的高频成分的熵编码图像622H被从第二头部分析单元654提供到解码器550a。从而，拼接图像622在解码器550a中被解码。
3.接下来，拼接图像623的低频成分623L被从第一头部分析单元653提供到解码器550a，并且拼接图像623的高频成分的熵编码图像623H被从第二头部分析单元654提供到解码器550a。从而，拼接图像623在解码器550a中被解码。
4.超高分辨率图像624的降频转换图像624Ls被从第一头部分析单元653提供到解码器250a，并且超高分辨率图像624的高频成分的熵编码图像624H被从第二头部分析单元654提供到解码器250a。从而，超高分辨率图像624在解码器250a中被解码。
如上所述，根据此实施例，可以将双信道传送图像与由多种类型的编码器压缩编码的多个图像相混和以传送混和图像并且在解码器方根据对每个图像的编码方法来对其执行解码处理。
应当注意，当传送图像的空间被分割成多个矩形区域时，可发生最大相当于约一帧的延迟。存在减小延迟的对策。例如，按每个像素顺次排列关于每个片段的图像信息。然而，在像素被交替排列的情况下，由于在查看监视器时感知到混和了多个图像的图像，所以当在监视器上显示图像时必须进行对像素分类的处理。
[相机系统]
图31是示出使用上述实施例中描述的编码器和解码器的相机系统1000的配置的框图。
相机系统1000包括相机1001、CCU(相机控制单元)1002、解码器箱1003等等。相机1001和CCU 1002被连接为通过在当前3D图像传送系统中采用的双信道传送路径与彼此进行双向通信。CCU 1002和解码器箱1003也类似地通过双信道传送路径相互连接。
相机1001包含编码器。相机1001例如可以是超高分辨率相机、超快速相机、从不同视点以获得超立体图像的多个相机、超广角相机等等。
CCU 1002与能够接收来自用户的操作输入的控制面板1004相连接。CCU 1002接收从用户输入到控制面板1004的指令，生成与该指令相对应的命令，并且将该命令发送到相机1001，从而CCU 1002可控制相机1001。
解码器箱1003是包含解码器的设备。
双信道传送路径的示例包括i.LINK(注册商标)、光纤传送以及3G-SDI(3G-单文档接口)，但是双信道传送路径并不限于此。另外，双信道传送路径可以是诸如存储装置之类的异步传送装置。
(变形例1)
[传送适配器]
以上，已经描述了根据本公开的实施例的编码器和解码器。然而，本公开可应用到如下的传送适配器：该传送适配器导入从编码器输出的图像并将该图像转换成一不同传送形式的数据以将该数据输出到另一设备。
图32是示出使用传送适配器的相机系统1100的配置的框图。
相机系统1100包括相机1101、传送适配器1110、CCU 1102、解码器箱1103等等。相机1101和传送适配器1110通过链路A和链路B相互连接。传送适配器1110和CCU 1102通过双向光纤传送路径相互连接。CCU1102和解码器箱1103通过链路A和链路B相互连接。
CCU 1102接收从用户输入到控制面板1104的指令，生成与该指令相对应的命令，并且通过传送适配器1110将该命令发送到相机1101，从而CCU 1102可控制相机1101。传送适配器1110包括显示单元1120，并且通过链路A传送的图像，例如经小波变换的图像的低频成分或者降频转换图像，可通过显示单元1120来查看。
图33是示出变形例1的传送适配器1110的配置的框图。
传送适配器1110包括第一接收单元1111、第二接收单元1112、第一分支单元1113、第二分支单元1114、辅助信息添加单元1115、显示处理单元1116、压缩分析单元1117以及发送单元1118。
第一接收单元1111接收从相机1101内的编码器通过链路A传送来的图像并将该图像提供给第一分支单元1113。
第二接收单元1112接收从相机1101内的编码器通过链路B传送来的图像并将该图像提供给第二分支单元1114。
第一分支单元1113把从第一接收单元1111提供来的图像提供给辅助信息添加单元1115和发送单元1118。
第二分支单元1114把从第二接收单元1112提供来的图像提供给压缩分析单元1117和发送单元1118。
辅助信息添加单元1115向从第一分支单元1113提供来的图像添加用于辅助用户监视图像的辅助图像，例如标记、斑纹图案或者字符串。被提供有辅助图像的图像被提供到显示单元1120，然后被显示在其上。
压缩分析单元1117分析从第二分支单元1114提供来的图像的大小并将分析的结果提供到显示单元1120以显示在其上。
发送单元1118对从第一分支单元1113提供来的图像和从第二分支单元1114提供来的图像的传送形式进行转换以将这些图像传送到另一端的设备。例如，可以执行从i.LINK(注册商标)到光纤传送的转换，与此相反方向上的转换等等。
在传送适配器1110中，在第一接收单元1111中接收从相机1101内的编码器通过链路A传送来的图像，而在第二接收单元1112中接收通过链路B传送来的图像。在第一接收单元1111中接收的图像被第一分支单元1113输出到辅助信息添加单元1115，被提供以用于辅助用户的辅助图像，并被显示在显示单元1120上，同时在第一接收单元1111中接收的图像也被提供给发送单元1118。
另外，在第二接收单元1112中接收的图像被第二分支单元1114输出到压缩分析单元1117。在压缩分析单元1117中，图像的大小被分析并且分析的结果被显示在显示单元1120上，并且也被提供到发送单元1118。然后，在发送单元1118中，从第一分支单元1113提供来的图像和从第二分支单元1114提供来的图像被相互耦合到一起，转换成一不同传送形式的代码，并被传送到CCU 1102。
(变形例2)
接下来，将描述适于传送利用多个相机拍摄的图像以便生成超立体图像等等的多相机连接方法。多相机连接方法的示例包括级联连接。
图34是示出按级联连接的多相机系统1200的配置的框图。
在多相机系统1200中，多个相机1201通过一条图像传送线1202和一条同步信号线1203相互串联连接。每个相机1201包含编码器。最下游相机1201的编码器的输出连接到传送适配器1204，并且传送适配器1204通过诸如光传送路径之类的传送路径连接到CCU 1205。
在每个相机1201的编码器中按时分方式使用图像传送线1202。换言之，包含到每个相机中的编码器的第一传送单元和第二传送单元基于同步信号在预先指派给它的定时使用图像传送线1202来传送图像。
利用此配置，可以获得多个相机1201和传送适配器1204通过一条图像传送线1202和一条同步信号线1203串联连接的多相机系统1200。
应当注意，利用此配置，在成像时，希望在考虑到相机1201之间的同步信号的延迟量的差异的同时执行提前或延迟成像定时的处理。或者，也可以在解码器中在考虑到相机中的同步信号的延迟量的同时执行同步校正。
以上，已经在考虑到使用诸如当前3D图像传送系统之类的基础设施的情况下描述了用于将各种形式的图像作为双信道高清晰度图像来传送的编码器和解码器。然而，本公开并不限于使用当前3D图像传送系统的基础设施。例如，可以采用一种配置，其中第一传送单元和/或第二传送单元进一步分割传送图像以通过多个信道来传送。更具体而言，设想到了以下模式。
1.向一条链路指派用于传送降频转换图像的1.5Gbps的频带，并且向其他三条链路指派用于传送经压缩编码的图像的4.5Gbps的频带。
2.向两条链路指派用于传送降频转换图像的3.0Gbps的频带，并且向其他两条链路指派用于传送经压缩编码的图像的3.0Gbps的频带。
3.向一条链路指派用于传送降频转换图像的1.5Gbps的频带，并且向其他五条链路指派用于传送经压缩编码的图像的7.5Gbps的频带。
除了上述这些以外，还设想到了各种使用应用。
应当注意，本公开可采取以下配置。
(1)一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
降频转换单元，该降频转换单元被配置为通过降频转换而从所述输入图像生成具有能够被用作所述监视图像的大小的图像来作为所述第一成分，以及
差异生成单元，该差异生成单元被配置为生成所述输入图像与通过将所述第一成分按像素放大到所述输入图像的大小而获得的图像之间的差异来作为所述第二成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
(2)一种编码器，包括：
图像分解单元，该图像分解单元被配置为输入由按高于监视帧速率的帧速率顺次拍摄的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为按所述监视帧速率从所述输入图像的所述多个帧中分离帧作为监视帧并生成所述第一成分，
频率分解单元，该频率分解单元被配置为通过频率分解而把所述输入图像的所述多个帧中的每一个分解成低频成分和高频成分，以及
差异生成单元，该差异生成单元被配置为生成所述监视帧与至少一个非监视帧之间在每个经分解的帧的低频成分上的差异来作为所述第二成分，所述至少一个非监视帧位于所述监视帧和下一监视帧之间；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
(3)一种编码器，包括：
图像分解单元，该图像分解单元被配置为输入由在不同视点拍摄以构成立体图像的多个帧构成的图像并将输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括
帧分离单元，该帧分离单元被配置为将所述输入图像分离成所述多个帧，
频率分解单元，该频率分解单元被配置为通过频率分解而把每个分离出的帧分解成低频成分和高频成分并生成所述高频成分来作为所述第二成分，以及
耦合单元，该耦合单元被配置为将分解出的所述多个帧的低频成分相互耦合到一起以生成所述第一成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
(4)一种编码器，包括：
大小调整单元，该大小调整单元被配置为输入具有与用于监视的屏幕的宽高比不同的宽高比的图像并且对输入图像执行分离和耦合中的至少一种以使之具有所述用于监视的屏幕的宽高比；
图像分解单元，该图像分解单元被配置为把由所述大小调整单元输出的图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述图像是通过将所述第一成分和所述第二成分相互耦合到一起而被恢复；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
(5)一种传送适配器，包括：
第一接收单元，该第一接收单元被配置为接收由根据第(1)项至第(4)项中的任何一项所述的编码器传送的第一信道传送图像；
第二接收单元，该第二接收单元被配置为接收由所述编码器传送的第二信道传送图像；以及
发送单元，该发送单元被配置为把由所述第一接收单元接收的所述第一信道传送图像和由所述第二接收单元接收的所述第二信道传送图像相互耦合到一起并且转换所述第一信道传送图像和所述第二信道传送图像的传送形式以便发送。
(6)一种成像装置，包括：
根据第(1)项至第(4)项中的任何一项所述的编码器。
本公开包含与2011年5月6日向日本专利局提交的日本优先权专利申请JP 2011-103579中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。
Claims (20)
1.一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
2.根据权利要求1所述的编码器，还包括：
辅助图像添加单元，该辅助图像添加单元被配置为向所述第一成分添加用于监视的辅助图像；以及
输出单元，该输出单元被配置为把具有所述辅助图像的所述第一成分作为监视图像而输出。
3.根据权利要求2所述的编码器，还包括压缩分析单元，该压缩分析单元被配置为对所述经压缩编码的第二成分的大小进行分析并把分析的结果作为可见信息而输出。
4.根据权利要求1所述的编码器，其中，
所述第一传送单元和所述第二传送单元中的一者把传送图像分割以通过多个信道传送。
5.一种能够与编码器结合使用的解码器，所述编码器包括：
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置来获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为把所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
6.一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
降频转换单元，该降频转换单元被配置为通过降频转换而从所述输入图像生成具有能够被用作所述监视图像的大小的图像，来作为所述第一成分，以及
差异生成单元，该差异生成单元被配置为生成所述输入图像与通过把所述第一成分按像素放大到所述输入图像的大小而获得的图像之间的差异，来作为所述第二成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
7.一种能够与编码器结合使用的解码器，所述编码器包括：
图像分解单元，该图像分解单元被配置来输入图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
降频转换单元，该降频转换单元被配置为通过降频转换而从所述输入图像生成具有能够被用作所述监视图像的大小的图像，来作为所述第一成分，以及
差异生成单元，该差异生成单元被配置为生成所述输入图像与通过把所述第一成分按像素放大到所述输入图像的大小而获得的图像之间的差异，来作为所述第二成分，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为把所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元被配置为对所述第一成分进行按像素放大并把其放大图像与经解压缩解码的第二成分彼此相加来恢复所述原始状态的图像。
8.一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入由按照高于监视帧速率的帧速率顺次拍摄的多个帧所构成的图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
帧分离单元，该帧分离单元被配置为按照所述监视帧速率从所述输入图像的所述多个帧中分离帧作为监视帧，并生成所述第一成分，
频率分解单元，该频率分解单元被配置为通过频率分解而把所述输入图像的所述多个帧中的每个帧分解成低频成分和高频成分，以及
差异生成单元，该差异生成单元被配置为关于每个经分解的帧的低频成分生成所述监视帧与至少一个非监视帧之间的差异来作为所述第二成分，所述至少一个非监视帧位于所述监视帧和下一监视帧之间；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
9.一种能够与编码器结合使用的解码器，所述编码器包括：
图像分解单元，该图像分解单元被配置来输入由按照高于监视帧速率的帧速率顺次拍摄的多个帧所构成的图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
帧分离单元，该帧分离单元被配置为按照所述监视帧速率从所述输入图像的所述多个帧中分离帧作为监视帧，并生成所述第一成分，
频率分解单元，该频率分解单元被配置为通过频率分解而把所述输入图像的所述多个帧中的每个帧分解成低频成分和高频成分，以及
差异生成单元，该差异生成单元被配置为关于每个经分解的帧的低频成分生成所述监视帧与至少一个非监视帧之间的差异来作为所述第二成分，所述至少一个非监视帧位于所述监视帧和下一监视帧之间，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为把所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元包括：
频率分解单元，该频率分解单元被配置为通过频率分解而把所获取的第一成分分解成低频成分和高频成分，
差异恢复单元，该差异恢复单元被配置为基于所分解出的低频成分和经解压缩解码的第二成分来恢复所述至少一个非监视帧的低频成分，
逆频率分解单元，该逆频率分解单元被配置为基于所恢复的低频成分和所述第二成分中包括的高频成分，通过逆频率分解来恢复所述至少一个非监视帧，以及
帧耦合单元，该帧耦合单元被配置为把作为由所述图像获取单元获取的第一成分的监视帧耦合到由所述逆频率分解单元恢复的至少一个非监视帧。
10.一种编码器，包括：
图像分解单元，该图像分解单元被配置来输入由在不同视点拍摄以构成立体图像的多个帧所构成的图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
帧分离单元，该帧分离单元被配置为把所述输入图像分离成所述多个帧，
频率分解单元，该频率分解单元被配置为通过频率分解而把每个分离出的帧分解成低频成分和高频成分，并生成所述高频成分来作为所述第二成分，以及
耦合单元，该耦合单元被配置为把所述多个帧被分解出的低频成分相互耦合到一起以生成所述第一成分；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
11.一种能够与编码器结合使用的解码器，所述编码器包括：
图像分解单元，该图像分解单元被配置来输入由在不同视点拍摄以构成立体图像的多个帧所构成的图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，所述图像分解单元包括：
帧分离单元，该帧分离单元被配置为把所述输入图像分离成所述多个帧，
频率分解单元，该频率分解单元被配置为通过频率分解而把每个分离出的帧分解成低频成分和高频成分，并生成所述高频成分来作为所述第二成分，以及
耦合单元，该耦合单元被配置为把所述多个帧被分解出的低频成分相互耦合到一起以生成所述第一成分，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为把所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像，所述图像恢复单元包括：
帧分离单元，该帧分离单元被配置为对每个帧分离所获取的第一成分，
耦合单元，该耦合单元被配置为把对每个帧分离的第一成分和经解压缩解码的第二成分耦合，以及
逆频率分解单元，该逆频率分解单元被配置为基于所耦合的第一成分和第二成分，通过逆频率分解来恢复所述立体图像。
12.一种编码器，包括：
大小调整单元，该大小调整单元被配置来输入具有与用于监视的屏幕的宽高比不同的宽高比的图像，并且对输入图像执行分离和耦合中的至少一种以使之具有所述用于监视的屏幕的宽高比；
图像分解单元，该图像分解单元被配置为把由所述大小调整单元输出的图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复；
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出；
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码；以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
13.一种能够与编码器结合使用的解码器，所述编码器包括：
大小调整单元，该大小调整单元被配置来输入具有与用于监视的屏幕的宽高比不同的宽高比的图像，并且对输入图像执行分离和耦合中的至少一种以使之具有所述用于监视的屏幕的宽高比，
图像分解单元，该图像分解单元被配置为把由所述大小调整单元输出的图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出，所述解码器包括：
图像获取单元，该图像获取单元被配置为获取被作为所述第一信道传送图像而传送的所述第一成分和被作为所述第二信道传送图像而传送的所述第二成分；
解压缩解码单元，该解压缩解码单元被配置为对所获取的第二成分进行解压缩解码；以及
图像恢复单元，该图像恢复单元被配置为把所获取的第一成分与经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
14.一种编码器系统，包括：
多个编码器，每个编码器包括图像分解单元，该图像分解单元被配置为把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，每个编码器还包括压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，所述多个编码器中的每个编码器被配置来输出所分解出的第一成分和经压缩编码的第二成分，并且每个编码器的所述图像分解单元的图像分解模式不同；
编码器选择单元，该编码器选择单元被配置为选择用于对输入的图像进行编码的多个所述编码器；
第一传送图像配置单元，该第一传送图像配置单元被配置为把由所选择的编码器输出的多个第一成分分配到对第一信道传送图像的空间进行分割的多个片段，并且生成至少包括与所述分配有关的信息的第一头部信息，以把所述第一头部信息添加到所述第一信道传送图像；
第一传送单元，该第一传送单元被配置为对被提供了所述第一头部信息的所述第一信道传送图像进行传送；
第二传送图像配置单元，该第二传送图像配置单元被配置为把由所选择的编码器输出的多个第二成分分配到对第二信道传送图像的空间进行分割的多个片段，并且生成至少包括与所述分配有关的信息的第二头部信息，以把所述第二头部信息添加到所述第二信道传送图像；以及
第二传送单元，该第二传送单元被配置为对被提供了所述第二头部信息的所述第二信道传送图像进行传送。
15.根据权利要求14所述的编码器系统，其中，
所述第一传送图像配置单元和所述第二传送图像配置单元中的至少一者生成关联信息，并把所述关联信息添加到所述第一头部信息和所述第二头部信息中的至少一者，其中所述关联信息把被分配到所述第一信道传送图像的多个片段中的每个片段的每个所述第一成分与被分配到所述第二信道传送图像的多个片段中的每个片段的每个所述第二成分关联起来。
16.一种能够与编码器系统结合使用的解码器系统，所述编码器系统包括：
多个编码器，每个编码器包括图像分解单元，该图像分解单元被配置为把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，每个编码器还包括压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，所述多个编码器中的每个编码器被配置来输出所分解出的第一成分和经压缩编码的第二成分，并且每个编码器的所述图像分解单元的图像分解模式不同，
编码器选择单元，该编码器选择单元被配置为选择用于对输入的图像进行编码的多个所述编码器，
第一传送图像配置单元，该第一传送图像配置单元被配置为把由所选择的编码器输出的多个第一成分分配到对第一信道传送图像的空间进行分割的多个片段，并且生成至少包括与所述分配有关的信息的第一头部信息，以将把所述第一头部信息添加到所述第一信道传送图像，
第一传送单元，该第一传送单元被配置为对被提供了所述第一头部信息的所述第一信道传送图像进行传送，
第二传送图像配置单元，该第二传送图像配置单元被配置为把由所选择的编码器输出的多个第二成分分配到对第二信道传送图像的空间进行分割的多个片段，并且生成至少包括与所述分配有关的信息的第二头部信息，以把所述第二头部信息添加到所述第二信道传送图像，以及
第二传送单元，该第二传送单元被配置为对被提供了所述第二头部信息的所述第二信道传送图像进行传送，所述解码器系统包括：
多个解码器，每个解码器与所述多个编码器中的每个编码器分别对应；
图像获取单元，该图像获取单元被配置来获取由所述编码器系统传送的所述第一信道传送图像和所述第二信道传送图像；
第一头部分析单元，该第一头部分析单元被配置为基于被提供给所获取的第一信道传送图像的所述第一头部信息，把被分别分配到所述第一信道传送图像的多个片段的所述多个第一成分选择性地提供给所述多个解码器；以及
第二头部分析单元，该第二头部分析单元被配置为基于被提供给所获取的第二信道传送图像的所述第二头部信息，把被分别分配到所述第二信道传送图像的多个片段的所述多个第二成分选择性地提供给所述多个解码器。
17.一种传送适配器，包括：
第一接收单元，该第一接收单元被配置为接收由编码器传送的第一信道传送图像，所述编码器包括：
图像分解单元，该图像分解单元被配置来输入图像并把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出；
第二接收单元，该第二接收单元被配置为接收由所述编码器传送的所述第二信道传送图像；以及
发送单元，该发送单元被配置为把由所述第一接收单元接收的所述第一信道传送图像和由所述第二接收单元接收的所述第二信道传送图像相互耦合到一起，并且转换所述第一信道传送图像和所述第二信道传送图像的传送形式以便发送。
18.一种编码方法，包括：
把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复；
把所分解出的第一成分作为第一信道传送图像而输出；
对所述第二成分进行压缩编码；以及
把经压缩编码的第二成分作为第二信道传送图像而输出。
19.一种解码方法，包括：
获取由下述编码方法作为第一信道传送图像而输出的第一成分和作为第二信道传送图像而输出的第二成分，所述编码方法包括：
把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
把所分解出的第一成分作为所述第一信道传送图像而输出，
对所述第二成分进行压缩编码，以及
把经压缩编码的第二成分作为所述第二信道传送图像而输出；
对所获取的第二成分进行解压缩解码；以及
把所获取的第一成分和经解压缩解码的第二成分相互耦合到一起以恢复原始状态的图像。
20.一种成像装置，包括：
编码器，该编码器包括：
图像分解单元，该图像分解单元被配置来输入图像并且通过频率分解而把输入图像分解成能够被用作监视图像的第一成分和除所述第一成分以外的第二成分，所述输入图像通过使所述第一成分和所述第二成分相互耦合到一起而被恢复，
第一传送单元，该第一传送单元被配置为把所分解出的第一成分作为第一信道传送图像而输出，
压缩编码单元，该压缩编码单元被配置为对所述第二成分进行压缩编码，以及
第二传送单元，该第二传送单元被配置为把经压缩编码的第二成分作为第二信道传送图像而输出。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-103579 | 2011-05-06 | ||
| JP2011103579A JP2012235383A (ja) | 2011-05-06 | 2011-05-06 | エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102780881A true CN102780881A (zh) | 2012-11-14 |
Family
ID=47090284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101368844A Pending CN102780881A (zh) | 2011-05-06 | 2012-04-28 | 编解码器、编解码系统及方法、传送适配器和成像装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8774539B2 (zh) |
| JP (1) | JP2012235383A (zh) |
| CN (1) | CN102780881A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105847778A (zh) * | 2016-03-29 | 2016-08-10 | 朱光喜 | 360°多视点3d全息视频采集方法、设备及实现方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5436501B2 (ja) * | 2011-07-20 | 2014-03-05 | 日本電信電話株式会社 | 映像符号化装置及び映像復号装置 |
| JP2014532377A (ja) * | 2011-10-14 | 2014-12-04 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ | 領域ベースの画像圧縮 |
| US9836433B1 (en) * | 2012-04-02 | 2017-12-05 | Rockwell Collins, Inc. | Image processing using multiprocessor discrete wavelet transform |
| JP2014060543A (ja) * | 2012-09-14 | 2014-04-03 | Sony Corp | エンコード装置、デコード装置およびスイッチャ装置 |
| GB2524250A (en) * | 2014-03-17 | 2015-09-23 | Sony Comp Entertainment Europe | Image processing |
| FR3038484B1 (fr) * | 2015-07-01 | 2017-07-28 | Ateme | Procede d'encodage d'image et equipement pour la mise en oeuvre du procede |
| CN105677283B (zh) * | 2016-03-02 | 2018-10-09 | 广东农工商职业技术学院(农业部华南农垦干部培训中心) | 一种应用于多屏拼接显示的视频信号传输方法及装置 |
| CN114416000B (zh) * | 2021-12-29 | 2024-02-20 | 上海赫千电子科技有限公司 | 一种应用于智能汽车的多屏互动方法、多屏互动系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5235420A (en) * | 1991-03-22 | 1993-08-10 | Bell Communications Research, Inc. | Multilayer universal video coder |
| US5253058A (en) * | 1992-04-01 | 1993-10-12 | Bell Communications Research, Inc. | Efficient coding scheme for multilevel video transmission |
| US6091777A (en) * | 1997-09-18 | 2000-07-18 | Cubic Video Technologies, Inc. | Continuously adaptive digital video compression system and method for a web streamer |
| JP4281309B2 (ja) * | 2002-08-23 | 2009-06-17 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
| JP2004266497A (ja) | 2003-02-28 | 2004-09-24 | Rikogaku Shinkokai | ステレオ映像放送受信用セットトップボックスおよびステレオ映像放送方法 |
| US8477853B2 (en) * | 2006-12-14 | 2013-07-02 | Thomson Licensing | Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US8488680B2 (en) * | 2008-07-30 | 2013-07-16 | Stmicroelectronics S.R.L. | Encoding and decoding methods and apparatus, signal and computer program product therefor |
| KR101012980B1 (ko) * | 2009-03-16 | 2011-02-10 | 한국방송공사 | 계층적 방송 장치 및 방법 |
-
2011
- 2011-05-06 JP JP2011103579A patent/JP2012235383A/ja not_active Withdrawn
-
2012
- 2012-04-26 US US13/456,664 patent/US8774539B2/en not_active Expired - Fee Related
- 2012-04-28 CN CN2012101368844A patent/CN102780881A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105847778A (zh) * | 2016-03-29 | 2016-08-10 | 朱光喜 | 360°多视点3d全息视频采集方法、设备及实现方法 |
| CN105847778B (zh) * | 2016-03-29 | 2018-06-19 | 朱光喜 | 360°多视点3d全息视频采集方法、设备及实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120281927A1 (en) | 2012-11-08 |
| US8774539B2 (en) | 2014-07-08 |
| JP2012235383A (ja) | 2012-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102780881A (zh) | 编解码器、编解码系统及方法、传送适配器和成像装置 | |
| KR101664419B1 (ko) | 수신 시스템 및 데이터 처리 방법 | |
| US7746931B2 (en) | Moving picture encoding apparatus and method, moving picture decoding apparatus and method | |
| CN104584562B (zh) | 发送设备、发送方法、接收设备和接收方法 | |
| US10796413B2 (en) | Video monitoring system | |
| US20150312547A1 (en) | Apparatus and method for generating and rebuilding a video stream | |
| CN107113447A (zh) | 高帧速率‑低帧速率传输技术 | |
| JP5091143B2 (ja) | 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置 | |
| CN100579220C (zh) | 利用图像拼接来编码和解码多视点视频的方法和设备 | |
| CN101663897A (zh) | 运动图像编码装置、方法、程序以及集成电路 | |
| KR20120127409A (ko) | 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램 | |
| US10382800B2 (en) | Video surveillance system and video surveillance method | |
| JP4657258B2 (ja) | 立体画像表示装置およびその方法 | |
| Hur et al. | Experimental service of 3D TV broadcasting relay in Korea | |
| KR100898700B1 (ko) | 다중 시점의 영상을 이용한 초고해상도 방송 시스템 및방법 | |
| CN102843566A (zh) | 一种3d视频数据的通讯方法和设备 | |
| JP5375490B2 (ja) | 送信装置、受信装置、通信システム及びプログラム | |
| JP5444040B2 (ja) | 画像符号化装置及び画像伝送システム | |
| KR101223205B1 (ko) | 양안식 비디오 송신 장치 및 그 방법 | |
| JP2008034893A (ja) | 多視点画像復号装置 | |
| CN202957932U (zh) | 一种3d视频数据的通讯设备和通信系统 | |
| JP5688443B2 (ja) | 画像符号化装置及び画像伝送システム | |
| JP2004179940A (ja) | 画像送信装置及び画像受信装置 | |
| JP5442688B2 (ja) | 動画像符号化装置および方法、並びに動画像復号化装置および方法 | |
| KR20140076487A (ko) | 멀티화면을 제공하는 방송 시스템 및 방송 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121114 |