JP2019029746A - Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method - Google Patents
Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method Download PDFInfo
- Publication number
- JP2019029746A JP2019029746A JP2017145210A JP2017145210A JP2019029746A JP 2019029746 A JP2019029746 A JP 2019029746A JP 2017145210 A JP2017145210 A JP 2017145210A JP 2017145210 A JP2017145210 A JP 2017145210A JP 2019029746 A JP2019029746 A JP 2019029746A
- Authority
- JP
- Japan
- Prior art keywords
- video
- region
- interest
- unit
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関し、特に、映像データを処理する映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関する。 The present invention relates to a video transmission system, a video transmission device, a video reception device, a computer program, a video distribution method, a video transmission method, and a video reception method, and in particular, a video transmission system, a video transmission device, and a video reception device that process video data. The present invention relates to a computer program, a video distribution method, a video transmission method, and a video reception method.
放送等では、8K UHDTV(Ultra High Definition Television)のような超高精細の映像データを伝送するための技術が開発されている。 In broadcasting and the like, a technique for transmitting ultra-high definition video data such as 8K UHDTV (Ultra High Definition Television) has been developed.
例えば、非特許文献1には、映像データを圧縮するためのH.265について記載されている。
For example, Non-Patent
H.265(ISO/IEC 23008−2 HEVC)は、動画圧縮規格の一つであり、H.264/MPEG−4 AVCの後続フォーマットである。H.265では、ブロックサイズの適正化など圧縮効率が優れており、MPEG−2(H.262)比で約4倍、H.264/AVCとの比較でも約2倍の圧縮性能を有すると言われている。H.265は、スーパーハイビジョン(8K,4320p)等の高解像度な映像だけでなく携帯端末向けの映像配信での利用も想定されている。 H. H.265 (ISO / IEC 23008-2 HEVC) is one of the video compression standards. This is a subsequent format of H.264 / MPEG-4 AVC. H. H.265 has excellent compression efficiency such as optimization of the block size, and is approximately four times the MPEG-2 (H.262) ratio. In comparison with H.264 / AVC, it is said to have about twice the compression performance. H. H.265 is assumed to be used not only for high-resolution video such as Super Hi-Vision (8K, 4320p) but also for video distribution for mobile terminals.
例えば、8K UHDTVのような超高精細の映像データは、伝送レートが数十Gbps(gigabits per second)以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。 For example, since ultra-high definition video data such as 8K UHDTV has a transmission rate of several tens of Gbps (gigabits per second) or more, high-speed and large-scale logic circuits and Very large resources such as large capacity memory are required.
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、TV受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献1に記載のH.265等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は3秒を越え、遅延時間が大きくなる事が避けられない。
In order to solve this problem, the video signal is compressed before the target processing. In a broadcast system, compressing video before transmission and expanding it when presented on a TV receiver is one typical example. Non-Patent
一方、伝送された映像データは、例えば、不審者、人の流れ、または入場者等を監視する監視用途に用いられる。具体的には、映像データを画像認識処理することにより、不審者等の認識対象が抽出される。しかし、H.265等の圧縮方式では遅延時間が3秒を超える。このため、不審者に対する警報アラームの発報、入場ゲートでの入場者監視、認識対象の追跡処理などのリアルタイム性が要求される処理に、H.265等の圧縮方式で圧縮された映像データを用いることは困難である。つまり、認識処理に用いられる映像データは3秒程度遅延した映像であるため、認識対象の認識時刻と実際の時刻との間に遅延が生じてしまう。なお、本明細書中において、画像認識という用語は、動画(映像)から認識対象を抽出する処理と、静止画(画像)から認識対象を抽出する処理との両方の意味で用いる。 On the other hand, the transmitted video data is used for monitoring purposes for monitoring, for example, a suspicious person, the flow of a person, or a visitor. Specifically, a recognition target such as a suspicious person is extracted by performing image recognition processing on the video data. However, H. In a compression method such as H.265, the delay time exceeds 3 seconds. For this reason, H.264 is used for processes that require real-time performance, such as issuing alarm alarms for suspicious persons, monitoring attendees at the entrance gate, and tracking processing of recognition targets. It is difficult to use video data compressed by a compression method such as H.265. That is, since the video data used for the recognition process is a video delayed by about 3 seconds, a delay occurs between the recognition time of the recognition target and the actual time. Note that in this specification, the term image recognition is used to mean both processing for extracting a recognition target from a moving image (video) and processing for extracting a recognition target from a still image (image).
また、H.265等の圧縮方式は非可逆圧縮方式であるため、伸長処理された映像データとオリジナルの映像データとの同一性が保持されない。このため、画像認識された認識対象の細部を、伸長処理された映像データ上で確認するのが困難な場合がある。 H. Since the compression method such as H.265 is an irreversible compression method, the sameness between the decompressed video data and the original video data is not maintained. For this reason, it may be difficult to confirm the details of the recognition target that has been image-recognized on the decompressed video data.
本発明は、上記した事情に鑑みてなされたものであり、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能な映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and a video transmission system, a video transmission device, and a video reception device capable of real-time distribution of video data that retains the visual identity of the recognition target with the original video An object of the present invention is to provide a computer program, a video distribution method, a video transmission method, and a video reception method.
上記目的を達成するために、本発明の一実施態様に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。 To achieve the above object, a video transmission system according to an embodiment of the present invention acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data. A video transmission device that receives the compressed video data from the video transmission device, and decompresses the received video data. The video reception device includes: Information for designating a region of interest in the screen is transmitted to the video transmission device, and the video transmission device per unit pixel block in the region of interest based on the information received from the video reception device. The compression processing in which the transmission rate is larger than the transmission rate per unit pixel block outside the region of interest is performed on the acquired video data.
本発明の他の実施態様に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。 A video transmission device according to another embodiment of the present invention includes an acquisition unit that acquires video data, a reception unit that receives information for designating a region of interest in a screen of the video data from the video reception device, Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit that performs the video data, and a transmission unit that transmits the video data that has been compressed by the compression unit to the video reception device.
本発明の他の実施態様に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。 According to another aspect of the present invention, there is provided a video reception device having a transmission rate per unit pixel block in a region of interest in a screen larger than a transmission rate per unit pixel block outside the region of interest from the video transmission device. A transmission unit that receives compressed video data, a decompression unit that decompresses the video data received by the reception unit, and a transmission that transmits information for designating the region of interest to the video transmission device A part.
本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。 A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video transmission device, the computer from the acquisition unit that acquires video data and the video reception device. A receiving unit that receives information for designating a region of interest in a screen of data, and a transmission rate per unit pixel block in the region of interest outside the region of interest based on the information received by the receiving unit A compression unit that performs compression processing larger than the transmission rate per unit pixel block on the video data acquired by the acquisition unit; and the video data that has been compressed by the compression unit, To function as a transmission unit for transmission to
本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。 A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video reception device, wherein the computer is transmitted from the video transmission device to a unit pixel block in a region of interest in a screen. A receiving unit that receives video data subjected to compression processing that is larger than a transmission rate per unit pixel block outside the region of interest, and a decompressing unit that decompresses the video data received by the receiving unit. The information for designating the region of interest is caused to function as a transmission unit that transmits the information to the video transmission device.
本発明の他の実施態様に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。 In the video distribution method according to another embodiment of the present invention, the video reception device transmits information for designating a region of interest in the screen to the video transmission device, and the video transmission device transmits the information from the video reception device. , Receiving information for designating the region of interest, the video transmission device acquires video data, and the video transmission device per unit pixel block in the region of interest based on the received information The acquired video data is subjected to a compression process in which a transmission rate is larger than the transmission rate per unit pixel block outside the region of interest, and the video transmission apparatus converts the compressed video data into the video data Transmitted to the video receiving device, the video receiving device receives the compressed video data from the video transmitting device, and the video receiving device has received the compressed processing Decompressing the image data.
本発明の他の実施態様に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。 A video transmission method according to another embodiment of the present invention acquires video data, receives information for designating a region of interest in a screen of the video data from a video receiving device, and based on the received information Then, a compression process in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest is performed on the acquired video data, and the compression processing is completed. The video data is transmitted to the video receiving device.
本発明の他の実施態様に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。 In the video receiving method according to another embodiment of the present invention, the transmission rate per unit pixel block in the target area in the screen is larger than the transmission rate per unit pixel block outside the target area from the video transmission device. The video data subjected to the compression process is received, the received video data is decompressed, and information for designating the region of interest is transmitted to the video transmission device.
本発明は、映像送信装置または映像受信装置の一部又は全部を実現する半導体集積回路として実現することもできる。 The present invention can also be realized as a semiconductor integrated circuit that realizes part or all of a video transmission device or a video reception device.
本発明によると、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to the present invention, real-time distribution of video data that retains the visual identity of the recognition target with the original video is possible.
[本願発明の実施形態の概要]
最初に本発明の実施形態の概要を列記して説明する。
(1)本発明の一実施形態に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。
[Outline of Embodiment of the Present Invention]
First, the outline of the embodiment of the present invention will be listed and described.
(1) A video transmission system according to an embodiment of the present invention includes a video transmission device that acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data. A video reception device that receives the compressed video data from the video transmission device and decompresses the received video data, and the video reception device includes a region of interest in a screen of the video data. Is transmitted to the video transmission device, and the video transmission device determines the transmission rate per unit pixel block in the region of interest based on the information received from the video reception device. The compression processing larger than the transmission rate per unit pixel block outside the region is performed on the acquired video data.
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(2)好ましくは、前記映像送信装置は、前記着目領域内の圧縮率が前記着目領域外の圧縮率よりも低い前記圧縮処理を、取得した前記映像データに対して行う。 (2) Preferably, the video transmission apparatus performs the compression process on the acquired video data in which the compression rate in the region of interest is lower than the compression rate outside the region of interest.
この構成によると、映像データの着目領域について圧縮率の低い低圧縮処理を施し、着目領域外の領域について圧縮率の高い高圧縮処理を施すことができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, it is possible to perform a low compression process with a low compression rate for the region of interest in the video data, and perform a high compression process with a high compression rate for regions outside the region of interest. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(3)さらに好ましくは、前記映像送信装置は、前記映像データの画面を分割した複数のブロックのうち前記着目領域内のブロックに対するブロックごとの圧縮処理、前記着目領域内の映像データに対する可逆圧縮処理、前記着目領域内の映像データに対する非圧縮処理の少なくとも1つの処理を含む前記圧縮処理を、取得した前記映像データに対して行う。 (3) More preferably, the video transmission apparatus performs block-by-block compression processing on a block in the region of interest among a plurality of blocks obtained by dividing the screen of the video data, and lossless compression processing on video data in the region of interest. Then, the compression processing including at least one processing of non-compression processing for the video data in the region of interest is performed on the acquired video data.
映像データの着目領域に対してブロックごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、H.265等の圧縮方式と比べて、低圧縮率でオリジナル映像との同一性を保持することができる。また、映像データの着目領域に対して可逆圧縮処理を施す場合には、オリジナル映像との同一性を保持することができる。さらに、映像データの着目領域に対して非圧縮処理を施す、つまり、圧縮処理を行わない場合にも、オリジナル映像との同一性を保持することができる。 When compression processing for each block is performed on the region of interest of the video data, the compression processing can be performed without using the intra-frame and inter-frame correlation. For this reason, H.C. Compared to a compression method such as H.265, it is possible to maintain the sameness with the original video at a low compression rate. In addition, when the lossless compression process is performed on the region of interest of the video data, the sameness as the original video can be maintained. Furthermore, even when non-compression processing is performed on the region of interest of the video data, that is, when compression processing is not performed, the sameness as the original video can be maintained.
(4)また、前記映像送信装置は、前記着目領域内のフレームレートが前記着目領域外のフレームレートよりも高い前記圧縮処理を、取得した前記映像データに対して行ってもよい。 (4) The video transmission device may perform the compression process on the acquired video data, in which a frame rate in the region of interest is higher than a frame rate outside the region of interest.
この構成によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, the transmission rate per unit pixel block outside the region of interest can be kept low by reducing the frame rate for the region outside the region of interest of the video data. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(5)また、前記映像受信装置は、ユーザ操作による前記着目領域を指定するための情報を、前記映像送信装置に送信してもよい。 (5) In addition, the video reception device may transmit information for designating the region of interest by a user operation to the video transmission device.
この構成によると、ユーザは、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。 According to this configuration, the user can view a high-definition video of the region of interest by designating the region of interest for which visual identity is desired to be maintained. That is, when the user designates a region of interest for which high-definition video data is to be viewed with respect to the video reception device, the designation information is transmitted from the video reception device to the video transmission device. The video transmitting apparatus can transmit the video data after the compression processing to the video receiving apparatus after performing a compression process that retains visual identity for the region of interest of the video data.
(6)また、前記映像受信装置は、前記伸長処理済みの前記映像データから所定の対象を認識する画像認識処理を行い、認識された前記所定の対象を含む領域を前記着目領域として、当該着目領域を指定するための情報を、前記映像送信装置に送信してもよい。 (6) Further, the video receiving apparatus performs image recognition processing for recognizing a predetermined target from the video data that has been subjected to the decompression process, and uses the recognized area as the target area as the target area. Information for designating an area may be transmitted to the video transmission apparatus.
この構成によると、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。このため、ユーザが着目領域に含まれる対象の高精細な映像を見たり、映像受信装置側で高精細な映像データに基づく処理を行うことができる。 According to this configuration, the region including the target recognized by the image recognition process can be set as the region of interest. Information for designating the region of interest is transmitted from the video receiver to the video transmitter. The video transmitting apparatus can transmit the video data after the compression processing to the video receiving apparatus after performing a compression process that retains visual identity for the region of interest of the video data. For this reason, the user can view a high-definition video of a target included in the region of interest, or perform processing based on high-definition video data on the video receiving device side.
(7)また、前記映像受信装置は、前記伸長処理済みの前記映像データから、前記着目領域の映像データを切り出してもよい。 (7) The video reception device may cut out video data of the region of interest from the video data that has been subjected to the decompression process.
この構成によると、映像受信装置において、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置に表示させることができる。 According to this configuration, the video receiving apparatus can cut out the video data of the region of interest and process the cut out video data. Thereby, for example, only the video data of the region of interest can be displayed on the display device.
(8)また、前記映像受信装置は、前記圧縮処理済みの前記映像データから、前記着目領域の映像データを切り出し、切り出した前記映像データに対して前記伸長処理を行ってもよい。 (8) The video receiving apparatus may cut out the video data of the region of interest from the video data that has been subjected to the compression processing, and may perform the expansion processing on the cut out video data.
この構成によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置に設けられる伸長処理のために必要なメモリの容量を削減することができる。 According to this configuration, after the video data of the region of interest is cut out, the decompression process can be performed only on the cut out video data. That is, there is no need to perform decompression processing on video data that has not been cut out. For this reason, it is possible to reduce the memory capacity required for the decompression process provided in the video reception device.
(9)本発明の他の実施形態に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。 (9) A video transmission device according to another embodiment of the present invention includes an acquisition unit that acquires video data, and reception that receives information for designating a region of interest in the screen of the video data from the video reception device. And the compression processing in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest, based on the information received by the receiving unit and the receiving unit A compression unit that performs the video data acquired by the unit, and a transmission unit that transmits the video data that has been compressed by the compression unit to the video reception device.
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(10)本発明の他の実施形態に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。 (10) A video reception device according to another embodiment of the present invention is configured such that a transmission rate per unit pixel block in a region of interest in a screen is a transmission rate per unit pixel block outside the region of interest from the video transmission device. A receiving unit that receives video data that has undergone a larger compression process, an expanding unit that expands the video data received by the receiving unit, and information for designating the area of interest to the video transmitting device. A transmission unit for transmission.
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から受信することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be received from the video transmission device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(11)本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。 (11) A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video transmission device. The computer program includes an acquisition unit that acquires video data and a video reception device. A receiving unit that receives information for designating a region of interest in the screen of the video data, and a transmission rate per unit pixel block in the region of interest based on the information received by the receiving unit. A compression unit that performs compression processing on the video data acquired by the acquisition unit that is larger than a transmission rate per unit pixel block outside the region, and the video data that has been compressed by the compression unit, It is made to function as a transmission part which transmits to a video receiver.
この構成によると、コンピュータを、上述した映像送信装置として機能させることができる。このため、上述した映像送信装置と同様の作用および効果を奏することができる。 According to this configuration, the computer can function as the video transmission device described above. For this reason, the same operation and effect as the above-mentioned video transmission device can be produced.
(12)本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。 (12) A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video reception device, and the computer is moved from the video transmission device to a unit in a region of interest in a screen. A receiving unit that receives video data subjected to compression processing in which a transmission rate per pixel block is larger than a transmission rate per unit pixel block outside the region of interest, and decompresses the video data received by the receiving unit The expansion unit and information for specifying the region of interest are caused to function as a transmission unit that transmits to the video transmission device.
この構成によると、コンピュータを、上述した映像受信装置として機能させることができる。このため、上述した映像受信装置と同様の作用および効果を奏することができる。 According to this configuration, the computer can function as the above-described video receiving device. For this reason, the same operation and effect as the above-described video receiving device can be obtained.
(13)本発明の他の実施形態に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。 (13) In the video distribution method according to another embodiment of the present invention, the video reception device transmits information for designating a region of interest in the screen to the video transmission device, and the video transmission device transmits the video. Information for designating the region of interest is received from a receiving device, the video transmitting device acquires video data, and the video transmitting device receives unit information in the region of interest based on the received information. The acquired video data is subjected to a compression process in which a transmission rate per block is larger than a transmission rate per unit pixel block outside the region of interest, and the video transmission device performs the compression-processed video data To the video receiving device, the video receiving device receives the compressed video data from the video transmitting device, and the video receiving device It said decompressing video data.
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(14)本発明の他の実施形態に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。 (14) A video transmission method according to another embodiment of the present invention obtains video data, receives information for designating a region of interest in a screen of the video data from a video reception device, and receives the received information. Based on the information, the obtained video data is subjected to compression processing in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest, and the compression The processed video data is transmitted to the video receiver.
この構成によると、上述の映像送信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像送信装置と同様の作用および効果を奏することができる。 According to this configuration, the processing corresponding to the processing unit included in the video transmission device described above is included as a step. For this reason, the same operation and effect as the above-mentioned video transmission device can be produced.
(15)本発明の他の実施形態に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。 (15) In a video receiving method according to another embodiment of the present invention, a transmission rate per unit pixel block in a region of interest in a screen is transmitted from a video transmission device per unit pixel block outside the region of interest. Video data that has been subjected to compression processing larger than that, receives the video data, expands the received video data, and transmits information for designating the region of interest to the video transmission apparatus.
この構成によると、上述の映像受信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像受信装置と同様の作用および効果を奏することができる。 According to this configuration, the processing corresponding to the processing unit provided in the above-described video reception device is included as a step. For this reason, the same operation and effect as the above-mentioned video receiving device can be produced.
[本願発明の実施形態の詳細]
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
[Details of the embodiment of the present invention]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Each of the embodiments described below shows a preferred specific example of the present invention. Numerical values, shapes, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. The invention is specified by the claims. Therefore, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are not necessarily required to achieve the object of the present invention. It will be described as constituting a preferred form.
また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。 Moreover, the same code | symbol is attached | subjected to the same component. Since their functions and names are also the same, their description will be omitted as appropriate.
(実施の形態1)
<映像伝送システムの全体構成>
図1は、本発明の実施の形態1に係る映像伝送システムの構成を示す図である。
図1を参照して、映像伝送システム1は、映像送信装置10と、映像受信装置20と、表示装置40とを備える。映像送信装置10と映像受信装置20とは、ネットワーク50を介して相互に接続される。表示装置40は、映像受信装置20に接続される。
(Embodiment 1)
<Overall configuration of video transmission system>
FIG. 1 is a diagram showing a configuration of a video transmission system according to
With reference to FIG. 1, the
映像送信装置10は、撮影対象を撮影した映像データを、ネットワーク50を介して映像受信装置20に送信する。
The
映像受信装置20は、映像送信装置10から映像データを受信し、受信した映像データを表示装置40に表示する。
The
映像送信装置10は、例えば、監視対象エリア2を撮影可能な位置に設置され、映像受信装置20および表示装置40は、例えば、管理事務所等に設置される。
For example, the
<映像送信装置10の構成>
図2は、本発明の実施の形態1に係る映像送信装置10の構成を示すブロック図である。
<Configuration of
FIG. 2 is a block diagram showing a configuration of
図2を参照して、映像受信装置20は、撮像部11と、取得部12と、ブロック分割部13と、データ分配部14と、圧縮部15と、符号化部16と、送信部17と、受信部18とを備える。
圧縮部15は、高圧縮部15Aと、低圧縮部15Bとを含む。
With reference to FIG. 2, the
The compression unit 15 includes a high compression unit 15A and a low compression unit 15B.
これらの処理部の一部または全部は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等の集積回路等を含むハードウェアにより実現される。ただし、これらの構成のうち、撮像部11を除く処理部の全部または一部は、コンピュータにより実現することができる。つまり、これらの処理部は、コンピュータが備えるCPU(Central Processing Unit)等の演算処理装置上で、コンピュータプログラムを実行することにより、機能的な処理部として実現される。
なお、撮像部11は、映像送信装置10とは別に設けられていてもよい。
Some or all of these processing units are realized by hardware including an integrated circuit such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA). However, all or a part of the processing units other than the
Note that the
撮像部11は、撮影対象の高精細映像を撮影する。映像には複数の画面が含まれる。例えば、60fps(frame per second)の映像データには、1秒当たり60枚の画面が含まれる。
The
より詳細には、撮像部11は、例えば、デュアルグリーン方式または4:2:2方式等に従って、8K UHDTVの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。
More specifically, the
デュアルグリーン方式に従って生成された60fpsの映像データの伝送レートは、例えば23.89Gbpsまたは19.91Gbpsである。また、4:2:2方式に従って生成された映像データの伝送レートは、例えば47.78Gbpsまたは39.81Gbpsである。 The transmission rate of 60 fps video data generated in accordance with the dual green method is, for example, 23.89 Gbps or 19.91 Gbps. The transmission rate of video data generated according to the 4: 2: 2 system is, for example, 47.78 Gbps or 39.81 Gbps.
取得部12は、撮像部11から、撮像部11が撮影した撮影対象の映像データを取得し、ブロック分割部13へ出力する。
The
ブロック分割部13は、取得部12から映像データを受けて1画面分の画像データを確保すると、確保した画面データの示す1画面を複数のブロックに分割する。
When the
具体的には、ブロック分割部13は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部13は、画面を1または複数の行ごとにスライスしたブロックに分割したり、1または複数の列ごとにスライスしたブロックに分割したり、縦n個×横m個(ここで、n,mは正の整数。)の画素を有するブロックに分割したりする。
Specifically, the
なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。 The shape of each block may be any shape. Moreover, the size of each block may be arbitrary. However, it is preferable to unify the shape and size of each block because convenience is enhanced. Further, the compression rate can be increased as the block size increases. However, since the processing load, the processing circuit, the memory capacity required for processing, and the processing time increase, it is preferable to set the size appropriately.
ブロック分割部13は、ブロックにおける画像データ(以下、ブロックデータとも称する。)をブロックの画面における位置順にデータ分配部14へ出力する。
The
データ分配部14は、ブロック分割部13から受けるブロックデータを分配する。より詳細には、データ分配部14は、後述する着目領域を指定するための情報(以下、「着目領域指定情報」とも称する。)を参照して、各ブロックデータが属するブロックが、着目領域に含まれているか否かを判断する。着目領域は、映像受信装置20または映像受信装置20のユーザが着目している領域である。なお、画面全体を着目領域とすることも可能である。また、画面内に着目領域が存在しない場合もある。
Data distribution unit 14 distributes block data received from
データ分配部14は、当該ブロックが着目領域に含まれていると判断した場合、つまり、当該ブロックが着目領域内に位置すると判断した場合には、当該ブロックのブロックデータを低圧縮部15Bへ出力する。なお、画面全体が着目領域の場合には、データ分配部14は、1画面に含まれる全てのブロックのブロックデータを、低圧縮部15Bへ出力する。一方、画面内に着目領域が存在しない場合には、データ分配部14は、当該画面については、何らのデータも低圧縮部15Bへ出力しない。 If the data distribution unit 14 determines that the block is included in the region of interest, that is, if the data distribution unit 14 determines that the block is located in the region of interest, the block data of the block is output to the low compression unit 15B. To do. If the entire screen is the region of interest, the data distribution unit 14 outputs block data of all blocks included in one screen to the low compression unit 15B. On the other hand, when there is no region of interest in the screen, the data distribution unit 14 does not output any data to the low compression unit 15B for the screen.
また、データ分配部14は、当該ブロックが着目領域に含まれていないと判断した場合、つまり、当該ブロックが着目領域外に位置すると判断した場合には、当該ブロックのブロックデータを高圧縮部15Aへ出力する。なお、画面全体が着目領域の場合には、データ分配部14は、当該画面については、何らのデータも高圧縮部15Aへ出力しない。一方、画面内に着目領域が存在しない場合には、データ分配部14は、1画面に含まれる全てのブロックのブロックデータを、高圧縮部15Aへ出力する。 If the data distribution unit 14 determines that the block is not included in the region of interest, that is, if the data distribution unit 14 determines that the block is located outside the region of interest, the data distribution unit 14 converts the block data of the block to the high compression unit 15A. Output to. When the entire screen is the region of interest, the data distribution unit 14 does not output any data to the high compression unit 15A for the screen. On the other hand, when there is no region of interest in the screen, the data distribution unit 14 outputs block data of all blocks included in one screen to the high compression unit 15A.
なお、データ分配部14は、ブロックの一部が着目領域に含まれていれば、当該ブロックは着目領域に含まれていると判断することができる。 Note that if a part of the block is included in the region of interest, the data distribution unit 14 can determine that the block is included in the region of interest.
高圧縮部15Aは、データ分配部14からブロックデータを受け、低圧縮部15Bに比べて高い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。例えば、高圧縮部15Aは、JPEG2000と呼ばれる圧縮方式に従ってブロックデータを圧縮してもよい。なお、高圧縮部15Aの圧縮方式は、JPEG2000に限定されるものではなく、低圧縮部15Bに比べて圧縮率が高い方式であれば、それ以外の方法であってもよい。 The high compression unit 15A receives block data from the data distribution unit 14 and compresses the block data according to a compression method with a higher compression ratio than the low compression unit 15B. For example, the high compression unit 15A may compress the block data in accordance with a compression method called JPEG2000. Note that the compression method of the high compression unit 15A is not limited to JPEG2000, and any other method may be used as long as the compression rate is higher than that of the low compression unit 15B.
低圧縮部15Bは、データ分配部14からブロックデータを受け、高圧縮部15Aに比べて低い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。低圧縮部15Bは、例えば、圧縮後のサイズを設定することが可能な、Visually Lossless CompressionまたはVisually Reversible Compressionと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。低圧縮部15Bにおいて用いられる非可逆圧縮のアルゴリズムは、例えば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。映像データの着目領域に対してブロックデータごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、H.265等の圧縮方式と比べて低圧縮率であり、オリジナル映像との視覚的な同一性を保持することができる。ここで、オリジナル映像との視覚的な同一性が保持されるとは、ユーザが圧縮前の映像と圧縮および伸長後の映像とを見比べた場合に、その差がほとんど分からないことを言う。 The low compression unit 15B receives block data from the data distribution unit 14 and compresses the block data according to a compression method with a lower compression rate than the high compression unit 15A. The low compression unit 15B irreversibly compresses block data using, for example, an algorithm called Visually Loss Compression or Visually Reversible Compression that can set the size after compression. The lossy compression algorithm used in the low compression unit 15B is mounted on, for example, a dedicated semiconductor integrated circuit. Here, irreversible compression is compression that makes it impossible to return the block data after compression to the block data before compression. When the compression process for each block data is performed on the region of interest of the video data, the compression process can be performed without using the intra-frame and inter-frame correlation. For this reason, H.C. Compared to a compression method such as H.265, the compression rate is low, and the visual identity with the original video can be maintained. Here, maintaining the visual identity with the original video means that when the user compares the video before compression with the video after compression and expansion, the difference is hardly known.
なお、低圧縮部15Bは、可逆圧縮のアルゴリズムを用いてブロックデータを圧縮することも可能である。この場合には、オリジナル映像との同一性を保持することができる。 Note that the low compression unit 15B can also compress the block data using a lossless compression algorithm. In this case, identity with the original video can be maintained.
また、低圧縮部15Bは、ブロックデータを圧縮しない非圧縮処理を行ってもよい。つまり、低圧縮部15Bは、データ分配部14から受けたブロックデータを圧縮せずに出力してもよい。この場合にも、オリジナル映像との同一性を保持することができる。 The low compression unit 15B may perform non-compression processing that does not compress block data. That is, the low compression unit 15B may output the block data received from the data distribution unit 14 without compression. Also in this case, the identity with the original video can be maintained.
なお、高圧縮部15Aおよび低圧縮部15Bにおいて用いられるアルゴリズムは、例えば、専用の半導体集積回路に実装されるのが望ましい。なお、これらのアルゴリズムに基づくコンピュータプログラムを、コンピュータのCPUやFPGAのCPUコア等の演算処理装置上で実行することにより、高圧縮部15Aおよび低圧縮部15Bが実現されてもよい。 Note that the algorithm used in the high compression unit 15A and the low compression unit 15B is preferably mounted on, for example, a dedicated semiconductor integrated circuit. Note that the high compression unit 15A and the low compression unit 15B may be realized by executing a computer program based on these algorithms on an arithmetic processing unit such as a CPU of a computer or a CPU core of an FPGA.
圧縮部15は、圧縮方法および圧縮時のパラメータ(以下、「圧縮パラメータ」とも称する)を示す圧縮情報を、圧縮処理後のブロックデータに付加する。具体的には、圧縮部15は、高圧縮部15Aによる圧縮処理後のブロックデータに圧縮情報Hを付加し、低圧縮部15Bによる圧縮処理後のブロックデータに圧縮情報Lを付加する。ただし、映像受信装置20が圧縮パラメータを事前に知っている場合には、圧縮パラメータを映像受信装置20に通知する必要がない。このため、このような場合には、圧縮部15は、圧縮情報Hまたは圧縮情報Lに、圧縮パラメータを含める必要はない。また、映像受信装置20が、さらに圧縮方法も知っている場合には、圧縮情報の付加すら必要ない。
The compression unit 15 adds compression information indicating a compression method and compression parameters (hereinafter also referred to as “compression parameters”) to the block data after compression processing. Specifically, the compression unit 15 adds the compression information H to the block data after the compression processing by the high compression unit 15A, and adds the compression information L to the block data after the compression processing by the low compression unit 15B. However, when the
圧縮部15は、圧縮情報が付加されたブロックデータを、符号化部16へ出力する。以下、高圧縮部15Aまたは低圧縮部15Bで圧縮されたブロックデータを、「圧縮ブロックデータ」とも称する。
The compression unit 15 outputs the block data to which the compression information is added to the
符号化部16は、圧縮部15から、圧縮情報が付加された圧縮ブロックデータを受け、当該圧縮ブロックデータを符号化する。符号化部16は、符号化された圧縮ブロックデータを送信部17へ出力する。
The
送信部17は、通信インタフェースを含んで構成され、符号化部16から、符号化された圧縮ブロックデータを受け、当該圧縮ブロックデータを、ネットワーク50を介して、映像受信装置20に送信する。
The transmission unit 17 includes a communication interface, receives the encoded compressed block data from the
受信部18は、通信インタフェースを含んで構成され、着目領域指定情報を、ネットワーク50を介して映像受信装置20から受信する。受信部18は、受信した着目領域指定情報をデータ分配部14へ出力する。
The receiving unit 18 includes a communication interface, and receives attention area designation information from the
<映像受信装置20の構成>
図3は、本発明の実施の形態1に係る映像受信装置20の構成を示すブロック図である。
<Configuration of
FIG. 3 is a block diagram showing a configuration of
映像受信装置20は、受信部21と、復号化部22と、伸長部23と、方式処理部24と、ブロック合成部25と、切出し部26と、表示制御部27と、画像認識部28と、着目領域決定部29と、位置情報取得部30と、送信部31とを備える。ただし、これらの処理部の一部または全部が、ASICまたはFPGA等の半導体集積回路等を含むハードウェアにより実現されていてもよい。
The
なお、映像受信装置20は、CPU、RAM(Random Access Memory)およびROM(Read Only Memory)等を備えるコンピュータにより実現することもできる。CPU等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。
The
受信部21は、通信インタフェースを含んで構成される。受信部21は、ネットワーク50を介して映像送信装置10から、1画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。より詳細には、受信部21は、符号化された圧縮ブロックデータを位置順に受信する。
The receiving
復号化部22は、受信部21が受信した圧縮ブロックデータを、受信部21から受け、受けた圧縮ブロックデータを復号化する。
The
復号化部22は、復号化した圧縮ブロックデータから圧縮情報Hまたは圧縮情報Lを取得し、圧縮情報Hまたは圧縮情報Lを取り除いた圧縮ブロックデータを位置順に伸長部23へ出力するとともに、取得した圧縮情報Hまたは圧縮情報Lを位置順に方式処理部24へ出力する。
The
方式処理部24は、復号化部22から圧縮情報Hを受ける場合、受けた圧縮情報Hから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23へ通知する。なお、伸長部23が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部24は、知っている情報を圧縮情報Hから取得したり、伸長部23へ通知したりする必要はない。
When receiving the compression information H from the
一方、方式処理部24は、復号化部22から圧縮情報Lを受ける場合、受けた圧縮情報Lから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23へ通知する。なお、伸長部23が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部24は、知っている情報を圧縮情報Lから取得したり、伸長部23へ通知したりする必要はない。
On the other hand, when receiving the compression information L from the
伸長部23は、方式処理部24から通知された圧縮方法に従って、方式処理部24から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。なお、伸長部23において用いられるアルゴリズムは、例えば、FPGAや専用の半導体集積回路に実装されるのが望ましい。
The
ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる。ブロック合成部25は、完成させた1画面を示す画像データを、切出し部26、表示制御部27および画像認識部28へ出力する。
The
切出し部26は、ブロック合成部25から取得した1画面の画像データの中から、後述する着目領域決定部29が決定した着目領域の画像データを切り出す。切出し部26は、切り出した着目領域の画像データを、表示制御部27および画像認識部28へ出力する。なお、画面全体が着目領域とされる場合には、切り出し部26は、上述の切り出し処理を行わずに、1画面の画像データを、表示制御部27および画像認識部28へ出力する。一方、画面内に着目領域が存在しない場合には、切り出し部26は、上述の切り出し処理を行わずに、何らのデータも、表示制御部27および画像認識部28へ出力しない。
The
表示制御部27は、ブロック合成部25から画像データを受けると、受けた画像データの示す1画面を所定のフレーム周期で表示装置40に表示させる制御を行う。また、表示制御部27は、必要に応じて、切出し部26が切り出した着目領域の画像データを、1画面に重畳して表示させる制御を行ってもよい。また、表示制御部27は、着目領域の画像データのみを表示装置40に表示させる制御を行ってもよい。
When the
画像認識部28は、ブロック合成部25から取得した1画面の画像データまたは切出し部26から受けた着目領域の画像データに基づいて、認識対象の抽出を行う。例えば、監視対象エリア2から不審者を認識対象として抽出する場合には、画像認識部28は、背景差分法やフレーム間差分法を用いて認識対象を抽出する。なお、画像認識部28は、認識対象が抽出された後のフレームの画像データにおいては、切出し部26が切り出した着目領域の画像データまたは着目領域を含む着目領域の周囲の画像データに基づいて、認識対象の抽出を行ってもよい。これにより、抽出された認識対象の周囲を効率よく画像認識することができる。画像認識部28は、抽出した認識対象の領域情報を着目領域決定部29へ出力する。
The image recognition unit 28 extracts a recognition target based on one-screen image data acquired from the
着目領域決定部29は、画像認識部28から認識対象の領域情報を取得し、取得した領域情報に基づいて、着目領域を決定する。例えば、着目領域決定部29は、取得した領域情報が示す認識対象を含む矩形領域を着目領域として決定する。矩形領域には、着目領域との間に設けられた一定幅のマージンが含まれていてもよい。なお、認識対象を含む矩形領域が画面全体と同じ場合には、着目領域決定部29は、画面全体を着目領域として決定する。また、画像認識部28による認識処理の結果、認識対象が抽出されなかった場合には、着目領域決定部29は、着目領域を決定しない。これにより、画面内に着目領域が存在しないことになる。
The attention
なお、着目領域決定部29は、ユーザが指定し、位置情報取得部30が取得した着目領域の位置情報に基づいて、着目領域を決定してもよい。例えば、着目領域決定部29は、位置情報として、着目領域の左上隅座標と右下隅座標の情報を取得した場合には、取得した左上隅座標および右下隅座標で規定される矩形領域を着目領域として決定する。なお、ユーザは、画面全体を着目領域として指定することも可能であるし、着目領域を指定しないことも可能である。
Note that the attention
着目領域決定部29は、決定した着目領域を指定するための着目領域指定情報を送信部31へ出力する。例えば、着目領域決定部29は、着目領域の左上隅座標と右下隅座標の情報を着目領域指定情報として送信部31へ出力する。
The attention
位置情報取得部30は、ユーザがマウスやキーボード等を操作して指定した着目領域の位置情報を取得し、取得した位置情報を着目領域決定部29へ出力する。
The position
送信部31は、着目領域決定部29から受けた着目領域指定情報を、ネットワーク50を介して映像送信装置10へ送信する。
The
<映像伝送システム1の処理シーケンス>
図4は、映像伝送システム1が実行する処理のシーケンスを示す図である。
映像伝送システム1は、図4に示すシーケンス処理を繰り返し実行する。
映像受信装置20は、映像送信装置10に対して着目領域指定情報を送信し、映像送信装置10は、映像受信装置20から着目領域指定情報を受信する(S1)。なお、ユーザによる着目領域の指定が無い場合や、映像受信装置20の画像認識部28により認識対象が抽出されなかった場合などには、着目領域指定情報の送受信は行われなくてもよい。
<Processing sequence of
FIG. 4 is a diagram illustrating a sequence of processing executed by the
The
The
図5は、圧縮処理前の画像データと着目領域との一例を示す図である。
例えば、映像受信装置20の受信部18は、図5に示す1画面の画像データ60中の着目領域70を指定する着目領域指定情報を、受信したものとする。
FIG. 5 is a diagram illustrating an example of image data before compression processing and a region of interest.
For example, it is assumed that the receiving unit 18 of the
再度図4を参照して、映像送信装置10の取得部12は、撮像部11が監視対象エリア2を撮影することにより得られた1画面分の画像データを取得する(S2)。
Referring to FIG. 4 again, the
映像送信装置10のブロック分割部13、データ分配部14および圧縮部15は、取得部12が取得した1画面分の画像データについて、ブロックデータ毎に圧縮処理を実行する(S3)。圧縮処理の詳細については図8を参照して後述する。
The
映像送信装置10の符号化部16は、1画面分の圧縮ブロックデータを符号化する(S4)。
The
映像送信装置10の送信部17は、1画面分の符号化済みの圧縮ブロックデータを、映像受信装置20に送信し、映像受信装置20の受信部21は、圧縮ブロックデータを受信する(S5)。
The transmission unit 17 of the
映像受信装置20の復号化部22は、受信した1画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に復号化する(S6)。
The
映像受信装置20の伸長部23、方式処理部24およびブロック合成部25は、復号化された1画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に伸長する(S7)。伸長処理の詳細については図9を参照して後述する。
The
映像受信装置20の切出し部26は、伸長処理により得られた1画面の画像データから、着目領域の画像データを切り出す(S8)。
The
図6は、伸長処理後の画像データと着目領域との一例を示す図である。
例えば、映像受信装置20の切出し部26は、図6に示す1画面の画像データ61の中から、着目領域71の画像データを切り出す。
FIG. 6 is a diagram illustrating an example of image data after expansion processing and a region of interest.
For example, the
再度図4を参照して、表示制御部27は、1画面の画像データ61に、着目領域71の画像データを重畳させた画像データを、表示装置40に表示させる(S9)。
Referring to FIG. 4 again, the
図7は、表示装置40に表示される画像データの一例を示す図である。
例えば、表示装置40は、図7に示すような画像データ62を、表示装置40に表示させる。つまり、表示装置40は、図6に示した画像データ61に、着目領域71の画像データを、画像データ63として重畳させた画像データ62を、表示装置40に表示させる。画像データ63は、着目領域71の画像データを拡大したものである。ただし、画像データ63は、着目領域71の画像データそのものであってもよい。
FIG. 7 is a diagram illustrating an example of image data displayed on the
For example, the
再度図4を参照して、映像受信装置20の画像認識部28は、切り出した着目領域71の画像データに基づいて、認識対象の抽出を行う。(S10)。
Referring to FIG. 4 again, the image recognition unit 28 of the
認識対象が抽出された場合には(S10でYES)、映像受信装置20の着目領域決定部29は、認識対象の位置に応じて、着目領域を更新する(S11)。
When the recognition target is extracted (YES in S10), the attention
また、ユーザにより着目領域が指定された場合には(S12でYES)、映像受信装置20の着目領域決定部29は、着目領域を、指定された着目領域に更新する(S13)。
When the attention area is designated by the user (YES in S12), the attention
ステップS11またはS13において更新された着目領域を指定するための着目領域指定情報は、ステップS1において、映像受信装置20から映像送信装置10に送信される。
The region-of-interest designation information for designating the region of interest updated in step S11 or S13 is transmitted from the
図8は、圧縮処理(図4のステップS3)の詳細を示すフローチャートである。
図2および図8を参照して、ブロック分割部13は、取得部12が取得した1画面分の画像データを、複数のブロックデータに分割する(S21)。
FIG. 8 is a flowchart showing details of the compression process (step S3 in FIG. 4).
2 and 8, the
映像送信装置10は、分割後の各ブロックデータに対して、以下に説明するステップS22〜S26の処理を実行する(ループA)。
The
つまり、データ分配部14は、着目領域指定情報取得処理(図4のステップS1)で取得された着目領域指定情報を参照して、処理対象のブロックデータが属するブロックが着目領域に含まれているか否かを判定する(S22)。 That is, the data distribution unit 14 refers to the attention area designation information acquired in the attention area designation information acquisition process (step S1 in FIG. 4), and whether the block to which the block data to be processed belongs is included in the attention area. It is determined whether or not (S22).
該ブロックが着目領域に含まれていると判定された場合には(S22でYES)、データ分配部14は、処理対象のブロックデータを低圧縮部15Bに出力し、低圧縮部15Bは、該ブロックデータに対して圧縮処理を施す(S23)。 If it is determined that the block is included in the region of interest (YES in S22), the data distribution unit 14 outputs the block data to be processed to the low compression unit 15B, and the low compression unit 15B A compression process is performed on the block data (S23).
圧縮部15は、低圧縮部15Bによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Lを付加する(S24)。 The compression unit 15 adds the compression information L to the compressed block data that is the block data that has been compressed by the low compression unit 15B (S24).
一方、該ブロックが着目領域に含まれていないと判定された場合には(S22でNO)、データ分配部14は、処理対象のブロックデータを高圧縮部15Aに出力し、高圧縮部15Aは、該ブロックデータに対して圧縮処理を施す(S25)。 On the other hand, if it is determined that the block is not included in the region of interest (NO in S22), the data distribution unit 14 outputs the block data to be processed to the high compression unit 15A, and the high compression unit 15A Then, compression processing is performed on the block data (S25).
圧縮部15は、高圧縮部15Aによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Hを付加する(S26)。 The compression unit 15 adds the compression information H to the compressed block data that is the block data that has been compressed by the high compression unit 15A (S26).
以上説明した圧縮処理(図4のステップS3、図8)により、図5に示す画像データ60中の着目領域70に含まれるブロックデータが、着目領域70に含まれないブロックデータよりも低圧縮率の圧縮方式で圧縮される。つまり、着目領域70に含まれるブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持される方式で圧縮される。一方、着目領域70に含まれないブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持されるか否かに拘わらず伝送レートを抑えるように圧縮される。
By the compression processing described above (step S3 in FIG. 4 and FIG. 8), the block data included in the
図9は、伸長処理(図4のステップS7)の詳細を示すフローチャートである。
図3および図9を参照して、映像受信装置20は、1画面を構成する各圧縮ブロックデータに対して、以下に説明するステップS31〜S34の処理を実行する(ループB)。
FIG. 9 is a flowchart showing details of the decompression process (step S7 in FIG. 4).
Referring to FIGS. 3 and 9,
つまり、方式処理部24は、復号化部22が復号化した圧縮ブロックデータに付加された圧縮情報を復号化部22から受け、当該圧縮情報が圧縮情報Lであるか否かを判定する(S31)。
That is, the
圧縮ブロックデータに付加された圧縮情報が圧縮情報Lであると判定された場合には(S31でYES)、方式処理部24は、伸長部23に対して圧縮情報Lが示す圧縮方法および圧縮パラメータを伸長部23に通知し、伸長部23は、方式処理部24から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する(S32)。
If it is determined that the compression information added to the compressed block data is the compression information L (YES in S31), the
圧縮ブロックデータに付加された圧縮情報が圧縮情報Lではないと判定された場合には(S31でNO)、方式処理部24は、圧縮ブロックデータに付加された圧縮情報が圧縮情報Hであるか否かを判定する(S33)。
If it is determined that the compression information added to the compressed block data is not the compressed information L (NO in S31), the
圧縮ブロックデータに付加された圧縮情報が圧縮情報Hであると判定された場合には(S33でYES)、方式処理部24は、伸長部23に対して圧縮情報Hが示す圧縮方法および圧縮パラメータを伸長部23に通知し、伸長部23は、方式処理部24から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する(S34)。
When it is determined that the compression information added to the compressed block data is the compression information H (YES in S33), the
ループBの処理の後、ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる(S35)。
After the processing of Loop B, the
以上説明した伸長処理(図4のステップS7、図9)により、図6に示すような画像データ61が生成される。つまり、画像データ61中の着目領域71に含まれるブロックデータは、映像送信装置10での圧縮前の画像データと視覚的な同一性が保持される。一方、画像データ61中の着目領域71に含まれないブロックデータは、映像送信装置10での圧縮前のブロックデータと視覚的な同一性が保持されず、例えば、圧縮前のブロックデータをぼかして分解能を低下させた映像が得られる。
<実施の形態1の効果>
以上説明したように、本発明の実施の形態1によると、着目領域に含まれるブロックデータが、着目領域に含まれないブロックデータよりも低い圧縮率で圧縮される。これにより、着目領域内の単位画素ブロック(m×n画素、m、nは自然数)当たりのデータ量が、着目領域外の単位画素ブロック当たりのデータ量よりも大きくなるような圧縮処理が施される。つまり、映像受信装置20側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置10から映像受信装置20に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
<Effect of
As described above, according to
また、ユーザは、映像受信装置20を操作して、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置20に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置20から映像送信装置10に対して送信される。映像送信装置10は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置20に送信することができる。
In addition, the user can view a high-definition video of the target area by operating the
また、映像受信装置20は、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置20から映像送信装置10に対して送信される。映像送信装置10は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置20に送信することができる。このため、ユーザは、着目領域に含まれる対象の高精細な映像を見ることができる。また、映像受信装置20または映像受信装置20に接続された装置で、高精細な映像データに基づく処理を行うことができる。
In addition, the
また、映像受信装置20は、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置40に表示させることができる。
In addition, the
(実施の形態2)
実施の形態1では、着目領域に含まれない画像データを、着目領域に含まれる画像データよりも高い圧縮率で圧縮することにより、伝送レートを抑えることとした。これに対し、実施の形態2では、着目領域に含まれない画像データのフレームレートを、着目領域に含まれる画像データのフレームレートよりも低くすることにより伝送レートを抑える。
(Embodiment 2)
In the first embodiment, the transmission rate is suppressed by compressing the image data not included in the region of interest at a higher compression rate than the image data included in the region of interest. In contrast, in the second embodiment, the transmission rate is suppressed by making the frame rate of image data not included in the region of interest lower than the frame rate of image data included in the region of interest.
実施の形態2に係る映像伝送システム1、映像送信装置10および映像受信装置20の構成は、実施の形態1と同様である。
The configurations of the
ただし、映像送信装置10および映像受信装置20が実行する処理が、実施の形態1と一部異なる。
However, the processes executed by the
つまり、映像送信装置10の高圧縮部15Aは、データ分配部14からブロックデータを受け、受けたブロックデータをフレーム間引きして、実施の形態1と同様の圧縮処理を行った後、出力する。例えば、高圧縮部15Aは、kフレーム(kは2以上の整数)につき、1フレームのブロックデータを圧縮処理し、残りの(k−1)フレームのブロックデータについては廃棄する。
That is, the high compression unit 15A of the
一方、映像送信装置10の低圧縮部15Bは、実施の形態1と同様に、データ分配部14から受けたブロックデータをフレーム間引きすることなく圧縮処理する。
On the other hand, as in the first embodiment, the low compression unit 15B of the
図10は、本発明の実施の形態2に係る高圧縮部15Aおよび低圧縮部15Bによるブロックデータの圧縮処理を説明するための図である。
FIG. 10 is a diagram for explaining block data compression processing by the high compression unit 15A and the low compression unit 15B according to
図10を参照して、低圧縮部15Bは、着目領域72に含まれるブロックデータについて、フレーム間引きすることなく圧縮処理する。一方、高圧縮部15Aは、着目領域72に含まれないブロックデータについては、フレーム間引きして圧縮処理する。例えば、高圧縮部15Aは、画像データ64および65の間のフレームについては間引き、画像データ64および65のそれぞれの着目領域72に含まれないブロックデータについて圧縮処理を行う。
Referring to FIG. 10, the low compression unit 15B compresses the block data included in the region of
映像受信装置20のブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる。ただし、ブロック合成部25は、フレーム間引きされることによりブロックデータが存在しないブロックについては、過去フレームの同じブロックのブロックデータを代わりに用いて1画面を完成させる。
The
以上説明したように、実施の形態2によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。 As described above, according to the second embodiment, the transmission rate per unit pixel block outside the region of interest can be kept low by reducing the frame rate for the region outside the region of interest of the video data. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.
(変形例)
実施の形態1および2で説明した映像受信装置20は、圧縮ブロックデータを伸長し、1画面分のブロックデータを合成して画像データを作成した後に、着目領域の画像データを切り出した。しかし、着目領域の画像データのみを表示する場合のように、着目領域の画像データのみが必要で、着目領域外の画像データが不必要な場合には、必要な着目領域のブロックデータのみを伸長するようにしてもよい。
(Modification)
The
図11は、本発明の変形例に係る映像受信装置の構成を示すブロック図である。
映像受信装置20Aは、映像受信装置20と同様に、コンピュータにより実現することができる。
FIG. 11 is a block diagram showing a configuration of a video receiving apparatus according to a modified example of the present invention.
The
ただし、映像受信装置20と異なり、復号化部22と伸長部23との間に切出し部26が設けられている。
However, unlike the
つまり、切出し部26は、復号化部22が復号した1画面分の圧縮ブロックデータのうち、着目領域決定部29が決定した着目領域に含まれる圧縮ブロックデータを切り出し、切り出した圧縮ブロックデータから圧縮情報Hまたは圧縮情報Lを取り除いた圧縮ブロックデータを位置順に伸長部23に出力する。また、切出し部26は、切り出した圧縮ブロックデータから取り除いた圧縮情報Hまたは圧縮情報Lを、位置順に方式処理部24に出力する。
That is, the
方式処理部24は、切出し部26から受けた圧縮情報Hまたは圧縮情報Lから、圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23に通知する。
The
伸長部23は、方式処理部24から通知された圧縮方法に従って、方式処理部24から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。これにより、伸長部23は、切出し部26が切り出した着目領域に含まれる圧縮ブロックデータのみを伸長することができる。
The
ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより着目領域の画面を完成させる。ブロック合成部25は、完成させた着目領域の画面を示す画像データを、表示制御部27および画像認識部28に出力する。
The
表示制御部27は、ブロック合成部25から画像データを受けると、受けた画像データの示す着目領域の画面を所定のフレーム周期で表示装置40に表示させる制御を行う。
When the
画像認識部28は、伸長部23から取得した着目領域の画像データに基づいて、認識対象の抽出を行う。
The image recognition unit 28 extracts a recognition target based on the image data of the region of interest acquired from the
本変形例によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置20に設けられる伸長処理のために必要なメモリの容量を削減することができる。
According to this modification, after the video data of the region of interest is cut out, the decompression process can be performed only on the cut out video data. That is, there is no need to perform decompression processing on video data that has not been cut out. For this reason, it is possible to reduce the memory capacity required for the decompression process provided in the
(付記)
以上、本発明の実施の形態に係る映像伝送システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
(Appendix)
Although the video transmission system according to the embodiment of the present invention has been described above, the present invention is not limited to this embodiment.
上述の実施の形態および変形例では、圧縮部15は、高圧縮部15Aおよび低圧縮部15Bからなる圧縮率の異なる2つの圧縮部を備えることとしたが、圧縮部15は、圧縮率の異なる3つ以上の圧縮部を備えていてもよい。例えば、圧縮部15は、高圧縮部15Aおよび低圧縮部15Bに加えて、高圧縮部15Aよりも圧縮率が低く、かつ低圧縮部15Bよりも圧縮率の高い中圧縮部を備えていてもよい。圧縮部15は、中圧縮部による圧縮処理後のブロックデータに圧縮情報Mを付加する。これに伴い、映像受信装置20(20A)の着目領域決定部29が決定する着目領域が、低圧縮部15Bによる圧縮対象とされる第1着目領域と、中圧縮部による圧縮対象とされる第2着目領域とに分かれていてもよい。例えば、例えば、人物領域のうち特に重要な顔部分を第1着目領域として指定することにより、顔部分の画像を低い圧縮率で圧縮し、顔部分に比べ重要度の低い胴体部分を第2着目領域として指定することにより、胴体部分の画像を中程度の圧縮率で圧縮することができる。これにより、配信される映像データのデータ量を減少させつつ、重要な部分については、オリジナル映像との視覚的な同一性を保持することができる。
In the above-described embodiment and modification, the compression unit 15 includes the two compression units having different compression ratios including the high compression unit 15A and the low compression unit 15B. However, the compression unit 15 has different compression ratios. Three or more compression units may be provided. For example, the compression unit 15 may include an intermediate compression unit having a lower compression ratio than the high compression unit 15A and a higher compression ratio than the low compression unit 15B in addition to the high compression unit 15A and the low compression unit 15B. Good. The compression unit 15 adds the compression information M to the block data after the compression processing by the medium compression unit. Accordingly, the target area determined by the target
また、映像伝送システムに含まれる映像送信装置および映像受信装置を構成する構成要素の一部または全部は、1個のシステムLSI、ASICまたはFPGAなどの半導体装置から構成されているとしてもよい。ここで、システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。例えば、本開示は、付記1または付記2として実現することもできる。
Further, some or all of the components constituting the video transmission device and the video reception device included in the video transmission system may be configured by a single semiconductor device such as a system LSI, ASIC, or FPGA. Here, the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, the system LSI includes a microprocessor, a ROM, a RAM, and the like. System. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program. For example, the present disclosure can be realized as
<付記1>
映像送信装置から受信した映像データであって、画面内の着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された上記映像データを伸長する伸長部と、
上記着目領域を指定するための情報を、上記映像送信装置に送信する送信部とを備える、半導体装置。
<
The video data received from the video transmission device, wherein the transmission rate per unit pixel block in the target area in the screen is compressed higher than the transmission rate per unit pixel block outside the target area A decompression unit for decompressing video data;
A semiconductor device comprising: a transmission unit that transmits information for designating the region of interest to the video transmission device.
<付記2>
映像データを取得する取得部と、
映像受信装置から受信した上記映像データの画面内の着目領域を指定するための情報に基づいて、上記着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、上記取得部が取得した上記映像データに対して行う圧縮部とを備える、半導体装置。
<
An acquisition unit for acquiring video data;
Based on the information for designating the target area in the screen of the video data received from the video receiver, the transmission rate per unit pixel block in the target area is the transmission per unit pixel block outside the target area. A semiconductor device comprising: a compression unit that performs compression processing greater than a rate on the video data acquired by the acquisition unit.
また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。 Further, the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer.
さらに、本発明は、上記コンピュータプログラムをコンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD−ROM、半導体メモリなどに記録したものとしてもよい。 Furthermore, the present invention may be a computer-readable non-transitory recording medium such as an HDD, a CD-ROM, or a semiconductor memory.
また、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記各装置は、複数のコンピュータにより実現されてもよい。
Further, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
Each of the above devices may be realized by a plurality of computers.
また、上記各装置の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、映像受信装置20の画像認識部28の機能がクラウドサーバにより実現され、映像受信装置20は、クラウドサーバに対して切出し部26が切り出した画像データを送信し、クラウドサーバから画像認識結果を取得する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
In addition, some or all of the functions of each of the above devices may be provided by cloud computing. That is, some or all of the functions of each device may be realized by the cloud server. For example, the function of the image recognition unit 28 of the
Furthermore, the above embodiment and the above modification examples may be combined.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 映像伝送システム
2 監視対象エリア
10 映像送信装置
11 撮像部
12 取得部
13 ブロック分割部
14 データ分配部
15 圧縮部
15A 高圧縮部
15B 低圧縮部
16 符号化部
17 送信部
18 受信部
20 映像受信装置
20A 映像受信装置
21 受信部
22 復号化部
23 伸長部
24 方式処理部
25 ブロック合成部
26 切出し部
27 表示制御部
28 画像認識部
29 着目領域決定部
30 位置情報取得部
31 送信部
40 表示装置
50 ネットワーク
DESCRIPTION OF
Claims (15)
前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、
前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、
前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う
映像伝送システム。 A video transmission device that acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data;
A video reception device that receives the compressed video data from the video transmission device and performs a decompression process on the received video data;
The video reception device transmits information for designating a region of interest in the screen of the video data to the video transmission device,
The video transmission device, based on the information received from the video reception device, the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest. A video transmission system for performing processing on the acquired video data.
請求項1に記載の映像伝送システム。 The video transmission system according to claim 1, wherein the video transmission device performs the compression process on the acquired video data, in which a compression rate in the region of interest is lower than a compression rate outside the region of interest.
請求項2に記載の映像伝送システム。 The video transmission device includes: a block-by-block compression process for blocks in the target area among a plurality of blocks obtained by dividing the screen of the video data; a lossless compression process for video data in the target area; and a video in the target area The video transmission system according to claim 2, wherein the compression processing including at least one of non-compression processing for data is performed on the acquired video data.
請求項1〜請求項3のいずれか1項に記載の映像伝送システム。 The said video transmission apparatus performs the said compression process with a frame rate in the said attention area higher than a frame rate outside the said attention area with respect to the acquired said video data. The video transmission system described in 1.
請求項1〜請求項4のいずれか1項に記載の映像伝送システム。 The video transmission system according to any one of claims 1 to 4, wherein the video reception device transmits information for designating the region of interest by a user operation to the video transmission device.
請求項1〜請求項4のいずれか1項に記載の映像伝送システム。 The video receiving apparatus performs image recognition processing for recognizing a predetermined target from the decompressed video data, and designates the target area as a target area that includes the recognized target. The video transmission system according to claim 1, wherein the information is transmitted to the video transmission device.
請求項1〜請求項6のいずれか1項に記載の映像伝送システム。 The video transmission system according to any one of claims 1 to 6, wherein the video reception device cuts out video data of the region of interest from the video data that has been subjected to the decompression process.
請求項1〜請求項6のいずれか1項に記載の映像伝送システム。 The video receiving device cuts out video data of the region of interest from the compressed video data, and performs the expansion processing on the cut out video data. The video transmission system described in 1.
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
を備える映像送信装置。 An acquisition unit for acquiring video data;
A receiving unit that receives information for designating a region of interest in a screen of the video data from a video receiving device;
Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit for performing the video data;
A video transmission device comprising: a transmission unit that transmits the video data that has been subjected to the compression processing by the compression unit to the video reception device.
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
を備える映像受信装置。 A receiving unit that receives, from a video transmission device, video data that has been subjected to compression processing in which a transmission rate per unit pixel block in a region of interest in a screen is greater than a transmission rate per unit pixel block outside the region of interest; ,
A decompression unit for decompressing the video data received by the reception unit;
A video reception device comprising: a transmission unit that transmits information for designating the region of interest to the video transmission device.
前記コンピュータを、
映像データを取得する取得部と、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
して機能させるコンピュータプログラム。 A computer program for causing a computer to function as a video transmission device,
The computer,
An acquisition unit for acquiring video data;
A receiving unit that receives information for designating a region of interest in a screen of the video data from a video receiving device;
Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit for performing the video data;
A computer program that causes the video data that has been compressed by the compression unit to function as a transmission unit that transmits the video data to the video reception device.
前記コンピュータを、
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
して機能させるコンピュータプログラム。 A computer program for causing a computer to function as a video receiving device,
The computer,
A receiving unit that receives, from a video transmission device, video data that has been subjected to compression processing in which a transmission rate per unit pixel block in a target area in a screen is greater than a transmission rate per unit pixel block outside the target area; ,
A decompression unit for decompressing the video data received by the reception unit;
A computer program that causes information for designating the region of interest to function as a transmission unit that transmits to the video transmission device.
前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、
前記映像送信装置が、映像データを取得し、
前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、
前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、
前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する
映像配信方法。 The video receiving device transmits information for designating the region of interest in the screen to the video transmitting device,
The video transmission device receives information for designating the region of interest from the video reception device,
The video transmission device acquires video data,
Based on the received information, the video transmission device has acquired a compression process in which a transmission rate per unit pixel block in the target area is larger than a transmission rate per unit pixel block outside the target area. For video data,
The video transmission device transmits the compressed video data to the video reception device;
The video reception device receives the compressed video data from the video transmission device;
A video delivery method in which the video receiving device decompresses the compressed video data.
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、
受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する
映像送信方法。 Get video data,
Receiving information for designating a region of interest in the screen of the video data from the video receiver;
Based on the received information, compression processing is performed on the acquired video data in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest. ,
A video transmission method for transmitting the compressed video data to the video receiver.
受信した前記映像データを伸長し、
前記着目領域を指定するための情報を、前記映像送信装置に送信する
映像受信方法。 From the video transmission device, receives video data subjected to compression processing in which the transmission rate per unit pixel block in the target area in the screen is larger than the transmission rate per unit pixel block outside the target area,
Decompress the received video data,
A video reception method for transmitting information for designating the region of interest to the video transmission device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145210A JP2019029746A (en) | 2017-07-27 | 2017-07-27 | Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145210A JP2019029746A (en) | 2017-07-27 | 2017-07-27 | Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019029746A true JP2019029746A (en) | 2019-02-21 |
Family
ID=65476686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017145210A Pending JP2019029746A (en) | 2017-07-27 | 2017-07-27 | Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019029746A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110062203A (en) * | 2019-03-12 | 2019-07-26 | 中林信达(北京)科技信息有限责任公司 | A kind of novel video acquisition method |
CN115037727A (en) * | 2022-08-10 | 2022-09-09 | 深圳海卫通网络科技有限公司 | Broadband blocking processing method and device for shipborne satellite communication video transmission |
WO2023132163A1 (en) * | 2022-01-05 | 2023-07-13 | 住友電気工業株式会社 | Video compression method, video compression device, computer program, and video processing system |
WO2024070190A1 (en) * | 2022-09-27 | 2024-04-04 | パナソニックIpマネジメント株式会社 | Transmitter/receiver system, receiver, transmitter, transmitting/receiving method, method for controlling receiver, method for controlling transmitter, and program |
DE112021007596T5 (en) | 2021-04-28 | 2024-04-11 | Mitsubishi Electric Corporation | VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION METHOD AND VIDEO RECEIVING DEVICE |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JP2005517331A (en) * | 2002-02-04 | 2005-06-09 | ポリコム・インコーポレイテッド | Apparatus and method for providing electronic image manipulation in a video conference application |
JP2007274621A (en) * | 2006-03-31 | 2007-10-18 | Victor Co Of Japan Ltd | Image transmission system and image transmission method |
JP2013090078A (en) * | 2011-10-17 | 2013-05-13 | Nikon Corp | Image encoding device, imaging device, and control program |
WO2014127153A1 (en) * | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
-
2017
- 2017-07-27 JP JP2017145210A patent/JP2019029746A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JP2005517331A (en) * | 2002-02-04 | 2005-06-09 | ポリコム・インコーポレイテッド | Apparatus and method for providing electronic image manipulation in a video conference application |
JP2007274621A (en) * | 2006-03-31 | 2007-10-18 | Victor Co Of Japan Ltd | Image transmission system and image transmission method |
JP2013090078A (en) * | 2011-10-17 | 2013-05-13 | Nikon Corp | Image encoding device, imaging device, and control program |
WO2014127153A1 (en) * | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110062203A (en) * | 2019-03-12 | 2019-07-26 | 中林信达(北京)科技信息有限责任公司 | A kind of novel video acquisition method |
DE112021007596T5 (en) | 2021-04-28 | 2024-04-11 | Mitsubishi Electric Corporation | VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION METHOD AND VIDEO RECEIVING DEVICE |
WO2023132163A1 (en) * | 2022-01-05 | 2023-07-13 | 住友電気工業株式会社 | Video compression method, video compression device, computer program, and video processing system |
CN115037727A (en) * | 2022-08-10 | 2022-09-09 | 深圳海卫通网络科技有限公司 | Broadband blocking processing method and device for shipborne satellite communication video transmission |
CN115037727B (en) * | 2022-08-10 | 2022-11-11 | 深圳海卫通网络科技有限公司 | Broadband blocking processing method and device for shipborne satellite communication video transmission |
WO2024070190A1 (en) * | 2022-09-27 | 2024-04-04 | パナソニックIpマネジメント株式会社 | Transmitter/receiver system, receiver, transmitter, transmitting/receiving method, method for controlling receiver, method for controlling transmitter, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019029746A (en) | Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method | |
US11057646B2 (en) | Image processor and image processing method | |
US9462296B2 (en) | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams | |
TWI569629B (en) | Techniques for inclusion of region of interest indications in compressed video data | |
US20070133675A1 (en) | Video transmitting apparatus and video receiving apparatus | |
CN109451310B (en) | Rate distortion optimization method and device based on significance weighting | |
US20130121588A1 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
JP6988394B2 (en) | Video transmission system, video transmission device, video reception device, video transmission method, video reception method and computer program | |
JP2014168150A (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and image encoding/decoding system | |
US20230007282A1 (en) | Image transmission method and apparatus | |
Narayanan et al. | Multiframe adaptive Wiener filter super-resolution with JPEG2000-compressed images | |
US20120007951A1 (en) | System and format for encoding data and three-dimensional rendering | |
EP4203474A1 (en) | Image processing method and apparatus, device, and computer readable storage medium | |
KR20160109617A (en) | Decoding apparatus of digital video | |
US8798379B2 (en) | Image processing method, encoding device, decoding device, and image processing apparatus | |
JP2010062792A (en) | Image compression apparatus, image decompression apparatus, image compression program, and image decompression program | |
CN110662071B (en) | Video decoding method and device, storage medium and electronic device | |
Xia et al. | Visual sensitivity-based low-bit-rate image compression algorithm | |
KR20140030535A (en) | Apparatus and method for encoding image, apparatus and method for decoding image | |
JP2006246351A (en) | Image coding unit and image decoding unit | |
EP2063637A2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
US8929446B1 (en) | Combiner processing system and method for support layer processing in a bit-rate reduction system | |
US20120075431A1 (en) | Stereo image handling device and method | |
CN113781336A (en) | Image processing method and device, electronic equipment and storage medium | |
KR20190081413A (en) | Apparatus and method for transmitting and receiving video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211215 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220301 |