JP2019029746A - Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method - Google Patents

Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method Download PDF

Info

Publication number
JP2019029746A
JP2019029746A JP2017145210A JP2017145210A JP2019029746A JP 2019029746 A JP2019029746 A JP 2019029746A JP 2017145210 A JP2017145210 A JP 2017145210A JP 2017145210 A JP2017145210 A JP 2017145210A JP 2019029746 A JP2019029746 A JP 2019029746A
Authority
JP
Japan
Prior art keywords
video
region
interest
unit
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017145210A
Other languages
Japanese (ja)
Inventor
前田 直樹
Naoki Maeda
直樹 前田
正志 松野
Masashi Matsuno
正志 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2017145210A priority Critical patent/JP2019029746A/en
Publication of JP2019029746A publication Critical patent/JP2019029746A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To provide a video transmitter capable of real time distribution of video data maintaining visual identity of recognition object with an original video.SOLUTION: A video transmitter includes an acquisition part for acquiring video data, a receiving part receiving the information for specifying a region of interest in a screen of the video data from a video receiver, a compression section performing compression processing where the transmission rate per unit pixel block in the region of interest is larger than that in the region other than the region of interest, for the video data acquired by the acquisition part, based on the information received by the receiving part, and a transmission section for transmitting the video data compressed by the compression section to the video receiver.SELECTED DRAWING: Figure 2

Description

本発明は、映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関し、特に、映像データを処理する映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関する。   The present invention relates to a video transmission system, a video transmission device, a video reception device, a computer program, a video distribution method, a video transmission method, and a video reception method, and in particular, a video transmission system, a video transmission device, and a video reception device that process video data. The present invention relates to a computer program, a video distribution method, a video transmission method, and a video reception method.

放送等では、8K UHDTV(Ultra High Definition Television)のような超高精細の映像データを伝送するための技術が開発されている。   In broadcasting and the like, a technique for transmitting ultra-high definition video data such as 8K UHDTV (Ultra High Definition Television) has been developed.

例えば、非特許文献1には、映像データを圧縮するためのH.265について記載されている。   For example, Non-Patent Document 1 describes H.264 for compressing video data. H.265 is described.

H.265(ISO/IEC 23008−2 HEVC)は、動画圧縮規格の一つであり、H.264/MPEG−4 AVCの後続フォーマットである。H.265では、ブロックサイズの適正化など圧縮効率が優れており、MPEG−2(H.262)比で約4倍、H.264/AVCとの比較でも約2倍の圧縮性能を有すると言われている。H.265は、スーパーハイビジョン(8K,4320p)等の高解像度な映像だけでなく携帯端末向けの映像配信での利用も想定されている。   H. H.265 (ISO / IEC 23008-2 HEVC) is one of the video compression standards. This is a subsequent format of H.264 / MPEG-4 AVC. H. H.265 has excellent compression efficiency such as optimization of the block size, and is approximately four times the MPEG-2 (H.262) ratio. In comparison with H.264 / AVC, it is said to have about twice the compression performance. H. H.265 is assumed to be used not only for high-resolution video such as Super Hi-Vision (8K, 4320p) but also for video distribution for mobile terminals.

”ウィキペディア”、[online]、[平成29年6月21日検索]、インターネット〈URL:http://ja.wikipedia.org/wiki/H.265〉“Wikipedia”, [online], [Search June 21, 2017], Internet <URL: http: // ja. wikipedia. org / wiki / H. 265>

例えば、8K UHDTVのような超高精細の映像データは、伝送レートが数十Gbps(gigabits per second)以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。   For example, since ultra-high definition video data such as 8K UHDTV has a transmission rate of several tens of Gbps (gigabits per second) or more, high-speed and large-scale logic circuits and Very large resources such as large capacity memory are required.

この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、TV受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献1に記載のH.265等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は3秒を越え、遅延時間が大きくなる事が避けられない。   In order to solve this problem, the video signal is compressed before the target processing. In a broadcast system, compressing video before transmission and expanding it when presented on a TV receiver is one typical example. Non-Patent Document 1 used in broadcasting is described in H.264. In order to achieve a high compression rate, compression schemes such as H.265 use intra-frame and inter-frame correlation in addition to complex operations such as spatial frequency processing and advanced coding. In addition, since the batch processing using the information of a plurality of images is necessary, the processing load is very heavy. In addition, the delay time usually exceeds 3 seconds, and it is inevitable that the delay time becomes large.

一方、伝送された映像データは、例えば、不審者、人の流れ、または入場者等を監視する監視用途に用いられる。具体的には、映像データを画像認識処理することにより、不審者等の認識対象が抽出される。しかし、H.265等の圧縮方式では遅延時間が3秒を超える。このため、不審者に対する警報アラームの発報、入場ゲートでの入場者監視、認識対象の追跡処理などのリアルタイム性が要求される処理に、H.265等の圧縮方式で圧縮された映像データを用いることは困難である。つまり、認識処理に用いられる映像データは3秒程度遅延した映像であるため、認識対象の認識時刻と実際の時刻との間に遅延が生じてしまう。なお、本明細書中において、画像認識という用語は、動画(映像)から認識対象を抽出する処理と、静止画(画像)から認識対象を抽出する処理との両方の意味で用いる。   On the other hand, the transmitted video data is used for monitoring purposes for monitoring, for example, a suspicious person, the flow of a person, or a visitor. Specifically, a recognition target such as a suspicious person is extracted by performing image recognition processing on the video data. However, H. In a compression method such as H.265, the delay time exceeds 3 seconds. For this reason, H.264 is used for processes that require real-time performance, such as issuing alarm alarms for suspicious persons, monitoring attendees at the entrance gate, and tracking processing of recognition targets. It is difficult to use video data compressed by a compression method such as H.265. That is, since the video data used for the recognition process is a video delayed by about 3 seconds, a delay occurs between the recognition time of the recognition target and the actual time. Note that in this specification, the term image recognition is used to mean both processing for extracting a recognition target from a moving image (video) and processing for extracting a recognition target from a still image (image).

また、H.265等の圧縮方式は非可逆圧縮方式であるため、伸長処理された映像データとオリジナルの映像データとの同一性が保持されない。このため、画像認識された認識対象の細部を、伸長処理された映像データ上で確認するのが困難な場合がある。   H. Since the compression method such as H.265 is an irreversible compression method, the sameness between the decompressed video data and the original video data is not maintained. For this reason, it may be difficult to confirm the details of the recognition target that has been image-recognized on the decompressed video data.

本発明は、上記した事情に鑑みてなされたものであり、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能な映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and a video transmission system, a video transmission device, and a video reception device capable of real-time distribution of video data that retains the visual identity of the recognition target with the original video An object of the present invention is to provide a computer program, a video distribution method, a video transmission method, and a video reception method.

上記目的を達成するために、本発明の一実施態様に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。   To achieve the above object, a video transmission system according to an embodiment of the present invention acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data. A video transmission device that receives the compressed video data from the video transmission device, and decompresses the received video data. The video reception device includes: Information for designating a region of interest in the screen is transmitted to the video transmission device, and the video transmission device per unit pixel block in the region of interest based on the information received from the video reception device. The compression processing in which the transmission rate is larger than the transmission rate per unit pixel block outside the region of interest is performed on the acquired video data.

本発明の他の実施態様に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。   A video transmission device according to another embodiment of the present invention includes an acquisition unit that acquires video data, a reception unit that receives information for designating a region of interest in a screen of the video data from the video reception device, Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit that performs the video data, and a transmission unit that transmits the video data that has been compressed by the compression unit to the video reception device.

本発明の他の実施態様に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。   According to another aspect of the present invention, there is provided a video reception device having a transmission rate per unit pixel block in a region of interest in a screen larger than a transmission rate per unit pixel block outside the region of interest from the video transmission device. A transmission unit that receives compressed video data, a decompression unit that decompresses the video data received by the reception unit, and a transmission that transmits information for designating the region of interest to the video transmission device A part.

本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。   A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video transmission device, the computer from the acquisition unit that acquires video data and the video reception device. A receiving unit that receives information for designating a region of interest in a screen of data, and a transmission rate per unit pixel block in the region of interest outside the region of interest based on the information received by the receiving unit A compression unit that performs compression processing larger than the transmission rate per unit pixel block on the video data acquired by the acquisition unit; and the video data that has been compressed by the compression unit, To function as a transmission unit for transmission to

本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。   A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video reception device, wherein the computer is transmitted from the video transmission device to a unit pixel block in a region of interest in a screen. A receiving unit that receives video data subjected to compression processing that is larger than a transmission rate per unit pixel block outside the region of interest, and a decompressing unit that decompresses the video data received by the receiving unit. The information for designating the region of interest is caused to function as a transmission unit that transmits the information to the video transmission device.

本発明の他の実施態様に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。   In the video distribution method according to another embodiment of the present invention, the video reception device transmits information for designating a region of interest in the screen to the video transmission device, and the video transmission device transmits the information from the video reception device. , Receiving information for designating the region of interest, the video transmission device acquires video data, and the video transmission device per unit pixel block in the region of interest based on the received information The acquired video data is subjected to a compression process in which a transmission rate is larger than the transmission rate per unit pixel block outside the region of interest, and the video transmission apparatus converts the compressed video data into the video data Transmitted to the video receiving device, the video receiving device receives the compressed video data from the video transmitting device, and the video receiving device has received the compressed processing Decompressing the image data.

本発明の他の実施態様に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。   A video transmission method according to another embodiment of the present invention acquires video data, receives information for designating a region of interest in a screen of the video data from a video receiving device, and based on the received information Then, a compression process in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest is performed on the acquired video data, and the compression processing is completed. The video data is transmitted to the video receiving device.

本発明の他の実施態様に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。   In the video receiving method according to another embodiment of the present invention, the transmission rate per unit pixel block in the target area in the screen is larger than the transmission rate per unit pixel block outside the target area from the video transmission device. The video data subjected to the compression process is received, the received video data is decompressed, and information for designating the region of interest is transmitted to the video transmission device.

本発明は、映像送信装置または映像受信装置の一部又は全部を実現する半導体集積回路として実現することもできる。   The present invention can also be realized as a semiconductor integrated circuit that realizes part or all of a video transmission device or a video reception device.

本発明によると、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to the present invention, real-time distribution of video data that retains the visual identity of the recognition target with the original video is possible.

本発明の実施の形態1に係る映像伝送システムの構成を示す図である。It is a figure which shows the structure of the video transmission system which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る映像送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る映像受信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video receiver which concerns on Embodiment 1 of this invention. 映像伝送システムが実行する処理のシーケンスを示す図である。It is a figure which shows the sequence of the process which a video transmission system performs. 圧縮処理前の画像データと着目領域との一例を示す図である。It is a figure which shows an example of the image data before a compression process, and an attention area. 伸長処理後の画像データと着目領域との一例を示す図である。It is a figure which shows an example of the image data after an expansion process, and an attention area. 表示装置に表示される画像データの一例を示す図である。It is a figure which shows an example of the image data displayed on a display apparatus. 圧縮処理(図4のステップS3)の詳細を示すフローチャートである。It is a flowchart which shows the detail of a compression process (step S3 of FIG. 4). 伸長処理(図4のステップS7)の詳細を示すフローチャートである。It is a flowchart which shows the detail of an expansion | extension process (step S7 of FIG. 4). 本発明の実施の形態2に係る高圧縮部および低圧縮部によるブロックデータの圧縮処理を説明するための図である。It is a figure for demonstrating the compression process of the block data by the high compression part and low compression part which concern on Embodiment 2 of this invention. 本発明の変形例に係る映像受信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video receiver which concerns on the modification of this invention.

[本願発明の実施形態の概要]
最初に本発明の実施形態の概要を列記して説明する。
(1)本発明の一実施形態に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。
[Outline of Embodiment of the Present Invention]
First, the outline of the embodiment of the present invention will be listed and described.
(1) A video transmission system according to an embodiment of the present invention includes a video transmission device that acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data. A video reception device that receives the compressed video data from the video transmission device and decompresses the received video data, and the video reception device includes a region of interest in a screen of the video data. Is transmitted to the video transmission device, and the video transmission device determines the transmission rate per unit pixel block in the region of interest based on the information received from the video reception device. The compression processing larger than the transmission rate per unit pixel block outside the region is performed on the acquired video data.

この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(2)好ましくは、前記映像送信装置は、前記着目領域内の圧縮率が前記着目領域外の圧縮率よりも低い前記圧縮処理を、取得した前記映像データに対して行う。   (2) Preferably, the video transmission apparatus performs the compression process on the acquired video data in which the compression rate in the region of interest is lower than the compression rate outside the region of interest.

この構成によると、映像データの着目領域について圧縮率の低い低圧縮処理を施し、着目領域外の領域について圧縮率の高い高圧縮処理を施すことができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, it is possible to perform a low compression process with a low compression rate for the region of interest in the video data, and perform a high compression process with a high compression rate for regions outside the region of interest. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(3)さらに好ましくは、前記映像送信装置は、前記映像データの画面を分割した複数のブロックのうち前記着目領域内のブロックに対するブロックごとの圧縮処理、前記着目領域内の映像データに対する可逆圧縮処理、前記着目領域内の映像データに対する非圧縮処理の少なくとも1つの処理を含む前記圧縮処理を、取得した前記映像データに対して行う。   (3) More preferably, the video transmission apparatus performs block-by-block compression processing on a block in the region of interest among a plurality of blocks obtained by dividing the screen of the video data, and lossless compression processing on video data in the region of interest. Then, the compression processing including at least one processing of non-compression processing for the video data in the region of interest is performed on the acquired video data.

映像データの着目領域に対してブロックごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、H.265等の圧縮方式と比べて、低圧縮率でオリジナル映像との同一性を保持することができる。また、映像データの着目領域に対して可逆圧縮処理を施す場合には、オリジナル映像との同一性を保持することができる。さらに、映像データの着目領域に対して非圧縮処理を施す、つまり、圧縮処理を行わない場合にも、オリジナル映像との同一性を保持することができる。   When compression processing for each block is performed on the region of interest of the video data, the compression processing can be performed without using the intra-frame and inter-frame correlation. For this reason, H.C. Compared to a compression method such as H.265, it is possible to maintain the sameness with the original video at a low compression rate. In addition, when the lossless compression process is performed on the region of interest of the video data, the sameness as the original video can be maintained. Furthermore, even when non-compression processing is performed on the region of interest of the video data, that is, when compression processing is not performed, the sameness as the original video can be maintained.

(4)また、前記映像送信装置は、前記着目領域内のフレームレートが前記着目領域外のフレームレートよりも高い前記圧縮処理を、取得した前記映像データに対して行ってもよい。   (4) The video transmission device may perform the compression process on the acquired video data, in which a frame rate in the region of interest is higher than a frame rate outside the region of interest.

この構成によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, the transmission rate per unit pixel block outside the region of interest can be kept low by reducing the frame rate for the region outside the region of interest of the video data. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(5)また、前記映像受信装置は、ユーザ操作による前記着目領域を指定するための情報を、前記映像送信装置に送信してもよい。   (5) In addition, the video reception device may transmit information for designating the region of interest by a user operation to the video transmission device.

この構成によると、ユーザは、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。   According to this configuration, the user can view a high-definition video of the region of interest by designating the region of interest for which visual identity is desired to be maintained. That is, when the user designates a region of interest for which high-definition video data is to be viewed with respect to the video reception device, the designation information is transmitted from the video reception device to the video transmission device. The video transmitting apparatus can transmit the video data after the compression processing to the video receiving apparatus after performing a compression process that retains visual identity for the region of interest of the video data.

(6)また、前記映像受信装置は、前記伸長処理済みの前記映像データから所定の対象を認識する画像認識処理を行い、認識された前記所定の対象を含む領域を前記着目領域として、当該着目領域を指定するための情報を、前記映像送信装置に送信してもよい。   (6) Further, the video receiving apparatus performs image recognition processing for recognizing a predetermined target from the video data that has been subjected to the decompression process, and uses the recognized area as the target area as the target area. Information for designating an area may be transmitted to the video transmission apparatus.

この構成によると、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。このため、ユーザが着目領域に含まれる対象の高精細な映像を見たり、映像受信装置側で高精細な映像データに基づく処理を行うことができる。   According to this configuration, the region including the target recognized by the image recognition process can be set as the region of interest. Information for designating the region of interest is transmitted from the video receiver to the video transmitter. The video transmitting apparatus can transmit the video data after the compression processing to the video receiving apparatus after performing a compression process that retains visual identity for the region of interest of the video data. For this reason, the user can view a high-definition video of a target included in the region of interest, or perform processing based on high-definition video data on the video receiving device side.

(7)また、前記映像受信装置は、前記伸長処理済みの前記映像データから、前記着目領域の映像データを切り出してもよい。   (7) The video reception device may cut out video data of the region of interest from the video data that has been subjected to the decompression process.

この構成によると、映像受信装置において、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置に表示させることができる。   According to this configuration, the video receiving apparatus can cut out the video data of the region of interest and process the cut out video data. Thereby, for example, only the video data of the region of interest can be displayed on the display device.

(8)また、前記映像受信装置は、前記圧縮処理済みの前記映像データから、前記着目領域の映像データを切り出し、切り出した前記映像データに対して前記伸長処理を行ってもよい。   (8) The video receiving apparatus may cut out the video data of the region of interest from the video data that has been subjected to the compression processing, and may perform the expansion processing on the cut out video data.

この構成によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置に設けられる伸長処理のために必要なメモリの容量を削減することができる。   According to this configuration, after the video data of the region of interest is cut out, the decompression process can be performed only on the cut out video data. That is, there is no need to perform decompression processing on video data that has not been cut out. For this reason, it is possible to reduce the memory capacity required for the decompression process provided in the video reception device.

(9)本発明の他の実施形態に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。   (9) A video transmission device according to another embodiment of the present invention includes an acquisition unit that acquires video data, and reception that receives information for designating a region of interest in the screen of the video data from the video reception device. And the compression processing in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest, based on the information received by the receiving unit and the receiving unit A compression unit that performs the video data acquired by the unit, and a transmission unit that transmits the video data that has been compressed by the compression unit to the video reception device.

この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(10)本発明の他の実施形態に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。   (10) A video reception device according to another embodiment of the present invention is configured such that a transmission rate per unit pixel block in a region of interest in a screen is a transmission rate per unit pixel block outside the region of interest from the video transmission device. A receiving unit that receives video data that has undergone a larger compression process, an expanding unit that expands the video data received by the receiving unit, and information for designating the area of interest to the video transmitting device. A transmission unit for transmission.

この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から受信することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be received from the video transmission device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(11)本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。   (11) A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video transmission device. The computer program includes an acquisition unit that acquires video data and a video reception device. A receiving unit that receives information for designating a region of interest in the screen of the video data, and a transmission rate per unit pixel block in the region of interest based on the information received by the receiving unit. A compression unit that performs compression processing on the video data acquired by the acquisition unit that is larger than a transmission rate per unit pixel block outside the region, and the video data that has been compressed by the compression unit, It is made to function as a transmission part which transmits to a video receiver.

この構成によると、コンピュータを、上述した映像送信装置として機能させることができる。このため、上述した映像送信装置と同様の作用および効果を奏することができる。   According to this configuration, the computer can function as the video transmission device described above. For this reason, the same operation and effect as the above-mentioned video transmission device can be produced.

(12)本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。   (12) A computer program according to another embodiment of the present invention is a computer program for causing a computer to function as a video reception device, and the computer is moved from the video transmission device to a unit in a region of interest in a screen. A receiving unit that receives video data subjected to compression processing in which a transmission rate per pixel block is larger than a transmission rate per unit pixel block outside the region of interest, and decompresses the video data received by the receiving unit The expansion unit and information for specifying the region of interest are caused to function as a transmission unit that transmits to the video transmission device.

この構成によると、コンピュータを、上述した映像受信装置として機能させることができる。このため、上述した映像受信装置と同様の作用および効果を奏することができる。   According to this configuration, the computer can function as the above-described video receiving device. For this reason, the same operation and effect as the above-described video receiving device can be obtained.

(13)本発明の他の実施形態に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。   (13) In the video distribution method according to another embodiment of the present invention, the video reception device transmits information for designating a region of interest in the screen to the video transmission device, and the video transmission device transmits the video. Information for designating the region of interest is received from a receiving device, the video transmitting device acquires video data, and the video transmitting device receives unit information in the region of interest based on the received information. The acquired video data is subjected to a compression process in which a transmission rate per block is larger than a transmission rate per unit pixel block outside the region of interest, and the video transmission device performs the compression-processed video data To the video receiving device, the video receiving device receives the compressed video data from the video transmitting device, and the video receiving device It said decompressing video data.

この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   According to this configuration, the video subjected to the compression processing so that the transmission rate per unit pixel block in the target area designated on the video receiving device side is larger than the transmission rate per unit pixel block outside the target area. Data can be transmitted from the video transmitting device to the video receiving device. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(14)本発明の他の実施形態に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。   (14) A video transmission method according to another embodiment of the present invention obtains video data, receives information for designating a region of interest in a screen of the video data from a video reception device, and receives the received information. Based on the information, the obtained video data is subjected to compression processing in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest, and the compression The processed video data is transmitted to the video receiver.

この構成によると、上述の映像送信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像送信装置と同様の作用および効果を奏することができる。   According to this configuration, the processing corresponding to the processing unit included in the video transmission device described above is included as a step. For this reason, the same operation and effect as the above-mentioned video transmission device can be produced.

(15)本発明の他の実施形態に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。   (15) In a video receiving method according to another embodiment of the present invention, a transmission rate per unit pixel block in a region of interest in a screen is transmitted from a video transmission device per unit pixel block outside the region of interest. Video data that has been subjected to compression processing larger than that, receives the video data, expands the received video data, and transmits information for designating the region of interest to the video transmission apparatus.

この構成によると、上述の映像受信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像受信装置と同様の作用および効果を奏することができる。   According to this configuration, the processing corresponding to the processing unit provided in the above-described video reception device is included as a step. For this reason, the same operation and effect as the above-mentioned video receiving device can be produced.

[本願発明の実施形態の詳細]
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
[Details of the embodiment of the present invention]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Each of the embodiments described below shows a preferred specific example of the present invention. Numerical values, shapes, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. The invention is specified by the claims. Therefore, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are not necessarily required to achieve the object of the present invention. It will be described as constituting a preferred form.

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。   Moreover, the same code | symbol is attached | subjected to the same component. Since their functions and names are also the same, their description will be omitted as appropriate.

(実施の形態1)
<映像伝送システムの全体構成>
図1は、本発明の実施の形態1に係る映像伝送システムの構成を示す図である。
図1を参照して、映像伝送システム1は、映像送信装置10と、映像受信装置20と、表示装置40とを備える。映像送信装置10と映像受信装置20とは、ネットワーク50を介して相互に接続される。表示装置40は、映像受信装置20に接続される。
(Embodiment 1)
<Overall configuration of video transmission system>
FIG. 1 is a diagram showing a configuration of a video transmission system according to Embodiment 1 of the present invention.
With reference to FIG. 1, the video transmission system 1 includes a video transmission device 10, a video reception device 20, and a display device 40. The video transmission device 10 and the video reception device 20 are connected to each other via a network 50. The display device 40 is connected to the video reception device 20.

映像送信装置10は、撮影対象を撮影した映像データを、ネットワーク50を介して映像受信装置20に送信する。   The video transmission device 10 transmits video data obtained by shooting the shooting target to the video reception device 20 via the network 50.

映像受信装置20は、映像送信装置10から映像データを受信し、受信した映像データを表示装置40に表示する。   The video reception device 20 receives video data from the video transmission device 10 and displays the received video data on the display device 40.

映像送信装置10は、例えば、監視対象エリア2を撮影可能な位置に設置され、映像受信装置20および表示装置40は、例えば、管理事務所等に設置される。   For example, the video transmission device 10 is installed at a position where the monitoring target area 2 can be photographed, and the video reception device 20 and the display device 40 are installed, for example, in a management office.

<映像送信装置10の構成>
図2は、本発明の実施の形態1に係る映像送信装置10の構成を示すブロック図である。
<Configuration of Video Transmission Device 10>
FIG. 2 is a block diagram showing a configuration of video transmission apparatus 10 according to Embodiment 1 of the present invention.

図2を参照して、映像受信装置20は、撮像部11と、取得部12と、ブロック分割部13と、データ分配部14と、圧縮部15と、符号化部16と、送信部17と、受信部18とを備える。
圧縮部15は、高圧縮部15Aと、低圧縮部15Bとを含む。
With reference to FIG. 2, the video reception device 20 includes an imaging unit 11, an acquisition unit 12, a block division unit 13, a data distribution unit 14, a compression unit 15, an encoding unit 16, and a transmission unit 17. The receiving unit 18 is provided.
The compression unit 15 includes a high compression unit 15A and a low compression unit 15B.

これらの処理部の一部または全部は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等の集積回路等を含むハードウェアにより実現される。ただし、これらの構成のうち、撮像部11を除く処理部の全部または一部は、コンピュータにより実現することができる。つまり、これらの処理部は、コンピュータが備えるCPU(Central Processing Unit)等の演算処理装置上で、コンピュータプログラムを実行することにより、機能的な処理部として実現される。
なお、撮像部11は、映像送信装置10とは別に設けられていてもよい。
Some or all of these processing units are realized by hardware including an integrated circuit such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA). However, all or a part of the processing units other than the imaging unit 11 among these configurations can be realized by a computer. That is, these processing units are realized as functional processing units by executing a computer program on an arithmetic processing device such as a CPU (Central Processing Unit) included in the computer.
Note that the imaging unit 11 may be provided separately from the video transmission device 10.

撮像部11は、撮影対象の高精細映像を撮影する。映像には複数の画面が含まれる。例えば、60fps(frame per second)の映像データには、1秒当たり60枚の画面が含まれる。   The imaging unit 11 captures a high-definition video to be captured. The video includes a plurality of screens. For example, 60 fps (frame per second) video data includes 60 screens per second.

より詳細には、撮像部11は、例えば、デュアルグリーン方式または4:2:2方式等に従って、8K UHDTVの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。   More specifically, the imaging unit 11 generates video data of a shooting target having a resolution of 8K UHDTV according to, for example, a dual green method or a 4: 2: 2 method. This video data includes screen data for each screen.

デュアルグリーン方式に従って生成された60fpsの映像データの伝送レートは、例えば23.89Gbpsまたは19.91Gbpsである。また、4:2:2方式に従って生成された映像データの伝送レートは、例えば47.78Gbpsまたは39.81Gbpsである。   The transmission rate of 60 fps video data generated in accordance with the dual green method is, for example, 23.89 Gbps or 19.91 Gbps. The transmission rate of video data generated according to the 4: 2: 2 system is, for example, 47.78 Gbps or 39.81 Gbps.

取得部12は、撮像部11から、撮像部11が撮影した撮影対象の映像データを取得し、ブロック分割部13へ出力する。   The acquisition unit 12 acquires video data to be imaged taken by the imaging unit 11 from the imaging unit 11 and outputs the video data to the block division unit 13.

ブロック分割部13は、取得部12から映像データを受けて1画面分の画像データを確保すると、確保した画面データの示す1画面を複数のブロックに分割する。   When the block division unit 13 receives video data from the acquisition unit 12 and secures image data for one screen, the block division unit 13 divides one screen indicated by the secured screen data into a plurality of blocks.

具体的には、ブロック分割部13は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部13は、画面を1または複数の行ごとにスライスしたブロックに分割したり、1または複数の列ごとにスライスしたブロックに分割したり、縦n個×横m個(ここで、n,mは正の整数。)の画素を有するブロックに分割したりする。   Specifically, the block dividing unit 13 divides the screen indicated by the screen data into a plurality of blocks having the same shape and the same size. More specifically, the block dividing unit 13 divides the screen into blocks that are sliced for each of one or more rows, is divided into blocks that are sliced for each of one or more columns, or is vertically n × horizontal m. Or divided into blocks each having n (where n and m are positive integers) pixels.

なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。   The shape of each block may be any shape. Moreover, the size of each block may be arbitrary. However, it is preferable to unify the shape and size of each block because convenience is enhanced. Further, the compression rate can be increased as the block size increases. However, since the processing load, the processing circuit, the memory capacity required for processing, and the processing time increase, it is preferable to set the size appropriately.

ブロック分割部13は、ブロックにおける画像データ(以下、ブロックデータとも称する。)をブロックの画面における位置順にデータ分配部14へ出力する。   The block division unit 13 outputs the image data in the block (hereinafter also referred to as block data) to the data distribution unit 14 in the order of the position on the screen of the block.

データ分配部14は、ブロック分割部13から受けるブロックデータを分配する。より詳細には、データ分配部14は、後述する着目領域を指定するための情報(以下、「着目領域指定情報」とも称する。)を参照して、各ブロックデータが属するブロックが、着目領域に含まれているか否かを判断する。着目領域は、映像受信装置20または映像受信装置20のユーザが着目している領域である。なお、画面全体を着目領域とすることも可能である。また、画面内に着目領域が存在しない場合もある。   Data distribution unit 14 distributes block data received from block division unit 13. More specifically, the data distribution unit 14 refers to information (hereinafter also referred to as “focused area designation information”) for designating a focused area described later, and the block to which each block data belongs becomes the focused area. Determine whether it is included. The attention area is an area in which the video receiving device 20 or the user of the video receiving device 20 is focused. It is also possible to set the entire screen as a region of interest. In some cases, the region of interest does not exist in the screen.

データ分配部14は、当該ブロックが着目領域に含まれていると判断した場合、つまり、当該ブロックが着目領域内に位置すると判断した場合には、当該ブロックのブロックデータを低圧縮部15Bへ出力する。なお、画面全体が着目領域の場合には、データ分配部14は、1画面に含まれる全てのブロックのブロックデータを、低圧縮部15Bへ出力する。一方、画面内に着目領域が存在しない場合には、データ分配部14は、当該画面については、何らのデータも低圧縮部15Bへ出力しない。   If the data distribution unit 14 determines that the block is included in the region of interest, that is, if the data distribution unit 14 determines that the block is located in the region of interest, the block data of the block is output to the low compression unit 15B. To do. If the entire screen is the region of interest, the data distribution unit 14 outputs block data of all blocks included in one screen to the low compression unit 15B. On the other hand, when there is no region of interest in the screen, the data distribution unit 14 does not output any data to the low compression unit 15B for the screen.

また、データ分配部14は、当該ブロックが着目領域に含まれていないと判断した場合、つまり、当該ブロックが着目領域外に位置すると判断した場合には、当該ブロックのブロックデータを高圧縮部15Aへ出力する。なお、画面全体が着目領域の場合には、データ分配部14は、当該画面については、何らのデータも高圧縮部15Aへ出力しない。一方、画面内に着目領域が存在しない場合には、データ分配部14は、1画面に含まれる全てのブロックのブロックデータを、高圧縮部15Aへ出力する。   If the data distribution unit 14 determines that the block is not included in the region of interest, that is, if the data distribution unit 14 determines that the block is located outside the region of interest, the data distribution unit 14 converts the block data of the block to the high compression unit 15A. Output to. When the entire screen is the region of interest, the data distribution unit 14 does not output any data to the high compression unit 15A for the screen. On the other hand, when there is no region of interest in the screen, the data distribution unit 14 outputs block data of all blocks included in one screen to the high compression unit 15A.

なお、データ分配部14は、ブロックの一部が着目領域に含まれていれば、当該ブロックは着目領域に含まれていると判断することができる。   Note that if a part of the block is included in the region of interest, the data distribution unit 14 can determine that the block is included in the region of interest.

高圧縮部15Aは、データ分配部14からブロックデータを受け、低圧縮部15Bに比べて高い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。例えば、高圧縮部15Aは、JPEG2000と呼ばれる圧縮方式に従ってブロックデータを圧縮してもよい。なお、高圧縮部15Aの圧縮方式は、JPEG2000に限定されるものではなく、低圧縮部15Bに比べて圧縮率が高い方式であれば、それ以外の方法であってもよい。   The high compression unit 15A receives block data from the data distribution unit 14 and compresses the block data according to a compression method with a higher compression ratio than the low compression unit 15B. For example, the high compression unit 15A may compress the block data in accordance with a compression method called JPEG2000. Note that the compression method of the high compression unit 15A is not limited to JPEG2000, and any other method may be used as long as the compression rate is higher than that of the low compression unit 15B.

低圧縮部15Bは、データ分配部14からブロックデータを受け、高圧縮部15Aに比べて低い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。低圧縮部15Bは、例えば、圧縮後のサイズを設定することが可能な、Visually Lossless CompressionまたはVisually Reversible Compressionと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。低圧縮部15Bにおいて用いられる非可逆圧縮のアルゴリズムは、例えば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。映像データの着目領域に対してブロックデータごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、H.265等の圧縮方式と比べて低圧縮率であり、オリジナル映像との視覚的な同一性を保持することができる。ここで、オリジナル映像との視覚的な同一性が保持されるとは、ユーザが圧縮前の映像と圧縮および伸長後の映像とを見比べた場合に、その差がほとんど分からないことを言う。   The low compression unit 15B receives block data from the data distribution unit 14 and compresses the block data according to a compression method with a lower compression rate than the high compression unit 15A. The low compression unit 15B irreversibly compresses block data using, for example, an algorithm called Visually Loss Compression or Visually Reversible Compression that can set the size after compression. The lossy compression algorithm used in the low compression unit 15B is mounted on, for example, a dedicated semiconductor integrated circuit. Here, irreversible compression is compression that makes it impossible to return the block data after compression to the block data before compression. When the compression process for each block data is performed on the region of interest of the video data, the compression process can be performed without using the intra-frame and inter-frame correlation. For this reason, H.C. Compared to a compression method such as H.265, the compression rate is low, and the visual identity with the original video can be maintained. Here, maintaining the visual identity with the original video means that when the user compares the video before compression with the video after compression and expansion, the difference is hardly known.

なお、低圧縮部15Bは、可逆圧縮のアルゴリズムを用いてブロックデータを圧縮することも可能である。この場合には、オリジナル映像との同一性を保持することができる。   Note that the low compression unit 15B can also compress the block data using a lossless compression algorithm. In this case, identity with the original video can be maintained.

また、低圧縮部15Bは、ブロックデータを圧縮しない非圧縮処理を行ってもよい。つまり、低圧縮部15Bは、データ分配部14から受けたブロックデータを圧縮せずに出力してもよい。この場合にも、オリジナル映像との同一性を保持することができる。   The low compression unit 15B may perform non-compression processing that does not compress block data. That is, the low compression unit 15B may output the block data received from the data distribution unit 14 without compression. Also in this case, the identity with the original video can be maintained.

なお、高圧縮部15Aおよび低圧縮部15Bにおいて用いられるアルゴリズムは、例えば、専用の半導体集積回路に実装されるのが望ましい。なお、これらのアルゴリズムに基づくコンピュータプログラムを、コンピュータのCPUやFPGAのCPUコア等の演算処理装置上で実行することにより、高圧縮部15Aおよび低圧縮部15Bが実現されてもよい。   Note that the algorithm used in the high compression unit 15A and the low compression unit 15B is preferably mounted on, for example, a dedicated semiconductor integrated circuit. Note that the high compression unit 15A and the low compression unit 15B may be realized by executing a computer program based on these algorithms on an arithmetic processing unit such as a CPU of a computer or a CPU core of an FPGA.

圧縮部15は、圧縮方法および圧縮時のパラメータ(以下、「圧縮パラメータ」とも称する)を示す圧縮情報を、圧縮処理後のブロックデータに付加する。具体的には、圧縮部15は、高圧縮部15Aによる圧縮処理後のブロックデータに圧縮情報Hを付加し、低圧縮部15Bによる圧縮処理後のブロックデータに圧縮情報Lを付加する。ただし、映像受信装置20が圧縮パラメータを事前に知っている場合には、圧縮パラメータを映像受信装置20に通知する必要がない。このため、このような場合には、圧縮部15は、圧縮情報Hまたは圧縮情報Lに、圧縮パラメータを含める必要はない。また、映像受信装置20が、さらに圧縮方法も知っている場合には、圧縮情報の付加すら必要ない。   The compression unit 15 adds compression information indicating a compression method and compression parameters (hereinafter also referred to as “compression parameters”) to the block data after compression processing. Specifically, the compression unit 15 adds the compression information H to the block data after the compression processing by the high compression unit 15A, and adds the compression information L to the block data after the compression processing by the low compression unit 15B. However, when the video reception device 20 knows the compression parameter in advance, it is not necessary to notify the video reception device 20 of the compression parameter. For this reason, in such a case, the compression unit 15 does not need to include a compression parameter in the compression information H or the compression information L. Further, when the video receiving apparatus 20 further knows the compression method, it is not necessary to add compression information.

圧縮部15は、圧縮情報が付加されたブロックデータを、符号化部16へ出力する。以下、高圧縮部15Aまたは低圧縮部15Bで圧縮されたブロックデータを、「圧縮ブロックデータ」とも称する。   The compression unit 15 outputs the block data to which the compression information is added to the encoding unit 16. Hereinafter, the block data compressed by the high compression unit 15A or the low compression unit 15B is also referred to as “compressed block data”.

符号化部16は、圧縮部15から、圧縮情報が付加された圧縮ブロックデータを受け、当該圧縮ブロックデータを符号化する。符号化部16は、符号化された圧縮ブロックデータを送信部17へ出力する。   The encoding unit 16 receives the compressed block data to which the compression information is added from the compression unit 15 and encodes the compressed block data. The encoding unit 16 outputs the encoded compressed block data to the transmission unit 17.

送信部17は、通信インタフェースを含んで構成され、符号化部16から、符号化された圧縮ブロックデータを受け、当該圧縮ブロックデータを、ネットワーク50を介して、映像受信装置20に送信する。   The transmission unit 17 includes a communication interface, receives the encoded compressed block data from the encoding unit 16, and transmits the compressed block data to the video reception device 20 via the network 50.

受信部18は、通信インタフェースを含んで構成され、着目領域指定情報を、ネットワーク50を介して映像受信装置20から受信する。受信部18は、受信した着目領域指定情報をデータ分配部14へ出力する。   The receiving unit 18 includes a communication interface, and receives attention area designation information from the video receiving device 20 via the network 50. The receiving unit 18 outputs the received attention area designation information to the data distribution unit 14.

<映像受信装置20の構成>
図3は、本発明の実施の形態1に係る映像受信装置20の構成を示すブロック図である。
<Configuration of Video Reception Device 20>
FIG. 3 is a block diagram showing a configuration of video receiving apparatus 20 according to Embodiment 1 of the present invention.

映像受信装置20は、受信部21と、復号化部22と、伸長部23と、方式処理部24と、ブロック合成部25と、切出し部26と、表示制御部27と、画像認識部28と、着目領域決定部29と、位置情報取得部30と、送信部31とを備える。ただし、これらの処理部の一部または全部が、ASICまたはFPGA等の半導体集積回路等を含むハードウェアにより実現されていてもよい。   The video receiver 20 includes a receiving unit 21, a decoding unit 22, a decompression unit 23, a method processing unit 24, a block synthesis unit 25, a cutout unit 26, a display control unit 27, and an image recognition unit 28. The region-of-interest determination unit 29, the position information acquisition unit 30, and the transmission unit 31 are provided. However, some or all of these processing units may be realized by hardware including a semiconductor integrated circuit such as ASIC or FPGA.

なお、映像受信装置20は、CPU、RAM(Random Access Memory)およびROM(Read Only Memory)等を備えるコンピュータにより実現することもできる。CPU等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。   The video receiver 20 can also be realized by a computer including a CPU, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. Each processing unit is realized as a functional component by executing a computer program on an arithmetic processing unit such as a CPU.

受信部21は、通信インタフェースを含んで構成される。受信部21は、ネットワーク50を介して映像送信装置10から、1画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。より詳細には、受信部21は、符号化された圧縮ブロックデータを位置順に受信する。   The receiving unit 21 includes a communication interface. The receiving unit 21 receives video data obtained by dividing one screen into a plurality of blocks and performing compression processing of image data for each block from the video transmission device 10 via the network 50. More specifically, the receiving unit 21 receives encoded compressed block data in order of position.

復号化部22は、受信部21が受信した圧縮ブロックデータを、受信部21から受け、受けた圧縮ブロックデータを復号化する。   The decoding unit 22 receives the compressed block data received by the receiving unit 21 from the receiving unit 21, and decodes the received compressed block data.

復号化部22は、復号化した圧縮ブロックデータから圧縮情報Hまたは圧縮情報Lを取得し、圧縮情報Hまたは圧縮情報Lを取り除いた圧縮ブロックデータを位置順に伸長部23へ出力するとともに、取得した圧縮情報Hまたは圧縮情報Lを位置順に方式処理部24へ出力する。   The decoding unit 22 acquires the compressed information H or the compressed information L from the decoded compressed block data, outputs the compressed block data from which the compressed information H or the compressed information L is removed to the decompressing unit 23 in the order of position, and acquires the compressed block data. The compressed information H or the compressed information L is output to the method processing unit 24 in the order of position.

方式処理部24は、復号化部22から圧縮情報Hを受ける場合、受けた圧縮情報Hから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23へ通知する。なお、伸長部23が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部24は、知っている情報を圧縮情報Hから取得したり、伸長部23へ通知したりする必要はない。   When receiving the compression information H from the decoding unit 22, the method processing unit 24 acquires the compression method and compression parameters from the received compression information H, and notifies the expansion unit 23 of the acquired compression method and compression parameters. If the decompression unit 23 knows the compression method or compression parameter in advance, the method processing unit 24 needs to acquire the known information from the compression information H or notify the decompression unit 23 of the information. Absent.

一方、方式処理部24は、復号化部22から圧縮情報Lを受ける場合、受けた圧縮情報Lから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23へ通知する。なお、伸長部23が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部24は、知っている情報を圧縮情報Lから取得したり、伸長部23へ通知したりする必要はない。   On the other hand, when receiving the compression information L from the decoding unit 22, the method processing unit 24 acquires the compression method and compression parameters from the received compression information L, and notifies the expansion unit 23 of the acquired compression method and compression parameters. If the decompression unit 23 knows the compression method or compression parameter in advance, the method processing unit 24 needs to acquire the known information from the compression information L or notify the decompression unit 23 of the information. Absent.

伸長部23は、方式処理部24から通知された圧縮方法に従って、方式処理部24から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。なお、伸長部23において用いられるアルゴリズムは、例えば、FPGAや専用の半導体集積回路に実装されるのが望ましい。   The decompression unit 23 decompresses the compressed block data using the compression parameter notified from the method processing unit 24 in accordance with the compression method notified from the method processing unit 24. Note that the algorithm used in the decompression unit 23 is preferably mounted on, for example, an FPGA or a dedicated semiconductor integrated circuit.

ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる。ブロック合成部25は、完成させた1画面を示す画像データを、切出し部26、表示制御部27および画像認識部28へ出力する。   The block synthesizing unit 25 generates a part of the screen from the block data received from the decompression unit 23 and arranges the generated part of the screen in the order received from the decompression unit 23 to complete one screen. The block synthesizing unit 25 outputs image data indicating one completed screen to the cutout unit 26, the display control unit 27, and the image recognition unit 28.

切出し部26は、ブロック合成部25から取得した1画面の画像データの中から、後述する着目領域決定部29が決定した着目領域の画像データを切り出す。切出し部26は、切り出した着目領域の画像データを、表示制御部27および画像認識部28へ出力する。なお、画面全体が着目領域とされる場合には、切り出し部26は、上述の切り出し処理を行わずに、1画面の画像データを、表示制御部27および画像認識部28へ出力する。一方、画面内に着目領域が存在しない場合には、切り出し部26は、上述の切り出し処理を行わずに、何らのデータも、表示制御部27および画像認識部28へ出力しない。   The cutout unit 26 cuts out image data of a region of interest determined by a region-of-interest determination unit 29 described later from one-screen image data acquired from the block composition unit 25. The cutout unit 26 outputs the image data of the extracted region of interest to the display control unit 27 and the image recognition unit 28. If the entire screen is the region of interest, the clipping unit 26 outputs the image data for one screen to the display control unit 27 and the image recognition unit 28 without performing the above-described clipping process. On the other hand, when there is no region of interest in the screen, the cutout unit 26 does not perform the cutout process described above, and does not output any data to the display control unit 27 and the image recognition unit 28.

表示制御部27は、ブロック合成部25から画像データを受けると、受けた画像データの示す1画面を所定のフレーム周期で表示装置40に表示させる制御を行う。また、表示制御部27は、必要に応じて、切出し部26が切り出した着目領域の画像データを、1画面に重畳して表示させる制御を行ってもよい。また、表示制御部27は、着目領域の画像データのみを表示装置40に表示させる制御を行ってもよい。   When the display control unit 27 receives the image data from the block synthesis unit 25, the display control unit 27 performs control to display one screen indicated by the received image data on the display device 40 at a predetermined frame period. Further, the display control unit 27 may perform control to display the image data of the region of interest clipped by the cutout unit 26 so as to be superimposed on one screen as necessary. Further, the display control unit 27 may perform control to display only the image data of the region of interest on the display device 40.

画像認識部28は、ブロック合成部25から取得した1画面の画像データまたは切出し部26から受けた着目領域の画像データに基づいて、認識対象の抽出を行う。例えば、監視対象エリア2から不審者を認識対象として抽出する場合には、画像認識部28は、背景差分法やフレーム間差分法を用いて認識対象を抽出する。なお、画像認識部28は、認識対象が抽出された後のフレームの画像データにおいては、切出し部26が切り出した着目領域の画像データまたは着目領域を含む着目領域の周囲の画像データに基づいて、認識対象の抽出を行ってもよい。これにより、抽出された認識対象の周囲を効率よく画像認識することができる。画像認識部28は、抽出した認識対象の領域情報を着目領域決定部29へ出力する。   The image recognition unit 28 extracts a recognition target based on one-screen image data acquired from the block synthesis unit 25 or image data of a region of interest received from the cutout unit 26. For example, when extracting a suspicious person from the monitoring target area 2 as a recognition target, the image recognition unit 28 extracts a recognition target using a background difference method or an inter-frame difference method. Note that the image recognition unit 28, in the image data of the frame after the recognition target is extracted, is based on the image data of the region of interest extracted by the cutout unit 26 or the image data around the region of interest including the region of interest. The recognition target may be extracted. As a result, the image around the extracted recognition target can be efficiently recognized. The image recognition unit 28 outputs the extracted recognition target region information to the attention region determination unit 29.

着目領域決定部29は、画像認識部28から認識対象の領域情報を取得し、取得した領域情報に基づいて、着目領域を決定する。例えば、着目領域決定部29は、取得した領域情報が示す認識対象を含む矩形領域を着目領域として決定する。矩形領域には、着目領域との間に設けられた一定幅のマージンが含まれていてもよい。なお、認識対象を含む矩形領域が画面全体と同じ場合には、着目領域決定部29は、画面全体を着目領域として決定する。また、画像認識部28による認識処理の結果、認識対象が抽出されなかった場合には、着目領域決定部29は、着目領域を決定しない。これにより、画面内に着目領域が存在しないことになる。   The attention area determination unit 29 acquires area information to be recognized from the image recognition unit 28, and determines the attention area based on the acquired area information. For example, the attention area determination unit 29 determines a rectangular area including the recognition target indicated by the acquired area information as the attention area. The rectangular area may include a fixed width margin provided between the rectangular area. If the rectangular area including the recognition target is the same as the entire screen, the attention area determination unit 29 determines the entire screen as the attention area. Further, when the recognition target is not extracted as a result of the recognition processing by the image recognition unit 28, the attention area determination unit 29 does not determine the attention area. As a result, there is no region of interest in the screen.

なお、着目領域決定部29は、ユーザが指定し、位置情報取得部30が取得した着目領域の位置情報に基づいて、着目領域を決定してもよい。例えば、着目領域決定部29は、位置情報として、着目領域の左上隅座標と右下隅座標の情報を取得した場合には、取得した左上隅座標および右下隅座標で規定される矩形領域を着目領域として決定する。なお、ユーザは、画面全体を着目領域として指定することも可能であるし、着目領域を指定しないことも可能である。   Note that the attention area determination unit 29 may determine the attention area based on the position information of the attention area specified by the user and acquired by the position information acquisition unit 30. For example, when the information on the upper left corner coordinates and the lower right corner coordinates of the attention area is acquired as the position information, the attention area determination unit 29 uses the rectangular area defined by the acquired upper left corner coordinates and lower right corner coordinates as the attention area. Determine as. Note that the user can designate the entire screen as the region of interest, or can not designate the region of interest.

着目領域決定部29は、決定した着目領域を指定するための着目領域指定情報を送信部31へ出力する。例えば、着目領域決定部29は、着目領域の左上隅座標と右下隅座標の情報を着目領域指定情報として送信部31へ出力する。   The attention area determination unit 29 outputs attention area designation information for designating the determined attention area to the transmission unit 31. For example, the attention area determination unit 29 outputs information on the upper left corner coordinates and lower right corner coordinates of the attention area to the transmission unit 31 as attention area designation information.

位置情報取得部30は、ユーザがマウスやキーボード等を操作して指定した着目領域の位置情報を取得し、取得した位置情報を着目領域決定部29へ出力する。   The position information acquisition unit 30 acquires the position information of the attention area specified by the user by operating the mouse, the keyboard, and the like, and outputs the acquired position information to the attention area determination section 29.

送信部31は、着目領域決定部29から受けた着目領域指定情報を、ネットワーク50を介して映像送信装置10へ送信する。   The transmission unit 31 transmits the attention area designation information received from the attention area determination unit 29 to the video transmission device 10 via the network 50.

<映像伝送システム1の処理シーケンス>
図4は、映像伝送システム1が実行する処理のシーケンスを示す図である。
映像伝送システム1は、図4に示すシーケンス処理を繰り返し実行する。
映像受信装置20は、映像送信装置10に対して着目領域指定情報を送信し、映像送信装置10は、映像受信装置20から着目領域指定情報を受信する(S1)。なお、ユーザによる着目領域の指定が無い場合や、映像受信装置20の画像認識部28により認識対象が抽出されなかった場合などには、着目領域指定情報の送受信は行われなくてもよい。
<Processing sequence of video transmission system 1>
FIG. 4 is a diagram illustrating a sequence of processing executed by the video transmission system 1.
The video transmission system 1 repeatedly executes the sequence process shown in FIG.
The video receiving device 20 transmits the region-of-interest designation information to the video transmission device 10, and the video transmission device 10 receives the region-of-interest designation information from the video receiving device 20 (S1). Note that, when there is no designation of the attention area by the user or when the recognition target is not extracted by the image recognition unit 28 of the video reception device 20, the attention area designation information need not be transmitted and received.

図5は、圧縮処理前の画像データと着目領域との一例を示す図である。
例えば、映像受信装置20の受信部18は、図5に示す1画面の画像データ60中の着目領域70を指定する着目領域指定情報を、受信したものとする。
FIG. 5 is a diagram illustrating an example of image data before compression processing and a region of interest.
For example, it is assumed that the receiving unit 18 of the video receiving device 20 has received attention area designation information that designates the attention area 70 in the image data 60 of one screen shown in FIG.

再度図4を参照して、映像送信装置10の取得部12は、撮像部11が監視対象エリア2を撮影することにより得られた1画面分の画像データを取得する(S2)。   Referring to FIG. 4 again, the acquisition unit 12 of the video transmission device 10 acquires image data for one screen obtained by the imaging unit 11 capturing an image of the monitoring target area 2 (S2).

映像送信装置10のブロック分割部13、データ分配部14および圧縮部15は、取得部12が取得した1画面分の画像データについて、ブロックデータ毎に圧縮処理を実行する(S3)。圧縮処理の詳細については図8を参照して後述する。   The block division unit 13, the data distribution unit 14, and the compression unit 15 of the video transmission device 10 perform compression processing for each block data on the image data for one screen acquired by the acquisition unit 12 (S3). Details of the compression processing will be described later with reference to FIG.

映像送信装置10の符号化部16は、1画面分の圧縮ブロックデータを符号化する(S4)。   The encoding unit 16 of the video transmitting apparatus 10 encodes the compressed block data for one screen (S4).

映像送信装置10の送信部17は、1画面分の符号化済みの圧縮ブロックデータを、映像受信装置20に送信し、映像受信装置20の受信部21は、圧縮ブロックデータを受信する(S5)。   The transmission unit 17 of the video transmission device 10 transmits the encoded compressed block data for one screen to the video reception device 20, and the reception unit 21 of the video reception device 20 receives the compressed block data (S5). .

映像受信装置20の復号化部22は、受信した1画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に復号化する(S6)。   The decoding unit 22 of the video reception device 20 decodes the received compressed block data for one screen for each compressed block data (S6).

映像受信装置20の伸長部23、方式処理部24およびブロック合成部25は、復号化された1画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に伸長する(S7)。伸長処理の詳細については図9を参照して後述する。   The decompression unit 23, the method processing unit 24, and the block composition unit 25 of the video reception device 20 decompress the compressed block data for one screen for each compressed block data (S7). Details of the decompression process will be described later with reference to FIG.

映像受信装置20の切出し部26は、伸長処理により得られた1画面の画像データから、着目領域の画像データを切り出す(S8)。   The cutout unit 26 of the video reception device 20 cuts out image data of the region of interest from one-screen image data obtained by the decompression process (S8).

図6は、伸長処理後の画像データと着目領域との一例を示す図である。
例えば、映像受信装置20の切出し部26は、図6に示す1画面の画像データ61の中から、着目領域71の画像データを切り出す。
FIG. 6 is a diagram illustrating an example of image data after expansion processing and a region of interest.
For example, the cutout unit 26 of the video reception device 20 cuts out the image data of the region of interest 71 from the image data 61 of one screen shown in FIG.

再度図4を参照して、表示制御部27は、1画面の画像データ61に、着目領域71の画像データを重畳させた画像データを、表示装置40に表示させる(S9)。   Referring to FIG. 4 again, the display control unit 27 causes the display device 40 to display image data obtained by superimposing the image data of the region of interest 71 on the image data 61 of one screen (S9).

図7は、表示装置40に表示される画像データの一例を示す図である。
例えば、表示装置40は、図7に示すような画像データ62を、表示装置40に表示させる。つまり、表示装置40は、図6に示した画像データ61に、着目領域71の画像データを、画像データ63として重畳させた画像データ62を、表示装置40に表示させる。画像データ63は、着目領域71の画像データを拡大したものである。ただし、画像データ63は、着目領域71の画像データそのものであってもよい。
FIG. 7 is a diagram illustrating an example of image data displayed on the display device 40.
For example, the display device 40 causes the display device 40 to display image data 62 as shown in FIG. That is, the display device 40 causes the display device 40 to display the image data 62 obtained by superimposing the image data of the region of interest 71 as the image data 63 on the image data 61 illustrated in FIG. Image data 63 is obtained by enlarging the image data of the region of interest 71. However, the image data 63 may be the image data of the region of interest 71 itself.

再度図4を参照して、映像受信装置20の画像認識部28は、切り出した着目領域71の画像データに基づいて、認識対象の抽出を行う。(S10)。   Referring to FIG. 4 again, the image recognition unit 28 of the video reception device 20 extracts a recognition target based on the extracted image data of the region of interest 71. (S10).

認識対象が抽出された場合には(S10でYES)、映像受信装置20の着目領域決定部29は、認識対象の位置に応じて、着目領域を更新する(S11)。   When the recognition target is extracted (YES in S10), the attention area determination unit 29 of the video reception device 20 updates the attention area according to the position of the recognition target (S11).

また、ユーザにより着目領域が指定された場合には(S12でYES)、映像受信装置20の着目領域決定部29は、着目領域を、指定された着目領域に更新する(S13)。   When the attention area is designated by the user (YES in S12), the attention area determination unit 29 of the video receiving device 20 updates the attention area to the designated attention area (S13).

ステップS11またはS13において更新された着目領域を指定するための着目領域指定情報は、ステップS1において、映像受信装置20から映像送信装置10に送信される。   The region-of-interest designation information for designating the region of interest updated in step S11 or S13 is transmitted from the video reception device 20 to the video transmission device 10 in step S1.

図8は、圧縮処理(図4のステップS3)の詳細を示すフローチャートである。
図2および図8を参照して、ブロック分割部13は、取得部12が取得した1画面分の画像データを、複数のブロックデータに分割する(S21)。
FIG. 8 is a flowchart showing details of the compression process (step S3 in FIG. 4).
2 and 8, the block dividing unit 13 divides the image data for one screen acquired by the acquiring unit 12 into a plurality of block data (S21).

映像送信装置10は、分割後の各ブロックデータに対して、以下に説明するステップS22〜S26の処理を実行する(ループA)。   The video transmitting apparatus 10 performs the processing of steps S22 to S26 described below for each block data after division (loop A).

つまり、データ分配部14は、着目領域指定情報取得処理(図4のステップS1)で取得された着目領域指定情報を参照して、処理対象のブロックデータが属するブロックが着目領域に含まれているか否かを判定する(S22)。   That is, the data distribution unit 14 refers to the attention area designation information acquired in the attention area designation information acquisition process (step S1 in FIG. 4), and whether the block to which the block data to be processed belongs is included in the attention area. It is determined whether or not (S22).

該ブロックが着目領域に含まれていると判定された場合には(S22でYES)、データ分配部14は、処理対象のブロックデータを低圧縮部15Bに出力し、低圧縮部15Bは、該ブロックデータに対して圧縮処理を施す(S23)。   If it is determined that the block is included in the region of interest (YES in S22), the data distribution unit 14 outputs the block data to be processed to the low compression unit 15B, and the low compression unit 15B A compression process is performed on the block data (S23).

圧縮部15は、低圧縮部15Bによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Lを付加する(S24)。   The compression unit 15 adds the compression information L to the compressed block data that is the block data that has been compressed by the low compression unit 15B (S24).

一方、該ブロックが着目領域に含まれていないと判定された場合には(S22でNO)、データ分配部14は、処理対象のブロックデータを高圧縮部15Aに出力し、高圧縮部15Aは、該ブロックデータに対して圧縮処理を施す(S25)。   On the other hand, if it is determined that the block is not included in the region of interest (NO in S22), the data distribution unit 14 outputs the block data to be processed to the high compression unit 15A, and the high compression unit 15A Then, compression processing is performed on the block data (S25).

圧縮部15は、高圧縮部15Aによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Hを付加する(S26)。   The compression unit 15 adds the compression information H to the compressed block data that is the block data that has been compressed by the high compression unit 15A (S26).

以上説明した圧縮処理(図4のステップS3、図8)により、図5に示す画像データ60中の着目領域70に含まれるブロックデータが、着目領域70に含まれないブロックデータよりも低圧縮率の圧縮方式で圧縮される。つまり、着目領域70に含まれるブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持される方式で圧縮される。一方、着目領域70に含まれないブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持されるか否かに拘わらず伝送レートを抑えるように圧縮される。   By the compression processing described above (step S3 in FIG. 4 and FIG. 8), the block data included in the attention area 70 in the image data 60 shown in FIG. 5 is lower in compression rate than the block data not included in the attention area 70. The compression method is used. That is, the block data included in the region of interest 70 is compressed by a method that maintains visual identity with the block data before compression when decompressed. On the other hand, block data not included in the region of interest 70 is compressed so as to suppress the transmission rate when decompressed, regardless of whether or not visual identity with the block data before compression is maintained.

図9は、伸長処理(図4のステップS7)の詳細を示すフローチャートである。
図3および図9を参照して、映像受信装置20は、1画面を構成する各圧縮ブロックデータに対して、以下に説明するステップS31〜S34の処理を実行する(ループB)。
FIG. 9 is a flowchart showing details of the decompression process (step S7 in FIG. 4).
Referring to FIGS. 3 and 9, video receiving apparatus 20 executes the processes of steps S31 to S34 described below for each compressed block data constituting one screen (loop B).

つまり、方式処理部24は、復号化部22が復号化した圧縮ブロックデータに付加された圧縮情報を復号化部22から受け、当該圧縮情報が圧縮情報Lであるか否かを判定する(S31)。   That is, the scheme processing unit 24 receives the compression information added to the compressed block data decoded by the decoding unit 22 from the decoding unit 22, and determines whether or not the compressed information is the compression information L (S31). ).

圧縮ブロックデータに付加された圧縮情報が圧縮情報Lであると判定された場合には(S31でYES)、方式処理部24は、伸長部23に対して圧縮情報Lが示す圧縮方法および圧縮パラメータを伸長部23に通知し、伸長部23は、方式処理部24から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する(S32)。   If it is determined that the compression information added to the compressed block data is the compression information L (YES in S31), the method processing unit 24 sends the compression method and compression parameter indicated by the compression information L to the decompression unit 23. Is transmitted to the decompression unit 23, and the decompression unit 23 decompresses the compressed block data in accordance with the compression method and compression parameters received from the method processing unit 24 (S32).

圧縮ブロックデータに付加された圧縮情報が圧縮情報Lではないと判定された場合には(S31でNO)、方式処理部24は、圧縮ブロックデータに付加された圧縮情報が圧縮情報Hであるか否かを判定する(S33)。   If it is determined that the compression information added to the compressed block data is not the compressed information L (NO in S31), the method processing unit 24 determines whether the compressed information added to the compressed block data is the compressed information H. It is determined whether or not (S33).

圧縮ブロックデータに付加された圧縮情報が圧縮情報Hであると判定された場合には(S33でYES)、方式処理部24は、伸長部23に対して圧縮情報Hが示す圧縮方法および圧縮パラメータを伸長部23に通知し、伸長部23は、方式処理部24から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する(S34)。   When it is determined that the compression information added to the compressed block data is the compression information H (YES in S33), the method processing unit 24 sends the compression method and compression parameter indicated by the compression information H to the decompression unit 23. Is transmitted to the decompression unit 23, and the decompression unit 23 decompresses the compressed block data according to the compression method and compression parameters received from the method processing unit 24 (S34).

ループBの処理の後、ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる(S35)。   After the processing of Loop B, the block synthesis unit 25 generates a part of the screen from the block data received from the decompression unit 23, and arranges a part of the generated screen in the order received from the decompression unit 23. Complete (S35).

以上説明した伸長処理(図4のステップS7、図9)により、図6に示すような画像データ61が生成される。つまり、画像データ61中の着目領域71に含まれるブロックデータは、映像送信装置10での圧縮前の画像データと視覚的な同一性が保持される。一方、画像データ61中の着目領域71に含まれないブロックデータは、映像送信装置10での圧縮前のブロックデータと視覚的な同一性が保持されず、例えば、圧縮前のブロックデータをぼかして分解能を低下させた映像が得られる。   Image data 61 as shown in FIG. 6 is generated by the expansion processing described above (step S7 in FIG. 4, FIG. 9). That is, the block data included in the region of interest 71 in the image data 61 retains visual identity with the image data before compression in the video transmission device 10. On the other hand, the block data not included in the region of interest 71 in the image data 61 does not maintain visual identity with the block data before compression in the video transmission device 10. For example, the block data before compression is blurred. An image with reduced resolution can be obtained.

<実施の形態1の効果>
以上説明したように、本発明の実施の形態1によると、着目領域に含まれるブロックデータが、着目領域に含まれないブロックデータよりも低い圧縮率で圧縮される。これにより、着目領域内の単位画素ブロック(m×n画素、m、nは自然数)当たりのデータ量が、着目領域外の単位画素ブロック当たりのデータ量よりも大きくなるような圧縮処理が施される。つまり、映像受信装置20側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置10から映像受信装置20に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
<Effect of Embodiment 1>
As described above, according to Embodiment 1 of the present invention, block data included in the attention area is compressed at a lower compression rate than block data not included in the attention area. As a result, compression processing is performed so that the data amount per unit pixel block (m × n pixels, m and n are natural numbers) in the region of interest is larger than the data amount per unit pixel block outside the region of interest. The That is, the video data subjected to the compression process so that the transmission rate per unit pixel block in the target area designated on the video receiving device 20 side is larger than the transmission rate per unit pixel block outside the target area. The video transmission device 10 can transmit to the video reception device 20. As a result, a compression process is performed to maintain the visual identity of the target area of the video data with the original video, while an area outside the target area is maintained regardless of the visual identity with the original video. In addition, the transmission rate can be kept low. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

また、ユーザは、映像受信装置20を操作して、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置20に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置20から映像送信装置10に対して送信される。映像送信装置10は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置20に送信することができる。   In addition, the user can view a high-definition video of the target area by operating the video receiving device 20 and designating the target area where visual identity is desired to be maintained. That is, when the user designates a region of interest for which high-definition video data is to be viewed with respect to the video reception device 20, the designation information is transmitted from the video reception device 20 to the video transmission device 10. The video transmission device 10 can transmit the video data after the compression processing to the video reception device 20 after performing compression processing that maintains visual identity with respect to the region of interest of the video data.

また、映像受信装置20は、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置20から映像送信装置10に対して送信される。映像送信装置10は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置20に送信することができる。このため、ユーザは、着目領域に含まれる対象の高精細な映像を見ることができる。また、映像受信装置20または映像受信装置20に接続された装置で、高精細な映像データに基づく処理を行うことができる。   In addition, the video reception device 20 can set a region including a target recognized by the image recognition process as a region of interest. Information for designating the region of interest is transmitted from the video receiver 20 to the video transmitter 10. The video transmission device 10 can transmit the video data after the compression processing to the video reception device 20 after performing compression processing that maintains visual identity with respect to the region of interest of the video data. For this reason, the user can view a high-definition image of the target included in the region of interest. Further, processing based on high-definition video data can be performed by the video reception device 20 or a device connected to the video reception device 20.

また、映像受信装置20は、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置40に表示させることができる。   In addition, the video receiving device 20 can cut out video data of the region of interest and process the cut out video data. Thereby, for example, only the video data of the region of interest can be displayed on the display device 40.

(実施の形態2)
実施の形態1では、着目領域に含まれない画像データを、着目領域に含まれる画像データよりも高い圧縮率で圧縮することにより、伝送レートを抑えることとした。これに対し、実施の形態2では、着目領域に含まれない画像データのフレームレートを、着目領域に含まれる画像データのフレームレートよりも低くすることにより伝送レートを抑える。
(Embodiment 2)
In the first embodiment, the transmission rate is suppressed by compressing the image data not included in the region of interest at a higher compression rate than the image data included in the region of interest. In contrast, in the second embodiment, the transmission rate is suppressed by making the frame rate of image data not included in the region of interest lower than the frame rate of image data included in the region of interest.

実施の形態2に係る映像伝送システム1、映像送信装置10および映像受信装置20の構成は、実施の形態1と同様である。   The configurations of the video transmission system 1, the video transmission device 10, and the video reception device 20 according to the second embodiment are the same as those of the first embodiment.

ただし、映像送信装置10および映像受信装置20が実行する処理が、実施の形態1と一部異なる。   However, the processes executed by the video transmission device 10 and the video reception device 20 are partly different from those in the first embodiment.

つまり、映像送信装置10の高圧縮部15Aは、データ分配部14からブロックデータを受け、受けたブロックデータをフレーム間引きして、実施の形態1と同様の圧縮処理を行った後、出力する。例えば、高圧縮部15Aは、kフレーム(kは2以上の整数)につき、1フレームのブロックデータを圧縮処理し、残りの(k−1)フレームのブロックデータについては廃棄する。   That is, the high compression unit 15A of the video transmission apparatus 10 receives the block data from the data distribution unit 14, thins out the received block data, performs a compression process similar to that of the first embodiment, and outputs the result. For example, the high compression unit 15A compresses block data of one frame per k frames (k is an integer of 2 or more), and discards the block data of the remaining (k−1) frames.

一方、映像送信装置10の低圧縮部15Bは、実施の形態1と同様に、データ分配部14から受けたブロックデータをフレーム間引きすることなく圧縮処理する。   On the other hand, as in the first embodiment, the low compression unit 15B of the video transmission device 10 performs compression processing on the block data received from the data distribution unit 14 without thinning out the frames.

図10は、本発明の実施の形態2に係る高圧縮部15Aおよび低圧縮部15Bによるブロックデータの圧縮処理を説明するための図である。   FIG. 10 is a diagram for explaining block data compression processing by the high compression unit 15A and the low compression unit 15B according to Embodiment 2 of the present invention.

図10を参照して、低圧縮部15Bは、着目領域72に含まれるブロックデータについて、フレーム間引きすることなく圧縮処理する。一方、高圧縮部15Aは、着目領域72に含まれないブロックデータについては、フレーム間引きして圧縮処理する。例えば、高圧縮部15Aは、画像データ64および65の間のフレームについては間引き、画像データ64および65のそれぞれの着目領域72に含まれないブロックデータについて圧縮処理を行う。   Referring to FIG. 10, the low compression unit 15B compresses the block data included in the region of interest 72 without performing frame thinning. On the other hand, the high compression unit 15A compresses the block data not included in the region of interest 72 by thinning out the frames. For example, the high compression unit 15A thins out the frame between the image data 64 and 65, and performs compression processing on the block data that is not included in the focus area 72 of each of the image data 64 and 65.

映像受信装置20のブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより1画面を完成させる。ただし、ブロック合成部25は、フレーム間引きされることによりブロックデータが存在しないブロックについては、過去フレームの同じブロックのブロックデータを代わりに用いて1画面を完成させる。   The block synthesizing unit 25 of the video receiving device 20 generates a part of the screen from the block data received from the decompressing unit 23 and arranges the generated part of the screen in the order received from the decompressing unit 23 to complete one screen. . However, the block synthesizing unit 25 completes one screen by using the block data of the same block in the past frame as a substitute for the block in which the block data is not present due to frame thinning.

以上説明したように、実施の形態2によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。   As described above, according to the second embodiment, the transmission rate per unit pixel block outside the region of interest can be kept low by reducing the frame rate for the region outside the region of interest of the video data. Therefore, since the transmission rate can be kept low for the entire video data, real-time delivery of video data that retains the visual identity of the recognition target with the original video is possible.

(変形例)
実施の形態1および2で説明した映像受信装置20は、圧縮ブロックデータを伸長し、1画面分のブロックデータを合成して画像データを作成した後に、着目領域の画像データを切り出した。しかし、着目領域の画像データのみを表示する場合のように、着目領域の画像データのみが必要で、着目領域外の画像データが不必要な場合には、必要な着目領域のブロックデータのみを伸長するようにしてもよい。
(Modification)
The video reception device 20 described in the first and second embodiments decompresses the compressed block data, synthesizes block data for one screen, creates image data, and then cuts out the image data of the region of interest. However, if only the image data of the target area is required and only the image data outside the target area is unnecessary as in the case of displaying only the image data of the target area, only the block data of the necessary target area is expanded. You may make it do.

図11は、本発明の変形例に係る映像受信装置の構成を示すブロック図である。
映像受信装置20Aは、映像受信装置20と同様に、コンピュータにより実現することができる。
FIG. 11 is a block diagram showing a configuration of a video receiving apparatus according to a modified example of the present invention.
The video reception device 20 </ b> A can be realized by a computer in the same manner as the video reception device 20.

ただし、映像受信装置20と異なり、復号化部22と伸長部23との間に切出し部26が設けられている。   However, unlike the video reception device 20, a cutout unit 26 is provided between the decoding unit 22 and the decompression unit 23.

つまり、切出し部26は、復号化部22が復号した1画面分の圧縮ブロックデータのうち、着目領域決定部29が決定した着目領域に含まれる圧縮ブロックデータを切り出し、切り出した圧縮ブロックデータから圧縮情報Hまたは圧縮情報Lを取り除いた圧縮ブロックデータを位置順に伸長部23に出力する。また、切出し部26は、切り出した圧縮ブロックデータから取り除いた圧縮情報Hまたは圧縮情報Lを、位置順に方式処理部24に出力する。   That is, the cutout unit 26 cuts out the compressed block data included in the region of interest determined by the region of interest determination unit 29 from the compressed block data for one screen decoded by the decoding unit 22, and compresses the compressed block data from the cut out compressed block data. The compressed block data from which the information H or the compressed information L is removed is output to the decompression unit 23 in the order of position. Further, the cutout unit 26 outputs the compression information H or the compression information L removed from the cut out compressed block data to the method processing unit 24 in the order of position.

方式処理部24は、切出し部26から受けた圧縮情報Hまたは圧縮情報Lから、圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部23に通知する。   The method processing unit 24 acquires the compression method and compression parameters from the compression information H or the compression information L received from the cutout unit 26 and notifies the expansion unit 23 of the acquired compression method and compression parameters.

伸長部23は、方式処理部24から通知された圧縮方法に従って、方式処理部24から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。これにより、伸長部23は、切出し部26が切り出した着目領域に含まれる圧縮ブロックデータのみを伸長することができる。   The decompression unit 23 decompresses the compressed block data using the compression parameter notified from the method processing unit 24 in accordance with the compression method notified from the method processing unit 24. Thereby, the decompression unit 23 can decompress only the compressed block data included in the region of interest cut out by the cutout unit 26.

ブロック合成部25は、伸長部23から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部23から受けた順番に並べることにより着目領域の画面を完成させる。ブロック合成部25は、完成させた着目領域の画面を示す画像データを、表示制御部27および画像認識部28に出力する。   The block synthesizing unit 25 generates a part of the screen from the block data received from the decompressing unit 23 and arranges the part of the generated screen in the order received from the decompressing unit 23 to complete the screen of the region of interest. The block synthesis unit 25 outputs image data indicating the screen of the completed region of interest to the display control unit 27 and the image recognition unit 28.

表示制御部27は、ブロック合成部25から画像データを受けると、受けた画像データの示す着目領域の画面を所定のフレーム周期で表示装置40に表示させる制御を行う。   When the display control unit 27 receives the image data from the block synthesis unit 25, the display control unit 27 performs control for causing the display device 40 to display the screen of the region of interest indicated by the received image data at a predetermined frame period.

画像認識部28は、伸長部23から取得した着目領域の画像データに基づいて、認識対象の抽出を行う。   The image recognition unit 28 extracts a recognition target based on the image data of the region of interest acquired from the decompression unit 23.

本変形例によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置20に設けられる伸長処理のために必要なメモリの容量を削減することができる。   According to this modification, after the video data of the region of interest is cut out, the decompression process can be performed only on the cut out video data. That is, there is no need to perform decompression processing on video data that has not been cut out. For this reason, it is possible to reduce the memory capacity required for the decompression process provided in the video reception device 20.

(付記)
以上、本発明の実施の形態に係る映像伝送システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
(Appendix)
Although the video transmission system according to the embodiment of the present invention has been described above, the present invention is not limited to this embodiment.

上述の実施の形態および変形例では、圧縮部15は、高圧縮部15Aおよび低圧縮部15Bからなる圧縮率の異なる2つの圧縮部を備えることとしたが、圧縮部15は、圧縮率の異なる3つ以上の圧縮部を備えていてもよい。例えば、圧縮部15は、高圧縮部15Aおよび低圧縮部15Bに加えて、高圧縮部15Aよりも圧縮率が低く、かつ低圧縮部15Bよりも圧縮率の高い中圧縮部を備えていてもよい。圧縮部15は、中圧縮部による圧縮処理後のブロックデータに圧縮情報Mを付加する。これに伴い、映像受信装置20(20A)の着目領域決定部29が決定する着目領域が、低圧縮部15Bによる圧縮対象とされる第1着目領域と、中圧縮部による圧縮対象とされる第2着目領域とに分かれていてもよい。例えば、例えば、人物領域のうち特に重要な顔部分を第1着目領域として指定することにより、顔部分の画像を低い圧縮率で圧縮し、顔部分に比べ重要度の低い胴体部分を第2着目領域として指定することにより、胴体部分の画像を中程度の圧縮率で圧縮することができる。これにより、配信される映像データのデータ量を減少させつつ、重要な部分については、オリジナル映像との視覚的な同一性を保持することができる。   In the above-described embodiment and modification, the compression unit 15 includes the two compression units having different compression ratios including the high compression unit 15A and the low compression unit 15B. However, the compression unit 15 has different compression ratios. Three or more compression units may be provided. For example, the compression unit 15 may include an intermediate compression unit having a lower compression ratio than the high compression unit 15A and a higher compression ratio than the low compression unit 15B in addition to the high compression unit 15A and the low compression unit 15B. Good. The compression unit 15 adds the compression information M to the block data after the compression processing by the medium compression unit. Accordingly, the target area determined by the target area determining unit 29 of the video reception device 20 (20A) is the first target area to be compressed by the low compression unit 15B and the first target area to be compressed by the medium compression unit. It may be divided into two regions of interest. For example, for example, by designating a particularly important face portion of the human region as the first region of interest, the image of the face portion is compressed at a low compression rate, and the body portion that is less important than the face portion is secondly focused. By designating as a region, the image of the body part can be compressed at a medium compression rate. As a result, it is possible to maintain visual identity with the original video for important portions while reducing the amount of video data to be distributed.

また、映像伝送システムに含まれる映像送信装置および映像受信装置を構成する構成要素の一部または全部は、1個のシステムLSI、ASICまたはFPGAなどの半導体装置から構成されているとしてもよい。ここで、システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。例えば、本開示は、付記1または付記2として実現することもできる。   Further, some or all of the components constituting the video transmission device and the video reception device included in the video transmission system may be configured by a single semiconductor device such as a system LSI, ASIC, or FPGA. Here, the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, the system LSI includes a microprocessor, a ROM, a RAM, and the like. System. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program. For example, the present disclosure can be realized as Appendix 1 or Appendix 2.

<付記1>
映像送信装置から受信した映像データであって、画面内の着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された上記映像データを伸長する伸長部と、
上記着目領域を指定するための情報を、上記映像送信装置に送信する送信部とを備える、半導体装置。
<Appendix 1>
The video data received from the video transmission device, wherein the transmission rate per unit pixel block in the target area in the screen is compressed higher than the transmission rate per unit pixel block outside the target area A decompression unit for decompressing video data;
A semiconductor device comprising: a transmission unit that transmits information for designating the region of interest to the video transmission device.

<付記2>
映像データを取得する取得部と、
映像受信装置から受信した上記映像データの画面内の着目領域を指定するための情報に基づいて、上記着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、上記取得部が取得した上記映像データに対して行う圧縮部とを備える、半導体装置。
<Appendix 2>
An acquisition unit for acquiring video data;
Based on the information for designating the target area in the screen of the video data received from the video receiver, the transmission rate per unit pixel block in the target area is the transmission per unit pixel block outside the target area. A semiconductor device comprising: a compression unit that performs compression processing greater than a rate on the video data acquired by the acquisition unit.

また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。   Further, the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer.

さらに、本発明は、上記コンピュータプログラムをコンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD−ROM、半導体メモリなどに記録したものとしてもよい。   Furthermore, the present invention may be a computer-readable non-transitory recording medium such as an HDD, a CD-ROM, or a semiconductor memory.

また、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記各装置は、複数のコンピュータにより実現されてもよい。
Further, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
Each of the above devices may be realized by a plurality of computers.

また、上記各装置の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、映像受信装置20の画像認識部28の機能がクラウドサーバにより実現され、映像受信装置20は、クラウドサーバに対して切出し部26が切り出した画像データを送信し、クラウドサーバから画像認識結果を取得する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
In addition, some or all of the functions of each of the above devices may be provided by cloud computing. That is, some or all of the functions of each device may be realized by the cloud server. For example, the function of the image recognition unit 28 of the video reception device 20 is realized by a cloud server, and the video reception device 20 transmits the image data extracted by the extraction unit 26 to the cloud server, and the image recognition result is received from the cloud server. The structure which acquires may be sufficient.
Furthermore, the above embodiment and the above modification examples may be combined.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

1 映像伝送システム
2 監視対象エリア
10 映像送信装置
11 撮像部
12 取得部
13 ブロック分割部
14 データ分配部
15 圧縮部
15A 高圧縮部
15B 低圧縮部
16 符号化部
17 送信部
18 受信部
20 映像受信装置
20A 映像受信装置
21 受信部
22 復号化部
23 伸長部
24 方式処理部
25 ブロック合成部
26 切出し部
27 表示制御部
28 画像認識部
29 着目領域決定部
30 位置情報取得部
31 送信部
40 表示装置
50 ネットワーク
DESCRIPTION OF SYMBOLS 1 Video transmission system 2 Monitoring object area 10 Video transmission apparatus 11 Imaging part 12 Acquisition part 13 Block division part 14 Data distribution part 15 Compression part 15A High compression part 15B Low compression part 16 Encoding part 17 Transmission part 18 Reception part 20 Video reception Device 20A Video receiving device 21 Receiving unit 22 Decoding unit 23 Decompression unit 24 Method processing unit 25 Block composition unit 26 Extraction unit 27 Display control unit 28 Image recognition unit 29 Region of interest determination unit 30 Position information acquisition unit 31 Transmission unit 40 Display device 50 network

Claims (15)

映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、
前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、
前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、
前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う
映像伝送システム。
A video transmission device that acquires video data, performs compression processing on the acquired video data, and transmits the compressed video data;
A video reception device that receives the compressed video data from the video transmission device and performs a decompression process on the received video data;
The video reception device transmits information for designating a region of interest in the screen of the video data to the video transmission device,
The video transmission device, based on the information received from the video reception device, the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest. A video transmission system for performing processing on the acquired video data.
前記映像送信装置は、前記着目領域内の圧縮率が前記着目領域外の圧縮率よりも低い前記圧縮処理を、取得した前記映像データに対して行う
請求項1に記載の映像伝送システム。
The video transmission system according to claim 1, wherein the video transmission device performs the compression process on the acquired video data, in which a compression rate in the region of interest is lower than a compression rate outside the region of interest.
前記映像送信装置は、前記映像データの画面を分割した複数のブロックのうち前記着目領域内のブロックに対するブロックごとの圧縮処理、前記着目領域内の映像データに対する可逆圧縮処理、前記着目領域内の映像データに対する非圧縮処理の少なくとも1つの処理を含む前記圧縮処理を、取得した前記映像データに対して行う
請求項2に記載の映像伝送システム。
The video transmission device includes: a block-by-block compression process for blocks in the target area among a plurality of blocks obtained by dividing the screen of the video data; a lossless compression process for video data in the target area; and a video in the target area The video transmission system according to claim 2, wherein the compression processing including at least one of non-compression processing for data is performed on the acquired video data.
前記映像送信装置は、前記着目領域内のフレームレートが前記着目領域外のフレームレートよりも高い前記圧縮処理を、取得した前記映像データに対して行う
請求項1〜請求項3のいずれか1項に記載の映像伝送システム。
The said video transmission apparatus performs the said compression process with a frame rate in the said attention area higher than a frame rate outside the said attention area with respect to the acquired said video data. The video transmission system described in 1.
前記映像受信装置は、ユーザ操作による前記着目領域を指定するための情報を、前記映像送信装置に送信する
請求項1〜請求項4のいずれか1項に記載の映像伝送システム。
The video transmission system according to any one of claims 1 to 4, wherein the video reception device transmits information for designating the region of interest by a user operation to the video transmission device.
前記映像受信装置は、前記伸長処理済みの前記映像データから所定の対象を認識する画像認識処理を行い、認識された前記所定の対象を含む領域を前記着目領域として、当該着目領域を指定するための情報を、前記映像送信装置に送信する
請求項1〜請求項4のいずれか1項に記載の映像伝送システム。
The video receiving apparatus performs image recognition processing for recognizing a predetermined target from the decompressed video data, and designates the target area as a target area that includes the recognized target. The video transmission system according to claim 1, wherein the information is transmitted to the video transmission device.
前記映像受信装置は、前記伸長処理済みの前記映像データから、前記着目領域の映像データを切り出す
請求項1〜請求項6のいずれか1項に記載の映像伝送システム。
The video transmission system according to any one of claims 1 to 6, wherein the video reception device cuts out video data of the region of interest from the video data that has been subjected to the decompression process.
前記映像受信装置は、前記圧縮処理済みの前記映像データから、前記着目領域の映像データを切り出し、切り出した前記映像データに対して前記伸長処理を行う
請求項1〜請求項6のいずれか1項に記載の映像伝送システム。
The video receiving device cuts out video data of the region of interest from the compressed video data, and performs the expansion processing on the cut out video data. The video transmission system described in 1.
映像データを取得する取得部と、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
を備える映像送信装置。
An acquisition unit for acquiring video data;
A receiving unit that receives information for designating a region of interest in a screen of the video data from a video receiving device;
Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit for performing the video data;
A video transmission device comprising: a transmission unit that transmits the video data that has been subjected to the compression processing by the compression unit to the video reception device.
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
を備える映像受信装置。
A receiving unit that receives, from a video transmission device, video data that has been subjected to compression processing in which a transmission rate per unit pixel block in a region of interest in a screen is greater than a transmission rate per unit pixel block outside the region of interest; ,
A decompression unit for decompressing the video data received by the reception unit;
A video reception device comprising: a transmission unit that transmits information for designating the region of interest to the video transmission device.
コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、
前記コンピュータを、
映像データを取得する取得部と、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
して機能させるコンピュータプログラム。
A computer program for causing a computer to function as a video transmission device,
The computer,
An acquisition unit for acquiring video data;
A receiving unit that receives information for designating a region of interest in a screen of the video data from a video receiving device;
Based on the information received by the reception unit, the acquisition unit acquires a compression process in which a transmission rate per unit pixel block in the region of interest is larger than a transmission rate per unit pixel block outside the region of interest. A compression unit for performing the video data;
A computer program that causes the video data that has been compressed by the compression unit to function as a transmission unit that transmits the video data to the video reception device.
コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、
前記コンピュータを、
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
して機能させるコンピュータプログラム。
A computer program for causing a computer to function as a video receiving device,
The computer,
A receiving unit that receives, from a video transmission device, video data that has been subjected to compression processing in which a transmission rate per unit pixel block in a target area in a screen is greater than a transmission rate per unit pixel block outside the target area; ,
A decompression unit for decompressing the video data received by the reception unit;
A computer program that causes information for designating the region of interest to function as a transmission unit that transmits to the video transmission device.
映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、
前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、
前記映像送信装置が、映像データを取得し、
前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、
前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、
前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する
映像配信方法。
The video receiving device transmits information for designating the region of interest in the screen to the video transmitting device,
The video transmission device receives information for designating the region of interest from the video reception device,
The video transmission device acquires video data,
Based on the received information, the video transmission device has acquired a compression process in which a transmission rate per unit pixel block in the target area is larger than a transmission rate per unit pixel block outside the target area. For video data,
The video transmission device transmits the compressed video data to the video reception device;
The video reception device receives the compressed video data from the video transmission device;
A video delivery method in which the video receiving device decompresses the compressed video data.
映像データを取得し、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、
受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する
映像送信方法。
Get video data,
Receiving information for designating a region of interest in the screen of the video data from the video receiver;
Based on the received information, compression processing is performed on the acquired video data in which the transmission rate per unit pixel block in the region of interest is larger than the transmission rate per unit pixel block outside the region of interest. ,
A video transmission method for transmitting the compressed video data to the video receiver.
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、
受信した前記映像データを伸長し、
前記着目領域を指定するための情報を、前記映像送信装置に送信する
映像受信方法。
From the video transmission device, receives video data subjected to compression processing in which the transmission rate per unit pixel block in the target area in the screen is larger than the transmission rate per unit pixel block outside the target area,
Decompress the received video data,
A video reception method for transmitting information for designating the region of interest to the video transmission device.
JP2017145210A 2017-07-27 2017-07-27 Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method Pending JP2019029746A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017145210A JP2019029746A (en) 2017-07-27 2017-07-27 Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017145210A JP2019029746A (en) 2017-07-27 2017-07-27 Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method

Publications (1)

Publication Number Publication Date
JP2019029746A true JP2019029746A (en) 2019-02-21

Family

ID=65476686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145210A Pending JP2019029746A (en) 2017-07-27 2017-07-27 Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method

Country Status (1)

Country Link
JP (1) JP2019029746A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062203A (en) * 2019-03-12 2019-07-26 中林信达(北京)科技信息有限责任公司 A kind of novel video acquisition method
CN115037727A (en) * 2022-08-10 2022-09-09 深圳海卫通网络科技有限公司 Broadband blocking processing method and device for shipborne satellite communication video transmission
WO2023132163A1 (en) * 2022-01-05 2023-07-13 住友電気工業株式会社 Video compression method, video compression device, computer program, and video processing system
WO2024070190A1 (en) * 2022-09-27 2024-04-04 パナソニックIpマネジメント株式会社 Transmitter/receiver system, receiver, transmitter, transmitting/receiving method, method for controlling receiver, method for controlling transmitter, and program
DE112021007596T5 (en) 2021-04-28 2024-04-11 Mitsubishi Electric Corporation VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION METHOD AND VIDEO RECEIVING DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (en) * 1994-04-20 1995-10-31 Hitachi Ltd Moving image communication system
JP2005517331A (en) * 2002-02-04 2005-06-09 ポリコム・インコーポレイテッド Apparatus and method for providing electronic image manipulation in a video conference application
JP2007274621A (en) * 2006-03-31 2007-10-18 Victor Co Of Japan Ltd Image transmission system and image transmission method
JP2013090078A (en) * 2011-10-17 2013-05-13 Nikon Corp Image encoding device, imaging device, and control program
WO2014127153A1 (en) * 2013-02-14 2014-08-21 Red. Com, Inc. Video camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (en) * 1994-04-20 1995-10-31 Hitachi Ltd Moving image communication system
JP2005517331A (en) * 2002-02-04 2005-06-09 ポリコム・インコーポレイテッド Apparatus and method for providing electronic image manipulation in a video conference application
JP2007274621A (en) * 2006-03-31 2007-10-18 Victor Co Of Japan Ltd Image transmission system and image transmission method
JP2013090078A (en) * 2011-10-17 2013-05-13 Nikon Corp Image encoding device, imaging device, and control program
WO2014127153A1 (en) * 2013-02-14 2014-08-21 Red. Com, Inc. Video camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062203A (en) * 2019-03-12 2019-07-26 中林信达(北京)科技信息有限责任公司 A kind of novel video acquisition method
DE112021007596T5 (en) 2021-04-28 2024-04-11 Mitsubishi Electric Corporation VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION METHOD AND VIDEO RECEIVING DEVICE
WO2023132163A1 (en) * 2022-01-05 2023-07-13 住友電気工業株式会社 Video compression method, video compression device, computer program, and video processing system
CN115037727A (en) * 2022-08-10 2022-09-09 深圳海卫通网络科技有限公司 Broadband blocking processing method and device for shipborne satellite communication video transmission
CN115037727B (en) * 2022-08-10 2022-11-11 深圳海卫通网络科技有限公司 Broadband blocking processing method and device for shipborne satellite communication video transmission
WO2024070190A1 (en) * 2022-09-27 2024-04-04 パナソニックIpマネジメント株式会社 Transmitter/receiver system, receiver, transmitter, transmitting/receiving method, method for controlling receiver, method for controlling transmitter, and program

Similar Documents

Publication Publication Date Title
JP2019029746A (en) Video transmission system, video transmitter, video receiver, computer program, video distribution method, video transmission method and video reception method
US11057646B2 (en) Image processor and image processing method
US9462296B2 (en) Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
TWI569629B (en) Techniques for inclusion of region of interest indications in compressed video data
US20070133675A1 (en) Video transmitting apparatus and video receiving apparatus
CN109451310B (en) Rate distortion optimization method and device based on significance weighting
US20130121588A1 (en) Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images
JP6988394B2 (en) Video transmission system, video transmission device, video reception device, video transmission method, video reception method and computer program
JP2014168150A (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image encoding/decoding system
US20230007282A1 (en) Image transmission method and apparatus
Narayanan et al. Multiframe adaptive Wiener filter super-resolution with JPEG2000-compressed images
US20120007951A1 (en) System and format for encoding data and three-dimensional rendering
EP4203474A1 (en) Image processing method and apparatus, device, and computer readable storage medium
KR20160109617A (en) Decoding apparatus of digital video
US8798379B2 (en) Image processing method, encoding device, decoding device, and image processing apparatus
JP2010062792A (en) Image compression apparatus, image decompression apparatus, image compression program, and image decompression program
CN110662071B (en) Video decoding method and device, storage medium and electronic device
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
KR20140030535A (en) Apparatus and method for encoding image, apparatus and method for decoding image
JP2006246351A (en) Image coding unit and image decoding unit
EP2063637A2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
US20120075431A1 (en) Stereo image handling device and method
CN113781336A (en) Image processing method and device, electronic equipment and storage medium
KR20190081413A (en) Apparatus and method for transmitting and receiving video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211215

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220301