JP2010288092A - Device and method for processing video - Google Patents
Device and method for processing video Download PDFInfo
- Publication number
- JP2010288092A JP2010288092A JP2009140547A JP2009140547A JP2010288092A JP 2010288092 A JP2010288092 A JP 2010288092A JP 2009140547 A JP2009140547 A JP 2009140547A JP 2009140547 A JP2009140547 A JP 2009140547A JP 2010288092 A JP2010288092 A JP 2010288092A
- Authority
- JP
- Japan
- Prior art keywords
- accompanying information
- image
- pixel
- video
- flicker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像に付随情報を挿入する映像処理装置および映像処理方法に関する。 The present invention relates to a video processing apparatus and a video processing method for inserting accompanying information into a video.
映像にパターンを重畳することによって、映像に付随情報を挿入することが、従来行われている。具体的には、例えば、位置、形状、輝度、色情報等に関して所定の規則で形成される図形やパターンを、予め映像の送信側と受信側との間で定義しておく。そして、送信側の映像処理装置は、定義に従って付随情報を画像に変換し、生成した画像（以下「付随情報画像」という）を映像に重畳する。一方、受信側の映像処理装置は、定義に従って映像から付随情報画像を抽出し、抽出した付随情報画像から付随情報を復元する。これにより、映像を媒体として付随情報を伝達することができる。 Conventionally, accompanying information is inserted into a video by superimposing a pattern on the video. Specifically, for example, figures and patterns formed according to predetermined rules with respect to position, shape, brightness, color information, etc. are defined in advance between the video transmission side and the video reception side. Then, the video processing apparatus on the transmission side converts the accompanying information into an image according to the definition, and superimposes the generated image (hereinafter referred to as “accompanying information image”) on the video. On the other hand, the video processing apparatus on the receiving side extracts the accompanying information image from the video according to the definition, and restores the accompanying information from the extracted accompanying information image. Thereby, accompanying information can be transmitted using video as a medium.
具体的には、例えば、表示の目的とする映像（以下「メイン映像」という）の表示領域以外の映像領域に、時刻情報等の付随情報画像を重畳する技術が、特許文献１に記載されている。また、物流分野等で広く用いられているバーコードのような多値コードのパターン画像を、付随情報画像として採用する技術が、特許文献２に記載されている。 Specifically, for example, Patent Document 1 discloses a technique for superimposing an accompanying information image such as time information on a video area other than a display area of a video to be displayed (hereinafter referred to as “main video”). Yes. Patent Document 2 discloses a technique that employs a pattern image of a multi-value code such as a barcode that is widely used in the physical distribution field or the like as an accompanying information image.
ところで、映像の保存や送信に際して、フレーム間圧縮を伴うエンコード処理を映像に対して行うことが、一般的に行われている。このようなフレーム間圧縮は、例えば、ＭＰＥＧ（motion picture expert group）で規定されるデジタル映像フォーマットにおいて用いられている。 By the way, when storing or transmitting a video, it is common to perform an encoding process with inter-frame compression on the video. Such interframe compression is used, for example, in a digital video format defined by MPEG (motion picture expert group).
フレーム間圧縮では、映像の劣化を抑えながら情報を切り捨てるための１つの手法として、動き補償と呼ばれるデータ圧縮処理が行われる。動き補償は、フレーム画像を区分した画素ブロックのうち、フレーム間の画素値の変化が大きい画素ブロックの情報量を高く保持し、他の画素ブロックの情報量を削減する処理である。言い換えると、動き補償は、フレーム間の画素値の変化が視認し難く微小であるほど、高い圧縮率で圧縮する処理である。 In inter-frame compression, a data compression process called motion compensation is performed as one method for truncating information while suppressing deterioration of video. Motion compensation is a process of keeping the information amount of a pixel block having a large change in pixel value between frames among pixel blocks obtained by dividing a frame image high and reducing the information amount of other pixel blocks. In other words, motion compensation is a process of compressing at a higher compression rate as the change in pixel value between frames is less visible and minute.
このように映像は、フレーム間圧縮を行うことにより、映像の劣化を抑えた状態でデータ量を大幅に削減することができ、映像のストリーミング配信等の各種用途への適用が容易となる。 In this way, by performing inter-frame compression, the amount of data of the video can be greatly reduced while suppressing the deterioration of the video, and application to various applications such as video streaming distribution becomes easy.
ところが、上述の付随情報画像を映像に挿入する場合、付随情報画像は、フレーム間圧縮によって、情報量の削減の影響を大きく受けるおそれがある。付随情報画像は、情報量の削減の影響で欠落が生じると、受信側で付随情報を正しく復元することができない。 However, when the above-described accompanying information image is inserted into a video, the accompanying information image may be greatly affected by the reduction in the amount of information due to inter-frame compression. If the accompanying information image is lost due to the reduction in the amount of information, the receiving side cannot correctly restore the accompanying information.
そこで、フレーム間圧縮を考慮して付随情報画像の重畳状態を制御する技術が、例えば特許文献３に記載されている。 Therefore, for example, Patent Literature 3 describes a technique for controlling the superimposed state of the accompanying information image in consideration of inter-frame compression.
図１は、特許文献３記載の情報付加装置の概略を示すブロック図である。情報付加装置１０は、ばらつき度演算部２０、付随情報生成部３０、付随情報挿入部４０、およびエンコード部５０を有する。
FIG. 1 is a block diagram showing an outline of an information adding device described in Patent Document 3. As shown in FIG. The
付随情報挿入部４０は、入力されたフレーム画像毎に、付随情報生成部３０が生成した付随情報を重畳する。このとき、ばらつき度演算部２０は、入力したフレーム毎、および画素ブロック毎に、画素ブロック内の画像信号のばらつき度を求める。そして、付随情報挿入部４０は、求めたばらつき度に応じて付加情報の重畳の仕方を変える。エンコード部５０は、付随情報画像が重畳された一連のフレーム画像に対して、動画データを得るためのエンコード処理を行う。これにより、映像処理装置１０は、外乱に対する付随情報画像のロバスト性（堅牢性）を向上させ、付随情報の伝達精度を向上させることができる。
The accompanying
しかしながら、特許文献３記載の技術では、付随情報画像の情報伝達量を増大させることが難しいという課題がある。 However, the technique described in Patent Document 3 has a problem that it is difficult to increase the information transmission amount of the accompanying information image.
理由は以下の通りである。メイン映像の表示領域を確保した状態で付随情報のある時間長さにおける情報伝達量を増やすためには、複数の付随情報を切り替えて表示することが有効である。この場合、付随情報画像は、映像の時間軸に対応して変化する。ところが、上述の通り、フレーム間圧縮処理においては、通常、フレーム間の画素値の変化が微小な画素ブロックは、時間周波数におけるＤＣＴ（離散コサイン変換）係数値等の量子化により、情報量が削減されてしまう。したがって、付随情報画像の画素値の変化が小さいほど、情報の削減が発生する可能性が高くなる。 The reason is as follows. In order to increase the amount of information transmitted in a certain length of time with accompanying information while securing the display area of the main video, it is effective to switch and display a plurality of accompanying information. In this case, the accompanying information image changes corresponding to the video time axis. However, as described above, in the inter-frame compression processing, the amount of information is usually reduced by quantizing a DCT (discrete cosine transform) coefficient value or the like at a time frequency in a pixel block in which a change in pixel value between frames is minute. Will be. Therefore, the smaller the change in the pixel value of the accompanying information image, the higher the possibility that information will be reduced.
このようなＤＣＴ係数の量子化による情報の削減は、付随情報画像の画素値の変化を大きくすることによって回避することができる。ところが、画素値の変化を大きくするためには、１つの情報に対応する画素値の幅を大きくしなければならない。すると、付随情報画像の多値分解能が低くなり、１つの付随情報によって伝達することが可能な情報量が小さくなる。 Such reduction of information by quantization of DCT coefficients can be avoided by increasing the change in the pixel value of the accompanying information image. However, in order to increase the change in pixel value, the width of the pixel value corresponding to one piece of information must be increased. Then, the multi-value resolution of the accompanying information image is lowered, and the amount of information that can be transmitted by one accompanying information is reduced.
本発明は、かかる点に鑑みてなされたものであり、付随情報画像の情報伝達量を増大させることができる映像処理装置および映像処理方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides a video processing apparatus and a video processing method capable of increasing an information transmission amount of an accompanying information image.
本発明の映像処理装置は、映像を構成する一連のフレーム画像を取得するフレーム画像取得部と、前記フレーム画像を単位として変化する付随情報画像を、前記フレーム画像のそれぞれに挿入する付随情報挿入部と、画素値が繰り返し変化するフリッカピクセルを、前記フレーム画像毎に挿入される前記付随情報画像のそれぞれに挿入するフリッカピクセル挿入部と、前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行う動画エンコード部とを有する。 A video processing apparatus according to the present invention includes a frame image acquisition unit that acquires a series of frame images constituting a video, and an accompanying information insertion unit that inserts an accompanying information image that changes in units of the frame image into each of the frame images. A flicker pixel insertion unit that inserts flicker pixels whose pixel values repeatedly change into each of the accompanying information images inserted for each frame image, and a series of the inserted information images including the flicker pixels. A moving image encoding unit that performs encoding processing with inter-frame compression processing on the frame image;
本発明の映像処理方法は、映像を構成する一連のフレーム画像を取得するステップと、前記フレーム画像を単位として変化する付随情報画像を生成するステップと、生成された付随情報画像のそれぞれに、画素値が繰り返し変化するフリッカピクセルを挿入するステップと、前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行うステップとを有する。 The video processing method of the present invention includes a step of acquiring a series of frame images constituting a video, a step of generating an accompanying information image that changes in units of the frame image, and a pixel associated with each of the generated accompanying information images. Inserting a flicker pixel whose value changes repeatedly, and performing an encoding process including an inter-frame compression process on a series of the frame images into which the accompanying information image including the flicker pixel is inserted.
本発明によれば、フリッカピクセルを付随情報画像に挿入することにより、符号化処理により付随情報画像の情報が削減されるのを防ぐことができ、付随情報画像の情報伝達量を増大させることができる。 According to the present invention, by inserting the flicker pixel into the accompanying information image, it is possible to prevent the information of the accompanying information image from being reduced by the encoding process, and to increase the information transmission amount of the accompanying information image. it can.
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（実施の形態１）
図２は、本発明の実施の形態１に係る映像処理装置を含む映像配信システムの構成を示すシステム構成図である。
(Embodiment 1)
FIG. 2 is a system configuration diagram showing the configuration of the video distribution system including the video processing device according to Embodiment 1 of the present invention.
図２において、映像配信システム１００は、映像の配信を行う側の装置である映像処理装置２００と、映像の配信を受ける側の装置である映像受信装置３００とを有する。映像処理装置２００および映像受信装置３００は、有線または無線によるデジタル通信ネットワークであるネットワーク４００に接続されている。ネットワーク４００には、例えば、同一の構成を有する多数の映像受信装置３００が接続される。なお、映像処理装置２００および映像受信装置３００は、放送網で接続されても良い。
2, the
映像処理装置２００は、ビデオカメラ５００によって撮影されたデジタル映像を一連のフレーム画像として取得し、取得したフレーム画像に対して所定のフレーム間圧縮処理を伴う所定のエンコード処理を行って、圧縮映像データを生成する。このとき、映像処理装置２００は、例えば、時計６００によって計測される現在時刻を付随情報として取得し、取得した付随情報を多値データ化した付随情報画像を生成する。そして、映像処理装置２００は、生成した付随情報画像を、フレーム画像のそれぞれに挿入する。さらにこのとき、映像処理装置２００は、画素値が繰り返し変化するフリッカピクセルを、フレーム画像毎に挿入される付随情報画像のそれぞれに挿入する。そして、映像処理装置２００は、生成した圧縮映像データを、ネットワーク４００を介して映像受信装置３００に配信する。
The
映像受信装置３００は、映像処理装置２００から受信した圧縮映像データに対して、上述の所定のエンコード処理に対応する所定のデコード処理を行い、元の映像を復元する。映像受信装置３００は、復元した映像からメイン映像と付随情報画像とをそれぞれ抽出し、抽出した付随情報画像から元の付随情報を復元する。そして、映像受信装置３００は、復元した映像および付随情報を、出力装置７００へ出力する。
The
出力装置７００は、例えば、入力される映像を画面表示するとともに、再生中の映像の撮影時刻を示す情報として、テキスト化された付随情報を画面表示する。
For example, the
このような映像配信システム１００は、配信される映像に付随情報を映像の一部として付加することができるので、付随情報の送受信のための特別な通信処理を行うことなく、付随情報を配信することができる。また、映像配信システム１００は、フレーム画像単位で、付随情報を映像に同期した状態で配信することができる。また、変化するフリッカピクセルを付随情報画像に挿入するので、付随情報画像の画素値の変化を大きくすることができ、フレーム間圧縮処理によって付随情報画像の情報の削減されるのを防ぐことができる。これにより、付随情報画像の多値分解能を高くすることができ、情報伝達量を増大させることができる。
Such a
次に、映像処理装置２００の構成および映像受信装置３００の構成について説明する。
Next, the configuration of the
図３は、映像処理装置２００の構成を示すブロック図である。
FIG. 3 is a block diagram illustrating a configuration of the
図３に示すように、映像処理装置２００は、フレーム画像取得部２１０、付随情報取得部２２０、付随情報挿入部２３０、フリッカピクセル挿入部２４０、およびエンコード部２５０を有する。
As illustrated in FIG. 3, the
フレーム画像取得部２１０は、ビデオカメラ５００によって撮影された映像を、一連のフレーム画像として取得し、取得したフレーム画像を、付随情報挿入部２３０へ出力する。
The frame
付随情報取得部２２０は、時計６００によって計測された時刻情報を、ビデオカメラ５００の撮影映像の付随情報として取得し、取得した付随情報を、付随情報挿入部２３０へ出力する。
The accompanying
付随情報挿入部２３０は、入力された付随情報を、予め定義された所定の変換規則に従って付随情報画像に変換する。付随情報挿入部２３０は、生成した付随情報画像を、入力されたフレーム画像に対して、所定の位置および大きさで挿入する。そして、付随情報挿入部２３０は、付随情報画像を挿入したフレーム画像（以下「拡張フレーム画像」という）を、フリッカピクセル挿入部２４０へ出力する。
The accompanying
ここで、付随情報挿入部２３０における、各フレーム画像の入力と、そのフレーム画像が撮影された時刻に対応する付随情報の入力とは、同期して行われる。したがって、付随情報挿入部２３０によって各フレーム画像に挿入される付随情報は、そのフレーム画像の撮影時刻を示す情報である。また、付随情報は、映像の時間軸上で変化する情報である。付随情報画像および付随情報画像への変換手法の詳細については後述する。
Here, the input of each frame image and the input of the accompanying information corresponding to the time when the frame image was taken in the accompanying
フリッカピクセル挿入部２４０は、入力された拡張フレーム画像の付随情報画像に映像の時間軸上で変化するフリッカピクセルを挿入し、フリッカピクセルが挿入された拡張フレーム画像を、エンコード部２５０へ出力する。より具体的には、フリッカピクセル挿入部２４０は、繰り返し反転するフリッカピクセルを、付随情報画像に挿入する。フリッカピクセルおよびフリッカピクセルの生成手法の詳細については後述する。
The flicker
エンコード部２５０は、入力された拡張フレーム画像に対して、例えば、ＭＰＥＧ４に準拠したエンコード処理を行って圧縮映像データを生成し、生成した圧縮映像データを、図２に示す映像受信装置３００に送信する。ＭＰＥＧ４（Ｈ．２６４）は、ＭＰＥＧで規定されるデジタル映像フォーマットであり、エンコード処理において、画素ブロック毎の動き補償を伴うフレーム間圧縮処理を行うことが規定された映像フォーマットである。すなわち、エンコード部２５０は、フレーム間処理によるＤＣＴ係数の量子化において、ＤＣＴ係数の値が小さい部分の情報を捨て、画素ブロックのフレーム間での画素値の変化がより小さい情報は削減され、より高い圧縮率で圧縮する。
The
なお、映像処理装置２００は、図示しないが、各部間のデータ送受、制御、および電源供給のための回路と、外部機器との通信およびデータ入出力のための機器インタフェースと、ユーザ操作を受け付けるための操作インタフェースとを有する。更に、映像処理装置２００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリを有し、ＣＰＵにおける制御プログラムの実行によって上述した各部の機能を実現する。または、映像処理装置２００は、上述した各部の機能を有する電子回路を備えることにより、上述した各部の機能を実現する。
Although not shown, the
このような構成を有する映像処理装置２００は、フリッカピクセルの挿入によって付随情報画像の画素ブロック毎の画素値に大きな変化を与えることができる。したがって、付随情報画像の部分のデータの圧縮率を低く抑え、付随情報画像のＤＣＴ係数の量子化による情報の削減を回避することができるので、輝度分解能を高くし付随情報の情報量を増やすことできる。
The
図４は、映像受信装置３００の構成を示すブロック図である。
FIG. 4 is a block diagram illustrating a configuration of the
図４に示すように、映像受信装置３００は、デコード部３１０、フレーム画像抽出部３２０、およびフレーム付随情報抽出部３３０を有する。
As illustrated in FIG. 4, the
デコード部３１０は、図２および図３に示す映像処理装置２００から送られてきた圧縮映像データを受信し、受信した圧縮映像データに対して、ＭＰＥＧ４に準拠したデコード処理を行って拡張フレーム画像を復号する。そして、デコード部３１０は、復号した拡張フレーム画像を、フレーム画像抽出部３２０およびフレーム付随情報抽出部３３０へ出力する。
The
ここで復号される拡張フレーム画像は、上述のフレーム間圧縮処理により、映像処理装置２００で生成された元の拡張フレーム画像に比べて、情報が削減された画像となっている。特に、フレーム間での画素値の変化が小さい画素ブロックは、ＤＣＴ係数の量子化による情報の削減されるため、人が視認することができない範囲内で、元の画素ブロックの画素値とは大きく異なる値となることがある。
The extended frame image decoded here is an image in which information is reduced compared to the original extended frame image generated by the
フレーム画像抽出部３２０は、入力された拡張フレーム画像から、付随情報画像を除去した画像をフレーム画像として抽出し、抽出したフレーム画像を、図２に示す出力装置７００へ送信する。このフレーム画像は、映像処理装置２００がビデオカメラ５００から取得したフレーム画像に対応するものである。
The frame
フレーム付随情報抽出部３３０は、入力された拡張フレーム画像から、付随情報画像を抽出し、抽出した付随情報画像のうちフリッカピクセルを除いた残りの部分から、付随情報を復元する。そして、フレーム付随情報抽出部３３０は、復元した付随情報を、出力装置７００へ送信する。
The frame accompanying
フリッカピクセルの位置に関する情報は、例えば、予めフレーム付随情報抽出部３３０に設定されていても良いし、圧縮映像データと共にその都度映像処理装置２００から取得するようにしても良い。
Information regarding the position of the flicker pixel may be set in advance in the frame-accompanying
なお、映像受信装置３００は、図示しないが、各部間のデータ送受、制御、および電源供給のための回路と、外部機器との通信とデータ入出力のための機器インタフェースと、ユーザ操作を受け付けるための操作インタフェースとを有する。更に、映像受信装置３００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有し、ＣＰＵにおける制御プログラムの実行によって上述した各部の機能を実現する。または、映像処理装置２００は、上述した各部の機能を有する電子回路を備えることにより、上述した各部の機能を実現する。
Although not shown, the
このような構成を有する映像受信装置３００は、フリッカピクセルを含む圧縮映像データから、フレーム画像、および付随情報を復元し、これらを個別に出力装置７００に出力することができる。
The
以下、映像処理装置２００の動作および映像受信装置３００の動作について説明する。
Hereinafter, the operation of the
図５は、映像処理装置２００の全体動作を示すフローチャートである。
FIG. 5 is a flowchart showing the overall operation of the
まず、ステップＳ１１００において、フレーム画像取得部２１０は、ビデオカメラ５００から出力可能な状態になった最新のフレーム画像を入力し、入力したフレーム画像を付随情報挿入部２３０へ出力する。すなわち、付随情報挿入部２３０には、現在撮影中の映像の各フレーム画像が、ほぼリアルタイムで入力される。
First, in step S <b> 1100, the frame
図６は、フレーム画像取得部２１０が入力するフレーム画像の一例を示す図である。ここでは、ビデオカメラ５００が監視カメラである場合のフレーム画像の一例を図示する。図６に示すように、フレーム画像８１０には、例えば、被写体として複数の人物８１１が映し出された画像である。
FIG. 6 is a diagram illustrating an example of a frame image input by the frame
そして、図５のステップＳ１２００において、付随情報取得部２２０は、時計６００から最新の時刻情報を付随情報として取得し、取得した付随情報を、付随情報挿入部２３０へ出力する。すなわち、付随情報挿入部２３０には、現在時刻を示す付随情報が、ほぼリアルタイムで入力される。
Then, in step S1200 of FIG. 5, the accompanying
そして、ステップＳ１３００において、付随情報挿入部２３０は、入力された付随情報を、予め定義された所定の変換規則に従って付随情報画像に変換する。
In step S1300, the accompanying
ここで、付随情報画像への変換規則の一例について説明する。また、以下、付随情報画像は、輝度値によって情報を表現するものとする。 Here, an example of the conversion rule for the accompanying information image will be described. Hereinafter, the accompanying information image represents information by luminance values.
図７は、付随情報が付随情報画像に変換される様子を模式的に示す図である。 FIG. 7 is a diagram schematically illustrating how incidental information is converted into an incidental information image.
図７に示すように、付随情報挿入部２３０は、例えば、年、月、日、時、分、秒、ミリ秒を示す数値から成る時刻情報である付随情報８２０を取得する。付随情報挿入部２３０は、複数の画素ブロックを一列に並べた形状の図形を、付随情報画像用の図形（以下、この図形を「コード図形」といい、画素ブロックに対応する部分を「画素ブロック領域」という）８３０として予め定義する。付随情報挿入部２３０は、付随情報８２０をバイナリデータとして扱い、このバイナリデータの各ビットを、コード図形８３０を構成する画素ブロック領域８３１に予め対応付けている。また、付随情報挿入部２３０は、付随情報画像の輝度解像度をｎ段階として予め決定している。一例として、ここでは、輝度解像度を１６値として説明する。
As illustrated in FIG. 7, the accompanying
付随情報挿入部２３０は、付随情報８２０が文字列である場合、文字列の先頭から１文字ずつをＡＳＣＩＩ（American Standard Code for Information Interchange）コードとして数値化することにより、バイナリデータを生成する。そして、付随情報挿入部２３０は、生成したバイナリデータの各ビットの値を、対応する画素ブロック領域８３１の輝度値に反映させる。より具体的には、付随情報挿入部２３０は、付随情報８２０のバイナリデータから４ビットずつデータ部分を取り出し、取り出したデータ部分を、１６段階の輝度値（０〜１５）に変換する。これにより、付随情報挿入部２３０は、付随情報８２０の内容に対応して多値コード化されたコード図形を、付随情報画像として生成する。
When the accompanying
例えば、付随情報８２０が、「２００９／０５／０１ １２：００：００．０００」という文字列である場合を考える。ＡＳＣＩＩコードにおいて、先頭の文字「２」は、１０進数化すると「５０」であり、２進数化すると「００１１００１０」である。したがって、付随情報挿入部２３０は、例えば、２進数化したバイナリデータを上位４ビットの値「００１１」と、下位４ビットの値「００１０」とに分離し、それぞれの値を４倍した値を、輝度値として採用する。これにより、付随情報挿入部２３０は、付随情報８２０を、１０進数「１２」に対応する輝度値を持つ画素ブロック領域８３１と、１０進数「８」に対応する輝度値を持つ画素ブロック領域８３１とを含む付随情報画像に、多値コード化する。
For example, consider a case where the accompanying
そして、図５のステップＳ１４００において、付随情報挿入部２３０は、生成した付随情報画像を入力されたフレーム画像に挿入して拡張フレーム画像を生成し、生成した拡張フレーム画像を、フリッカピクセル挿入部２４０へ出力する。
In step S1400 of FIG. 5, the accompanying
図８は、フリッカピクセル挿入部２４０へ入力される拡張フレーム画像の一例を示す図である。
FIG. 8 is a diagram illustrating an example of an extended frame image input to the flicker
図８に示すように、付随情報挿入部２３０は、入力されたフレーム画像８１０の外側に領域８１２を拡張した範囲を、新たなフレーム画像８１３として扱う。そして、付随情報挿入部２３０は、このフレーム画像８１３のうち、拡張部分に当たる領域８１２に、付随情報画像８４０を重畳して、拡張フレーム画像８４１を生成する。
As illustrated in FIG. 8, the accompanying
このとき、付随情報挿入部２３０は、フレーム画像８１３における付随情報画像８４０の位置および大きさを予め設定している。この位置および大きさは、付随情報画像８４０のうち、画素ブロック領域に対応する符号図形８５０が、フレーム間処理において画素ブロックとして扱われる領域と一致するような位置および大きさである。
At this time, the incidental
図９は、符号図形の構成の一例を示す図である。 FIG. 9 is a diagram illustrating an example of the configuration of a code figure.
図９に示すように、符号図形８５０は、例えば、４×４のマトリクス状に配置された画素８５１から成り、正方矩形形状を有する。１つの符号図形８５０内において、１６個全ての画素８５１は、同じ輝度値を持つ。すなわち、符号図形８５０は、設定された輝度値を、冗長性を持ちながら保持する。複数の画素に同じ値を持たせて冗長化することによってデータのロバスト性を確保する手法は一般的なものであるため、ここでの詳細な説明は省略する。
As shown in FIG. 9, the code | symbol figure 850 consists of the
そして、図５のステップＳ１５００において、フリッカピクセル挿入部２４０は、入力された拡張フレーム画像の付随情報画像に対して、符号図形毎に、フリッカピクセルを挿入する。そして、フリッカピクセル挿入部２４０は、フリッカピクセルを挿入した拡張フレーム画像を、エンコード部２５０へ出力する。ここでは、フリッカピクセル挿入部２４０は、フレーム毎に輝度の極大値と極小値とを交互に取るピクセルを、フリッカピクセルとして、各符号図形に挿入する。
In step S1500 of FIG. 5, the flicker
図１０は、符号図形におけるフリッカピクセルの挿入位置および変化の様子の一例を示す図である。 FIG. 10 is a diagram showing an example of flicker pixel insertion positions and changes in the code figure.
図１０（Ａ）および図１０（Ｂ）に示すように、フリッカピクセル挿入部２４０は、例えば、符号図形８５０の左上隅に、フリッカピクセル８５２を挿入する。フリッカピクセル挿入部２４０は、ある拡張フレーム画像（ｎフレーム）ではフリッカピクセル８５２を黒（輝度値が最小）とし、次の拡張フレーム画像（ｎ＋１フレーム）では、同一のフリッカピクセル８５２を白（輝度値が最大）とする。
As shown in FIGS. 10A and 10B, the flicker
図１１は、フリッカピクセルが挿入された状態の符号図形の変化の様子の一例を示す図である。フリッカピクセル挿入部２４０は、フリッカピクセル８５２以外の画素（以下「非フリッカピクセル」という）８５３の輝度の変化とは独立して、フリッカピクセル８５２の輝度を反転させる。
FIG. 11 is a diagram illustrating an example of a change in the code figure in a state where the flicker pixel is inserted. The flicker
フリッカピクセル挿入部２４０は、このようなフリッカピクセル８５２の輝度の反転を、拡張フレーム画像が切り替わる毎に繰り返す。例えば、拡張フレーム画像に、整数の通し番号が割り当てられている場合には、フリッカピクセル挿入部２４０は、偶数フレームに黒のフリッカピクセル８５２を挿入し、奇数フレームに白のフリッカピクセル８５２を挿入する。
The flicker
このようなフリッカピクセル８５２が挿入されることにより、各符号図形の一部の輝度は、拡張フレーム画像間で大きく変化することになる。
By inserting such a
図１２は、エンコード部２５０へ入力されるある拡張フレーム画像の一例を示す図である。図１３は、エンコード部２５０へ入力される次の拡張フレーム画像の一例を示す図である。
FIG. 12 is a diagram illustrating an example of an extended frame image input to the
図１２に示すように、ある拡張フレーム画像８４１の付随情報画像８４０に挿入されたフリッカピクセル８５２は、黒となる。一方、図１３に示すように、その次の拡張フレーム画像８４１では、付随情報画像８４０の非フリッカピクセル８５３は変化していないが、付随情報画像８４０に挿入されたフリッカピクセル８５２は、白となる。
As shown in FIG. 12, the
そして、ステップＳ１６００において、エンコード部２５０は、入力された拡張フレーム画像に対して、エンコード処理を行って圧縮映像データを生成し、生成した圧縮映像データを、図２に示す映像受信装置３００に送信する。
In step S1600, the
このとき、エンコード部２５０は、上述の通り、輝度値の変化が大きい画素ブロックに対しては、圧縮率を抑える。したがって、フレーム間圧縮処理における付随情報画像の圧縮率は、反転するフリッカピクセルの挿入によって、抑えられることになる。すなわち、フリッカピクセルが挿入されていない状態では圧縮映像データに反映されないような付随情報画像の変化が、より確実に圧縮映像データに反映される。
At this time, as described above, the
そして、ステップＳ１７００において、フレーム画像取得部２１０は、映像に対する処理の終了を指示されたか否かを判断し、終了を指示されていない場合には（Ｓ１７００：ＮＯ）、ステップＳ１１００に戻る。この結果、映像処理装置２００は、次のフレーム画像および次の時刻情報に対する処理に移る。一方、フレーム画像取得部２１０は、映像に対する処理の終了を指示された場合には（Ｓ１７００：ＹＥＳ）、一連の処理を終了する。映像に対する処理の終了の指示は、例えば、ユーザ操作による指示、フレーム画像の取得が不能であることを示す信号、および映像配信の停止を示す信号を含む。
Then, in step S1700, the frame
このような動作により、映像処理装置２００は、撮影時刻を示す付加情報画像を挿入した映像を、映像受信装置３００に配信することができる。また、映像処理装置２００は、フリッカピクセルの挿入によって、フレーム間圧縮処理のＤＣＴ係数の量子化に伴う付随情報の削減を、より確実に防ぐことができる。
With such an operation, the
図１４は、映像受信装置３００の全体動作を示すフローチャートである。
FIG. 14 is a flowchart showing the overall operation of the
まず、ステップＳ２１００において、デコード部３１０は、映像処理装置２００から、１つの拡張フレーム画像の復号に対応する圧縮映像データを受信する。
First, in step S2100, the
そして、ステップＳ２２００において、デコード部３１０は、受信した圧縮映像データに対してデコード処理を行って拡張フレーム画像を復号する。更に、デコード部３１０は、復号した拡張フレーム画像を、フレーム画像抽出部３２０およびフレーム付随情報抽出部３３０へ出力する。
In step S2200, decoding
ここで、拡張フレーム画像に含まれる付随情報画像には、上述の通りフリッカピクセルが挿入されているため、付加情報画像の変化がより確実に再現される。 Here, since the flicker pixels are inserted in the accompanying information image included in the extended frame image as described above, the change in the additional information image is more reliably reproduced.
そして、ステップＳ２３００において、フレーム画像抽出部３２０は、入力された拡張フレーム画像からフレーム画像を抽出し、抽出したフレーム画像を、出力装置７００へ送信する。
In step S <b> 2300, frame
そして、ステップＳ２４００において、フレーム付随情報抽出部３３０は、入力された拡張フレーム画像から付随情報画像を抽出する。
In step S2400, the frame-accompanying
そして、ステップＳ２５００において、フレーム付随情報抽出部３３０は、抽出した付随情報画像から付随情報を復元し、復元した付随情報を、出力装置７００へ送信する。
In step S <b> 2500, the frame accompanying
より具体的には、フレーム付随情報抽出部３３０は、例えば、付随情報画像を画素ブロック領域毎に区分する。次に、フレーム付随情報抽出部３３０は、区分した領域の非フリッカピクセルの平均輝度値を、画素ブロック領域の輝度値として取得する。
More specifically, the frame associated
なお、フレーム間圧縮処理において、フリッカピクセルの近傍に位置する非フリッカピクセルの輝度値は、フリッカピクセルの輝度変化に影響を受け易い。したがって、フレーム付随情報抽出部３３０は、フリッカピクセルから離れて位置する複数の非フリッカピクセルの平均輝度値を、画素ブロック領域の輝度値として取得しても良い。また、フレーム付随情報抽出部３３０は、フリッカピクセルから離れて位置する非フリッカピクセルを１つ選択し、選択した非フリッカピクセルの輝度値を、画素ブロック領域の輝度値として取得しても良い。
In the inter-frame compression process, the luminance value of the non-flicker pixel located in the vicinity of the flicker pixel is easily affected by the luminance change of the flicker pixel. Accordingly, the frame-accompanying
そして、フレーム付随情報抽出部３３０は、取得した画素ブロック領域毎の輝度値を対応するビット値に変換し、変換したビット値を並べることにより、バイナリデータを生成する。更に、フレーム付随情報抽出部３３０は、生成したバイナリデータを、ＡＳＣＩＩコードとして扱うことにより文字列に変換し、変換結果を、付随情報として出力する。
Then, the frame-associated
すなわち、フレーム付随情報抽出部３３０は、映像処理装置２００の付随情報挿入部２３０が行った付随情報に対する変換処理と逆の処理を、付随情報画像データに対して行う。
That is, the frame-accompanying
そして、ステップＳ２６００において、デコード部３１０は、圧縮映像データに対する処理の終了を指示されたか否かを判断し、終了を指示されていない場合には（Ｓ２６００：ＮＯ）、ステップＳ２１００に戻る。この結果、映像受信装置３００は、次の拡張フレーム画像に対する処理に移る。一方、デコード部３１０は、圧縮映像データに対する処理の終了を指示された場合には（Ｓ２６００：ＹＥＳ）、一連の処理を終了する。
In step S2600, the
このような動作により映像受信装置３００は、圧縮映像データから、映像と付随情報とを復元して出力することができる。出力装置７００に入力された映像と付随情報は、例えば、出力装置７００で画面表示されたり、記録媒体に蓄積されたりする。
By such an operation, the
以上説明したように、本実施の形態に係る映像処理装置２００は、フレーム画像に重畳される付随情報画像に、輝度値が繰り返し変化するフリッカピクセルを挿入するようにした。これにより、映像処理装置２００は、付随情報画像に対して、より大きな輝度変化を持たせることができる。
As described above, the
これにより、映像処理装置２００は、フレーム間圧縮における動き補償による変化量の喪失を画素ブロック単位で防止もしくは軽減できるため、付随情報画像の微細な輝度変化にも追従させて、付随情報を復元することができる。これにより、映像処理装置２００は、付随情報画像の多値化による符号化効率を向上させることができる。言い換えると、映像処理装置２００は、付随情報が含まれる画素ブロックに対して、フレーム間圧縮によるエンコード処理においてもより多くの情報量が割り当てることができる。
As a result, the
この結果、映像処理装置２００は、フリッカピクセルを挿入することにより、付随情報に対応する値の変化量が少ない場合であっても、付随情報画像の多値分解能を向上させることができる。
As a result, the
なお、フリッカピクセルの輝度値は、必ずしも極大および極小である必要はなく、エンコード処理が行われても、復元結果に付随情報の変化が反映されるような値であれば良い。 Note that the luminance value of the flicker pixel does not necessarily have to be a maximum and a minimum, and may be a value that reflects a change in accompanying information in the restoration result even if the encoding process is performed.
また、フリッカピクセルの反転の周期は、フレーム画像毎ではなく、任意の周期としても良い。この周期は、付随情報画像の変化の単位よりも長くない周期等、付属情報画像が変化しない区間のそれぞれにおいて少なくとも１回反転するような周期であることが望ましい。 The flicker pixel inversion period may be an arbitrary period instead of each frame image. This period is desirably a period that is reversed at least once in each section in which the attached information image does not change, such as a period that is not longer than the unit of change of the accompanying information image.
また、付随情報のバイナリデータに対するビット数の分離規則は、４ビット以外の任意のビット数毎の分離を採用しても良い。また、付随情報画像の輝度解像度は、１６以外の任意の数値としても良い。更に、付随情報画像は、輝度値以外の各種の画素値、例えば色相を用いて、情報を表しても良い。更に、付随情報画像の形態は、上述の例に限定されるものではない。 Further, the separation rule for the number of bits with respect to the binary data of the accompanying information may employ separation for any number of bits other than 4 bits. In addition, the luminance resolution of the accompanying information image may be an arbitrary numerical value other than 16. Further, the accompanying information image may represent information using various pixel values other than the luminance value, for example, hue. Furthermore, the form of the accompanying information image is not limited to the above example.
また、画素ブロック領域のサイズは、１つの画素ブロックではなく、複数の画素ブロックに対応していても良い。画素ブロックのサイズは４×４に限られないため、画素ブロック領域のサイズも、４×４の倍数に限られない。 In addition, the size of the pixel block area may correspond to a plurality of pixel blocks instead of one pixel block. Since the size of the pixel block is not limited to 4 × 4, the size of the pixel block region is not limited to a multiple of 4 × 4.
また、ビデオカメラ５００から取得される映像は、例えば、ビデオカメラ５００内部の、フレームメモリ、ＲＡＭ（random access memory）、ＨＤＤ（hard disk drive）等の記録媒体に一時的に保持された映像でも良い。この場合、映像処理装置は、ビデオカメラ５００が映像に付加したタイムコードを、付随情報として取得しても良い。
The video acquired from the
また、映像処理装置２００が処理の対象とするフレーム画像および付随情報は、映像レコーダやネットワーク４００等、他の場所から取得しても良い。また、フレーム画像の内容および被写体、付随情報の種類も、上述の例に限定されるものではない。
Further, the frame image and accompanying information to be processed by the
また、付随情報の内容は、時刻情報以外の各種情報とすることができる。例えば、映像がテレビジョン番組である場合の付随情報は、番組情報や、映像に映し出される被写体に関する情報（例えば、種別、状態、および座標）である。 The contents of the accompanying information can be various information other than the time information. For example, the accompanying information when the video is a television program is program information and information (for example, type, state, and coordinates) related to the subject displayed on the video.
また、付随情報画像は、フレーム画像を拡張した領域に挿入されるのではなく、フレーム画像の一部に上書きされても良い。 In addition, the accompanying information image may be overwritten on a part of the frame image instead of being inserted into the expanded area of the frame image.
また、映像処理装置２００は、符号図形（画素ブロック）の左上以外の位置にフリッカピクセルを挿入しても良い。更に、映像処理装置２００は、符号図形毎に複数のフリッカピクセルを挿入しても良い。
The
次に、フリッカピクセルの拡張例について説明する。図１５〜図１７は、符号図形毎に複数のフリッカピクセルを挿入した場合の符号図形の例を示す図であり、図１１に対応するものである。図１５は、左端の縦一列の画素をフリッカピクセルとした場合の符号図形である。図１６は、上端の横一列の画素をフリッカピクセルとした場合の符号図形である。図１７は、上端の横一列と左端の縦一列とをフリッカピクセルとした場合の符号図形である。 Next, an example of extension of flicker pixels will be described. FIGS. 15 to 17 are diagrams showing examples of code figures when a plurality of flicker pixels are inserted for each code figure, and correspond to FIG. FIG. 15 is a code figure in a case where the leftmost vertical row of pixels is a flicker pixel. FIG. 16 is a code diagram in the case where the pixels in the upper horizontal row are flicker pixels. FIG. 17 is a code diagram in the case where the horizontal row at the upper end and the vertical row at the left end are flicker pixels.
このようにフリッカピクセルを複数にすることは、１つのフリッカピクセルの変化では復元結果に付随情報の変化が反映されないような場合に有効である。なお、複数のフリッカピクセルの配置は、上述の例に限定されるものではない。例えば、図１５〜図１７に示すフリッカピクセルの配置は、上下左右に反転、回転、または平行移動させた配置を採用しても良い。 The use of a plurality of flicker pixels in this way is effective when a change in one flicker pixel does not reflect a change in accompanying information in a restoration result. Note that the arrangement of the plurality of flicker pixels is not limited to the above example. For example, the flicker pixel arrangements shown in FIGS. 15 to 17 may be reversed, rotated, or translated in the vertical and horizontal directions.
（実施の形態２）
本発明の実施の形態２は、対象のブロック毎にフリッカピクセルの輝度値を平均化するようにした映像処理装置について説明する。
(Embodiment 2)
The second embodiment of the present invention will be described with reference to a video processing apparatus in which the luminance values of flicker pixels are averaged for each target block.
図１８は、本発明の実施の形態２に係る映像処理装置の構成を示すブロック図であり、実施の形態１の図３に対応するものである。図３と同一部分には同一符号を付し、これについての説明を省略する。 FIG. 18 is a block diagram showing the configuration of the video processing apparatus according to the second embodiment of the present invention, and corresponds to FIG. 3 of the first embodiment. The same parts as those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted.
図１８において、映像処理装置２００ａは、実施の形態１の映像処理装置２００の構成に加えて、フリッカピクセル平均化部２６０ａを有する。
In FIG. 18, the video processing device 200a includes a flicker
フリッカピクセル平均化部２６０ａは、フリッカピクセル挿入部２４０が付随情報画像に挿入するフリッカピクセルの輝度値を制御する。より具体的には、フリッカピクセル平均化部２６０ａは、各画素ブロックに設けられた複数のフリッカピクセルの平均輝度が画素ブロック内で一定となるように、各フリッカピクセルの輝度値を制御する。
The flicker
一般的なＭＰＥＧエンコーダによるエンコード処理では、画素ブロック内に他の画素と輝度が大きく異なる画素が含まれるときに、他の画素の輝度が影響を受けて大きく変化することがある。これは、エンコード処理が、フレーム間圧縮だけでなくフレーム内圧縮を伴うこと、つまり、フレーム内の輝度変化を喪失させる方向に処理が働くことに起因している。 In a general MPEG encoder encoding process, when a pixel block includes a pixel whose luminance is significantly different from that of another pixel, the luminance of the other pixel may be greatly changed due to the influence. This is because the encoding process involves not only the inter-frame compression but also the intra-frame compression, that is, the process works in the direction of losing the luminance change in the frame.
そこで、フリッカピクセル平均化部２６０ａは、平均輝度が常時一定になるように複数のフリッカピクセルの輝度値を制御することにより、このような現象を防止または緩和する。すなわち、フリッカピクセル平均化部２６０ａの機能により、画素ブロックに対応する符号図形の非フリッカピクセルの輝度が、フリッカピクセルの影響を受けて変動してしまう現象を抑えることができる。
Therefore, the flicker
図１９〜図２１は、符号図形毎に平均化された複数のフリッカピクセルを挿入した場合の符号図形の例を示す図であり、実施の形態１の図１１、図１５〜図１７に対応するものである。図１９は、左端の縦一列および上端の左側の３つの画素からなるＬ字型の領域をフリッカピクセルとした場合の符号図形である。図２０は、上端の横一列の画素をフリッカピクセルとした場合の符号図形である。図２１は、上端の横一列と左端の縦一列とをフリッカピクセルとした場合の符号図形である。 19 to 21 are diagrams showing examples of code figures when a plurality of flicker pixels averaged for each code figure are inserted, and correspond to FIGS. 11 and 15 to 17 of the first embodiment. Is. FIG. 19 is a code diagram in the case where an L-shaped region composed of three pixels on the left side in the vertical column and on the left side in the upper end is a flicker pixel. FIG. 20 is a code diagram in the case where the pixels on the top horizontal row are flicker pixels. FIG. 21 is a code diagram in the case where the horizontal row at the top and the vertical row at the left are flicker pixels.
ここで、フリッカピクセルは、図１９〜図２１に示すように、符号図形毎に偶数であり、半数に分けられたフリッカピクセルのグループの間で、変化が逆になる（半周期ずれて反転する）ことが望ましい。これにより、複数のフリッカピクセル全体の平均輝度を容易に一定とすることができる。 Here, as shown in FIGS. 19 to 21, the flicker pixel is an even number for each code figure, and the change is reversed between the groups of flicker pixels divided into half (inverted with a half-cycle shift). Is desirable. As a result, the average luminance of the entire plurality of flicker pixels can be easily made constant.
また、図１９、図２１に示すように、隣接するフリッカピクセル間で変化が逆になることが望ましい。これにより、非フリッカピクセル８５３に対するフリッカピクセルの変化の影響を、更に小さく抑えることができる。
Also, as shown in FIGS. 19 and 21, it is desirable that the change be reversed between adjacent flicker pixels. Thereby, the influence of the flicker pixel change on the
なお、複数のフリッカピクセルの配置は、上述の例に限定されるものではない。例えば、図１９〜図２１に示すフリッカピクセルの配置は、上下左右に反転、回転、または平行移動させた配置を採用しても良い。 Note that the arrangement of the plurality of flicker pixels is not limited to the above example. For example, the flicker pixel arrangement shown in FIGS. 19 to 21 may be an arrangement that is inverted, rotated, or translated in the vertical and horizontal directions.
このように、本実施の形態に係る映像処理装置２００ａは、フリッカピクセルの変化に対して、非フリッカピクセルへの影響を抑えることができ、より情報量の多い付随情報をより正しく伝達することができる。言い換えると、映像処理装置２００ａは、付随情報が含まれる画素ブロックに対するフリッカピクセルの影響を抑えることができるので、再現性が高くより情報量の多い付随情報を、動画データ内に含めることができる。すなわち、映像処理装置２００ａは、フリッカピクセルの挿入により新たに不具合が発生するのを防ぐことができる。また、これにより、映像処理装置２００ａは、付随情報画像の多値分解能を、更に向上させることができる。 As described above, the video processing apparatus 200a according to the present embodiment can suppress the influence on the non-flicker pixel with respect to the change of the flicker pixel, and can transmit the accompanying information with a larger amount of information more correctly. it can. In other words, since the video processing device 200a can suppress the influence of flicker pixels on the pixel block including the accompanying information, the accompanying information with high reproducibility and a larger amount of information can be included in the moving image data. That is, the video processing apparatus 200a can prevent a new problem from occurring due to the insertion of the flicker pixel. Thereby, the video processing apparatus 200a can further improve the multi-value resolution of the accompanying information image.
本発明に係る映像処理装置および映像処理方法は、付随情報画像の情報伝達量を増大させることができる映像処理装置および映像処理方法として有用である。 INDUSTRIAL APPLICABILITY The video processing apparatus and video processing method according to the present invention are useful as a video processing apparatus and a video processing method that can increase the information transmission amount of the accompanying information image.
１００ 映像配信システム
２００、２００ａ 映像処理装置
２１０ フレーム画像取得部
２２０ 付随情報取得部
２３０ 付随情報挿入部
２４０ フリッカピクセル挿入部
２５０ エンコード部
２６０ａ フリッカピクセル平均化部
３００ 映像受信装置
３１０ デコード部
３２０ フレーム画像抽出部
３３０ フレーム付随情報抽出部
４００ ネットワーク
５００ ビデオカメラ
６００ 時計
７００ 出力装置
DESCRIPTION OF
Claims (8)
前記フレーム画像を単位として変化する付随情報画像を、前記フレーム画像のそれぞれに挿入する付随情報挿入部と、
画素値が繰り返し変化するフリッカピクセルを、前記フレーム画像毎に挿入される前記付随情報画像のそれぞれに挿入するフリッカピクセル挿入部と、
前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行う動画エンコード部と、
を有する映像処理装置。 A frame image acquisition unit for acquiring a series of frame images constituting the video;
An accompanying information insertion unit that inserts an accompanying information image that changes in units of the frame image into each of the frame images;
A flicker pixel insertion unit that inserts flicker pixels whose pixel values change repeatedly into each of the accompanying information images inserted for each frame image;
A video encoding unit that performs an encoding process with inter-frame compression processing on a series of the frame images in which the accompanying information image including the flicker pixels is inserted;
A video processing apparatus.
前記付随情報挿入部は、
前記多値データを構成する値を、前記フレーム画像を単位として、前記フレーム間圧縮における動き補償の単位となる画素ブロックに割り振り、当該画素ブロックの画像に変換した画像を前記付随情報画像として取得する、
請求項１記載の映像処理装置。 It further includes an accompanying information acquisition unit that acquires the accompanying information and converts the acquired accompanying information into multi-value data.
The accompanying information insertion unit is
The values constituting the multi-value data are allocated to the pixel block which is a unit of motion compensation in the inter-frame compression in units of the frame image, and an image converted into the image of the pixel block is acquired as the accompanying information image. ,
The video processing apparatus according to claim 1.
前記付随情報取得部は、
前記付随情報を、前記映像の時間軸上で対応する前記フレーム画像に対応付けて、前記多値データに変換し、
前記付随情報挿入部は、
前記多値データを、その多値データが対応付けられた前記フレーム画像に挿入される前記付随情報画像に変換する、
請求項２記載の映像処理装置。 The accompanying information is information that changes corresponding to the time axis of the video,
The accompanying information acquisition unit
The accompanying information is associated with the frame image corresponding on the time axis of the video, and converted into the multi-value data,
The accompanying information insertion unit is
Converting the multi-value data into the accompanying information image to be inserted into the frame image associated with the multi-value data;
The video processing apparatus according to claim 2.
請求項３記載の映像処理装置。 The inter-frame compression process is a process of compressing image information at a higher compression rate for the pixel block having a smaller change in static characteristics.
The video processing apparatus according to claim 3.
請求項４記載の映像処理装置。 The static characteristic includes an average of pixel values of the pixel block,
The video processing apparatus according to claim 4.
請求項５記載の映像処理装置。 A flicker pixel averaging unit that controls a pixel value of the flicker pixel so that an average value of pixel values of the flicker pixel for each pixel block is constant;
The video processing apparatus according to claim 5.
請求項６記載の映像処理装置。 The flicker pixel averaging unit controls at least one of the pixel value and the position of the flicker pixel so that an average value of pixel values for each pixel block is constant in a section corresponding to the same multi-value data. To
The video processing apparatus according to claim 6.
前記フレーム画像を単位として変化する付随情報画像を生成するステップと、
生成された付随情報画像のそれぞれに、画素値が繰り返し変化するフリッカピクセルを挿入するステップと、
前記フリッカピクセルを含む前記付随情報画像が挿入された一連の前記フレーム画像に対して、フレーム間圧縮処理を伴うエンコード処理を行うステップと、
を有する映像処理方法。
Obtaining a series of frame images constituting the video;
Generating an accompanying information image that changes in units of the frame image;
Inserting flicker pixels whose pixel values repeatedly change in each of the generated accompanying information images;
Performing an encoding process with inter-frame compression processing on a series of the frame images in which the accompanying information image including the flicker pixels is inserted;
A video processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140547A JP2010288092A (en) | 2009-06-11 | 2009-06-11 | Device and method for processing video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140547A JP2010288092A (en) | 2009-06-11 | 2009-06-11 | Device and method for processing video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010288092A true JP2010288092A (en) | 2010-12-24 |
Family
ID=43543473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009140547A Pending JP2010288092A (en) | 2009-06-11 | 2009-06-11 | Device and method for processing video |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010288092A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112616030A (en) * | 2020-11-27 | 2021-04-06 | 西安诺瓦星云科技股份有限公司 | Image frame data processing method, device and system and display control system |
-
2009
- 2009-06-11 JP JP2009140547A patent/JP2010288092A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112616030A (en) * | 2020-11-27 | 2021-04-06 | 西安诺瓦星云科技股份有限公司 | Image frame data processing method, device and system and display control system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102204242B (en) | Method and system for increasing frame-display rate | |
| JP2020025251A (en) | Method and system for encoding video with overlay | |
| TWI323613B (en) | Digital image encoding | |
| EP2067120B1 (en) | Creation and handling of a bitstream comprising video frames and auxiliary data | |
| US8908982B2 (en) | Image encoding device and image encoding method | |
| US20180332305A1 (en) | Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus | |
| CN105144729A (en) | Transmitting display management metadata over HDMI | |
| US8254700B1 (en) | Optimized method and system for entropy coding | |
| JP2009010954A (en) | Method and system for processing image at high speed | |
| CN101350929A (en) | Enhanced compression in representing non-frame-edge blocks of image frames | |
| CN104429066A (en) | Method for encoding a digital video image | |
| JP2010098352A (en) | Image information encoder | |
| CN110087082B (en) | Image processing apparatus and method for operating the same | |
| EP2019552A2 (en) | Image processing apparatus and method | |
| US20130028528A1 (en) | Image processing method, encoding device, decoding device, and image processing apparatus | |
| JP2010288092A (en) | Device and method for processing video | |
| CN106537912A (en) | Method and apparatus for processing image data | |
| KR20070111111A (en) | Method of compressing and decompressing image and equipment thereof | |
| KR20190091179A (en) | Image processing device and method for operating image processing device | |
| JP2007036468A (en) | Moving picture coding apparatus | |
| JP5929530B2 (en) | Image data compression coding apparatus, image data compression coding method, and image data compression coding program | |
| JP5141334B2 (en) | Picture encryption / decryption device | |
| JP6606660B2 (en) | Image data encoding device | |
| Ulacha | Method of Lossless and Near-Lossless Color Image Compression. | |
| JP2011193357A (en) | Server device, client terminal, communication system, control method and program |