JP2006229661A - Image display method, image encoder, image decoder, and image display device - Google Patents
Image display method, image encoder, image decoder, and image display device Download PDFInfo
- Publication number
- JP2006229661A JP2006229661A JP2005041803A JP2005041803A JP2006229661A JP 2006229661 A JP2006229661 A JP 2006229661A JP 2005041803 A JP2005041803 A JP 2005041803A JP 2005041803 A JP2005041803 A JP 2005041803A JP 2006229661 A JP2006229661 A JP 2006229661A
- Authority
- JP
- Japan
- Prior art keywords
- image
- quality
- unit
- moving image
- set value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、コンテンツ配信などにより取得された動画像の再生に利用可能な画像表示方法、画像符号化装置、画像復号装置、および画像表示装置に関する。 The present invention relates to an image display method, an image encoding device, an image decoding device, and an image display device that can be used to reproduce a moving image acquired by content distribution or the like.
近年、DVDメディア、デジタル放送、およびネットワークを介したオンデマンド通信といったようなインフラの普及に伴い、デジタルコンテンツの利用が拡大している。デジタルコンテンツはコピーにより品質劣化が起こらないため、その著作権管理が重要になる。デジタルコンテンツなどの著作物の著作権を正当に保護することへの要求は、今後もさらに高まっていくと思われる。 In recent years, with the spread of infrastructure such as DVD media, digital broadcasting, and on-demand communication via a network, the use of digital contents has been expanded. Since digital content does not deteriorate in quality due to copying, copyright management is important. The demand for legitimate protection of copyrighted works such as digital contents is expected to increase further in the future.
画像の著作権を保護するために、特許文献1は、コンテンツ利用者に応じて、情報再生の許可度合い(以下、プロテクトレベルという。)を段階的に設定し、再生する技術を開示する。すなわち、プロテクトレベルの高い人には、高品質の動画像を配布し、低い人には品質を落とした動画像を配布する。
In order to protect the copyright of an image,
また、上述したようなインフラの普及に伴い、画像コンテンツ提供業者の数も増大し、競争が激化してきている。これらの業者は、著作権保護の重要性を認識しつつも、画像コンテンツの販売拡大にしのぎを削っている。また、広告収入を主な収入源とする画像コンテンツ提供業者も、提供しているコンテンツの利用者数増大を目指している。
上記特許文献1では、プロテクトレベルの低い人は、低品質の動画像を視聴することになり、本来の高品質の画像を視聴することができない。低品質の動画像では、プロテクトレベルの低い人にそのコンテンツを印象づけることが難しい。したがって、そのコンテンツの宣伝効果は余り期待できるものではなく、コンテンツの購入やコンテンツ配信サービスへの加入を促進するに、十分なものではなかった。
In
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像コンテンツの著作権保護と利用促進とを両立することができる画像表示方法、画像符号化装置、画像復号装置、および画像表示装置を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image display method, an image encoding device, an image decoding device, and an image display that can achieve both copyright protection and use promotion of image content. To provide an apparatus.
上記課題を解決するために、本発明のある態様の画像表示方法は、所定の設定値に応じて、時間経過とともに品質を変化させながら、動画像を表示する。「品質」は、劣化させてもよい。この態様によると、画像提供側が高品質および低品質の画像をユーザに見せることができることから、画像コンテンツの著作権保護を図りつつ、高品質の画像を印象づけることができる。 In order to solve the above-described problem, an image display method according to an aspect of the present invention displays a moving image while changing quality over time according to a predetermined set value. “Quality” may be degraded. According to this aspect, since the image providing side can show the high-quality and low-quality images to the user, it is possible to impress the high-quality images while protecting the copyright of the image content.
設定値は、動画像の解像度、画質、およびフレームレートの少なくとも一つを段階的に低下させるものであってもよい。また、動画像の輝度、および色差の少なくとも一つを段階的に低下させるものであってもよい。また、動画像の表示領域を段階的に狭くするものであってもよい。「表示領域」を狭くするとは、表示する画像自体のサイズを小さくしていってもよく、「段階的」とは、動画像の品質状態が3以上変化することを含んでもよい。画像自体のサイズを変化させずに見える領域を小さくしていってもよい。この態様によると、ユーザに見せる画像の品質を調整することができ、品質を低下させると、著作権を保護することができる。 The set value may be one that gradually reduces at least one of resolution, image quality, and frame rate of the moving image. Further, at least one of the luminance and the color difference of the moving image may be reduced stepwise. Further, the moving image display area may be narrowed in stages. Narrowing the “display area” may reduce the size of the image itself to be displayed, and “stepwise” may include changing the quality state of the moving image by 3 or more. The visible area may be made smaller without changing the size of the image itself. According to this aspect, the quality of the image shown to the user can be adjusted, and when the quality is lowered, the copyright can be protected.
動画像の表示領域外に、所定の広告を表示してもよい。この態様によると、画像提供側は、広告の機会や収入源を得ることができる。 A predetermined advertisement may be displayed outside the moving image display area. According to this aspect, the image providing side can obtain advertisement opportunities and income sources.
ユーザの所定のアクションに応じて、設定値を固定してもよい。「所定のアクション」には、料金を支払う旨の法律的な意思表示を画像提供側に示すためのデータ送信であってもよい。「設定値」を通常再生時の値に固定してもよい。この態様によれば、著作権管理の解除を対価の取得に関連づけることができ、画像コンテンツの販売などを促進することができる。 The set value may be fixed according to the user's predetermined action. The “predetermined action” may be data transmission for showing a legal intention to pay a fee to the image providing side. The “set value” may be fixed to a value during normal playback. According to this aspect, cancellation of copyright management can be associated with acquisition of consideration, and sales of image content can be promoted.
本発明の別の態様は、画像符号化装置である。この装置は、動画像データを符号化する符号部と、時間経過とともに品質が変化しながら表示されるよう、符号化した動画像データに所定の設定値を付加する付加部と、を備える。この態様によると、画像提供側が高品質および低品質の画像をユーザに見せることができることから、画像コンテンツの著作権保護を図りつつ、高品質の画像を印象づけることができる。 Another aspect of the present invention is an image encoding device. This apparatus includes an encoding unit that encodes moving image data, and an adding unit that adds a predetermined set value to the encoded moving image data so that the quality is displayed as time passes. According to this aspect, since the image providing side can show the high-quality and low-quality images to the user, it is possible to impress the high-quality images while protecting the copyright of the image content.
本発明のさらに別の態様もまた、画像符号化装置である。この装置は、時間経過とともに品質が変化しながら表示されるよう、動画像データを符号化する符号部と、品質を変化させるための設定値を符号部に与える品質設定部と、を備える。この態様によると、画像提供側が高品質および低品質の画像をユーザに見せることができることから、画像コンテンツの著作権保護を図りつつ、高品質の画像を印象づけることができる。また、品質を劣化させる区間を設けた場合、配布すべき符号化した画像データの容量を削減することができる。 Yet another embodiment of the present invention is also an image encoding device. This apparatus includes an encoding unit that encodes moving image data and a quality setting unit that gives a setting value for changing the quality to the encoding unit so that the quality is displayed as the quality changes over time. According to this aspect, since the image providing side can show the high-quality and low-quality images to the user, it is possible to impress the high-quality images while protecting the copyright of the image content. Further, when a section for degrading quality is provided, the capacity of encoded image data to be distributed can be reduced.
本発明のさらに別の態様は、画像復号装置である。この装置は、符号化された動画像データを復号する復号部と、時間経過とともに品質が変化するよう設定された設定値を復号部に与える品質設定部と、を備える。復号部は、設定値に応じて、品質を変化させながら復号する。この態様によると、著作権管理がなされた画像コンテンツであっても、一部の区間で高品質の画像を見ることができ、ユーザによる画像コンテンツの評価をし易くすることができる。 Yet another embodiment of the present invention is an image decoding device. The apparatus includes a decoding unit that decodes the encoded moving image data, and a quality setting unit that gives the decoding unit a setting value set so that the quality changes with time. The decoding unit performs decoding while changing the quality according to the set value. According to this aspect, even if the image content is copyright-managed, a high-quality image can be seen in a part of the section, and the user can easily evaluate the image content.
本発明のさらに別の態様は、画像表示装置である。この装置は、所定の設定値に応じて、時間経過とともに品質を変化させながら、動画像を表示する。この態様によると、著作権管理がなされた画像コンテンツであっても、一部の区間で高品質の画像を見ることができ、ユーザによる画像コンテンツの評価をし易くすることができる。 Yet another embodiment of the present invention is an image display device. This apparatus displays a moving image while changing the quality over time according to a predetermined set value. According to this aspect, even if the image content is copyright-managed, a high-quality image can be seen in a part of the section, and the user can easily evaluate the image content.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a computer program, a recording medium, and the like are also effective as an aspect of the present invention.
本発明によれば、画像コンテンツの著作権保護と利用促進とを両立することができる。 According to the present invention, it is possible to achieve both copyright protection and use promotion of image content.
本発明の概要を説明すると、コンテンツの作成者または著作権者が動画像の任意の期間にて、画質やフレームレートなどのパラメータを変化させ、再生する際に品質が劣化するよう設定する。視聴者は、コンテンツ提供側に対価を支払うなど、何らかの契約を行うことによって、本来の品質で映像を視聴することができる。変化させるパラメータとしては、解像度、画質、フレームレート、および色などがある。また、表示領域を狭くしてもよい。その場合、領域外には、課金を促すメッセージや広告を挿入することができる。 The outline of the present invention will be described. A content creator or a copyright holder changes parameters such as an image quality and a frame rate in an arbitrary period of a moving image so that the quality is deteriorated when the content is reproduced. The viewer can view the video with the original quality by making some contract such as paying the content provider. The parameters to be changed include resolution, image quality, frame rate, and color. Further, the display area may be narrowed. In that case, a message or an advertisement for prompting charging can be inserted outside the area.
これを実現するためのに、まず、符号側で品質を調整せずに生成した符号化画像データを復号側に配布し、復号側で品質を調整しながら動画像を表示する例を説明する。 In order to realize this, first, an example will be described in which encoded image data generated without adjusting the quality on the code side is distributed to the decoding side, and a moving image is displayed while adjusting the quality on the decoding side.
(実施形態1)
図1は、実施形態1に係る画像符号化装置100の構成図である。画像符号化装置100の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
(Embodiment 1)
FIG. 1 is a configuration diagram of an
直交変換部10は、入力された原画像に対して、ウェーブレット変換や離散コサイン変換などを施す。例えばウェーブレット変換をする場合、直交変換部10は、入力された原画像をサブバンドに分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。具体的には、直交変換部10は、原画像のx、yそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、4つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、x、yの両方向において低周波成分を有するLLサブバンドと、x、yのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するHLおよびLHサブバンドと、x、yの両方向において高周波成分を有するHHサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ1/2であり、一回のフィルタリングで解像度、すなわち画像サイズが1/4のサブバンド画像が得られる。
The
直交変換部10は、こうして得られたサブバンドのうち、LLサブバンドに対して再度フィルタリング処理を行って、これをさらにLL、HL、LH、HHの4つのサブバンドに分割してウェーブレット変換する。直交変換部10は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部12は、直交変換部10から出力されたウェーブレット変換係数などの所定の係数を所定の量子化幅で量子化する。
Of the subbands thus obtained, the
エントロピー符号化部14は、量子化部12により量子化された量子化値をエントロピー符号化する。例えば、上位ビットブレーンから順にスキャンしながら符号化する。このように、エントロピー符号化部14の符号化対象は原画像であり、画像符号化部として機能する。
The
品質情報付加部18は、本画像符号化装置100で符号化された符号化ストリームが復号されて、表示される際の品質を制御する情報(以下、品質情報という。)を当該符号化ストリームに付加する。この品質情報は、復号する際の解像度、画質、フレームレート、表示範囲、色差、明暗などの各種パラメータの少なくとも一つを、復号する際の時間経過に関連づけて規定する。例えば、解像度の場合、復号を開始してから5分間フル解像度で復号し、次の5分間、高周波成分を除いて復号し、次の5分間、中周波数成分および高周波成分を除いて復号するとったように、時間的に解像度を下げながら復号および表示するよう、設定することができる。そして、最終的に直流成分のみを復号、表示するようにしてもよい。この復号方法は、上述したウェーブレット変換などのSVC(Scalable Video Codec)機能を持つ符号化ストリームの復号に適している。
The quality information adding unit 18 decodes the encoded stream encoded by the
画質を制御する場合、時間経過にしたがい、複数ビットで組成されるウェーブレット変換係数や離散コサイン変換係数などの係数のうち、復号するビット数を少なくしていく。画質を劣化させていく場合、徐々に下位ビットを復号しないようにしていく。 When controlling the image quality, the number of bits to be decoded is reduced as the time elapses, among the coefficients such as the wavelet transform coefficient and the discrete cosine transform coefficient composed of a plurality of bits. When the image quality is degraded, the lower bits are gradually not decoded.
表示領域の制御は、画像に注目領域(Region of Interest;ROI)を設定することにより、実行することができる。注目領域を特定するための情報(以下、ROI情報という。)には、位置、形状、大きさ、画質などの情報が含まれる。このROI情報も、時間経過にしたがい、その大きさを小さくしていくなどの設定を行うことができる。その他のパラメタータを含め、品質情報の内容の詳細については後述する。 The display area can be controlled by setting a region of interest (ROI) in the image. Information for specifying the region of interest (hereinafter referred to as ROI information) includes information such as position, shape, size, and image quality. This ROI information can also be set to reduce its size as time passes. Details of the contents of the quality information including other parameter data will be described later.
品質情報付加部18は、符号化ストリームのヘッダに記述することができる。ヘッダにも種々のレベルが存在するが、いづれのレベルに記述してもよい。例えば、ストリームヘッダ、シーケンスヘッダ、GOP(Group of Picture)ヘッダ、フレームヘッダ、ピクチャヘッダなどに品質情報を記述することができる。 The quality information adding unit 18 can be described in the header of the encoded stream. There are various levels in the header, but they can be described at any level. For example, quality information can be described in a stream header, a sequence header, a GOP (Group of Picture) header, a frame header, a picture header, and the like.
品質情報付加部18は、復号側からのユーザの料金支払いなどに応じて、復号側で行われる品質管理を無効とする情報を生成することができる。この情報は、後述する符号化ストリーム生成部16にて画像の符号化データに付加されて、または独立に、ユーザ側の後述する画像復号装置に送られ、その画像復号装置による動画像の品質管理が無効にされる。 The quality information adding unit 18 can generate information that invalidates the quality management performed on the decryption side in accordance with the user's fee payment from the decryption side. This information is added to the encoded data of the image by the encoded stream generation unit 16 to be described later, or independently sent to an image decoding device to be described later on the user side, and quality control of the moving image by the image decoding device. Is disabled.
符号化ストリーム生成部16は、エントロピー符号化部14から入力される画像の符号化データ、品質情報付加部18から品質情報の符号化データなどを基に、符号化ストリームを生成する。そして、生成した符号化ストリームをネットワークや記録媒体に出力する。
The encoded stream generation unit 16 generates an encoded stream based on the encoded data of the image input from the
以上説明したように本実施形態によれば、動画像の著作権保護と利用促進とを両立する画像符号化装置を実現することができる。画像提供側は、動画像の品質を時間経過とともに劣化させることにより、著作権を保護することができる。しかも、高品質の画像を一部の区間でユーザに鑑賞させて、印象付けを行うことができ、コンテンツの販売や、コンテンツ配信サービスへの加入を促すことができる。例えば、番組の出だしを無料かつ高画質で配信することにより、視聴者を引きつけ、番組途中から徐々に品質を落としていくことにより、最後までこの番組を試聴したいという視聴者のコンテンツ購入意欲を高めることができる。 As described above, according to the present embodiment, it is possible to realize an image encoding device that achieves both copyright protection and promotion of use of moving images. The image provider can protect the copyright by degrading the quality of the moving image over time. In addition, it is possible to make a user impress with high-quality images in a certain section and make an impression, and to promote the sale of content and the subscription to a content distribution service. For example, by distributing the start of the program for free and with high image quality, it attracts viewers, and gradually lowers the quality from the middle of the program, thereby increasing the viewer's willingness to purchase content to the end of the program be able to.
また、画像提供側は、視聴用と再生用の動画像データを別々に用意する必要がないため、コンテンツ作成が簡易であり、記憶領域の削減も可能となる。さらに、表示領域を狭めていく場合、余った領域を、自社または他社の広告スペースとして利用することができ、広告料収入を得ることも可能になる。 Further, since the image providing side does not need to prepare the moving image data for viewing and reproduction separately, the content creation is simple and the storage area can be reduced. Furthermore, when the display area is narrowed, the surplus area can be used as an advertising space for the company or other companies, and it is also possible to obtain advertising fee income.
(実施形態2)
図2は、実施形態2に係る画像復号装置200の構成図である。画像復号装置200は、上述した画像符号化装置100で符号化された符号化ストリームのような、品質情報が付加された符号化ストリームを復号する。
(Embodiment 2)
FIG. 2 is a configuration diagram of the
ストリーム取得部20は、外部から符号化ストリームを取得し、ストリーム用メモリ22に一次記憶する。ストリーム配信により送信されてくる符号化ストリームを取得してもよいし、DVD−ROMなどの記録メディアに記録された符号化ストリームも取得してもよい。
The
ストリーム取得部20は、後述する品質設定部36から復号すべきストリームレベルを指定される場合、そのストリームレベルに応じて、取得した符号化ストリームの一部を破棄して可変長復号部24に渡す。例えば、解像度を下げるために、高周波成分を破棄することができる。
When the stream level to be decoded is specified from the quality setting unit 36 described later, the
ストリーム用メモリ22は、ストリーム取得部20から入力された符号化ストリームを一時的に保持する。可変長復号部24は、ストリーム取得部20から渡された符号化ストリームをビットプレーン毎に復号し、量子化されている画素データや各種パラメータを復号し、逆量子化部26に出力する。フレーム間予測符号化が用いられるストリームの場合、動きベクトルも復号する。また、エントロピー符号化されているストリームの場合、エントロピー復号を行う。
The
逆量子化部26は、入力された画素データを逆量子化し、直交逆変換部28に出力する。後述する量子化スケール設定部38から量子化スケールが指定される場合、その量子化スケールに基づき、逆量子化する。直交逆変換部28は、離散コサイン変換やウェーブレット変換などで変換された画素値を元に戻す。また、フレーム間予測符号化が用いられるストリームの場合、フレーム間の対応する画素の差分値を元に戻す。直交逆変換部28は、当該画素値などを画素値計算部30に出力する。画素値計算部30は、復元された画素値を画像用メモリ42に書き込む。
The
画像用メモリ42は、画素値計算部30により復元された画素値を一時的に保持する。なお、画像用メモリ42は、アドレス空間が異なるようにすれば、ストリーム用メモリ22と同じメモリを用いてもよい。
The image memory 42 temporarily holds the pixel value restored by the pixel
参照データ指定部40は、MPEGなどフレーム間予測符号化が用いられるストリームの場合に必要となる。参照データ指定部40は、可変長復号部24から渡される動きベクトルが指し示す、画像用メモリ42に保持された参照画像の画素値を、参照値として指定する。その場合、画素値計算部30は、参照データ指定部40から指定された参照値と、それに対応する直交逆変換部28から取得した差分値を加算して、画像用メモリ42上に画素値を復元する。また、画素値計算部30は、品質設定部36から輝度や色差の補正を指定されると、輝度値の補正や色差の補正を行う。
The reference
フレーム再構成部32は、画素値計算部30がフレーム単位で復元した画素値を組み合わせて、動画像データを再構成する。品質設定部36からフレームレートが指定されると、そのフレームレートで再構築する。また、品質設定部36から表示サイズを指定されると、画素を間引いたり、増やしたりする。表示部50は、フレーム再構成部32が構築した動画像データを表示する。なお、表示部50は外付けであってもよく、その場合、画像復号装置200は、符号化ストリームの復号を行って、ケーブルや無線などで接続された図示しない表示装置に復号データを出力することになる。
The frame reconstruction unit 32 reconstructs moving image data by combining the pixel values restored by the pixel
品質管理部34は、外部から入力される符号化ストリームに付加された品質情報を取得する。また、上述した品質管理を無効とする情報が別途、送信されてきた場合も、それを取得する。品質管理部34は、取得した品質情報に基づき、動画像再生の経過時間、課金状況などを管理し、当該品質情報により指定された品質を品質設定部36に指定する。 The quality management unit 34 acquires quality information added to the encoded stream input from the outside. Further, when information for invalidating the above-described quality control is separately transmitted, it is acquired. Based on the acquired quality information, the quality management unit 34 manages the elapsed time of moving image playback, the charging status, and the like, and designates the quality designated by the quality information to the quality setting unit 36.
品質設定部36は、品質管理部34から指定された品質に基づき、品質を調整するためのパラメータを各部に設定する。まず、解像度を変化させる場合、ストリーム取得部20にストリームレベルを指定する。図3は、時間経過とともに解像度を低下させる例を示す図である。時間は図の左から右に経過する。左の画面60は、符号化ストリーム中のすべての周波数成分を使用して復号した画面を示す。中央の画面62は、符号化ストリーム中の高周波成分を破棄して、復号した画面を示す。右の画面64は、符号化ストリーム中の直流成分および低周波数成分のみを使用して復号した画面を示す。このように、高周波数成分を使用しないと、解像度は低くなり、高周波成分を使用すると、解像度は高くなる。SVC機能を持つ符号化ストリームに対しては、どの周波数成分を使用するかをストリームレベルとして指定することにより、解像度を容易に変更することができる。
The quality setting unit 36 sets parameters for adjusting the quality in each unit based on the quality designated by the quality management unit 34. First, when changing the resolution, the stream level is specified in the
次に、画質を変化させる場合、品質設定部36は、量子化スケール設定部38に量子化スケールを設定する。図4は、時間経過とともに画質を低下させる例を示す図である。左の画面70から右の画面74になるにしたがって、画質を低下させている。品質設定部36は、量子化スケールが徐々に低下するよう、量子化スケール設定部38に量子化スケールを設定する。JPEG2000などのように、ROI機能が搭載されいている場合、画面全体をROI領域に指定し、ROI情報を変更していってもよい。
Next, when changing the image quality, the quality setting unit 36 sets the quantization scale in the quantization
次に、表示領域を変化させる場合、品質設定部36は、量子化スケール設定部38にROI情報を設定する。図5は、時間経過とともに表示領域を狭める例を示す図である。左の画面80から右の画面84になるにしたがって、表示領域が狭くなっていく。品質設定部36は、中央に対してROI領域を狭くしていく。なお、ROI領域以外は、黒くしてもよいし、図5に示すようにCM領域としてもよい。CM領域に表示するロゴマークやメッセージなどの広告は、画像とともに予め符号化されてもよいし、本画像復号装置200の画素値計算部30で重畳されてもよい。
Next, when changing the display area, the quality setting unit 36 sets ROI information in the quantization
なお、図5の処理と、図3または図4の処理を組み合わせれば、中央に対して狭くなっていく領域の解像度または画質を維持しながら、その領域以外の解像度または画質を低下させていくこともできる。 If the processing of FIG. 5 and the processing of FIG. 3 or FIG. 4 are combined, the resolution or image quality of the area other than that area is lowered while maintaining the resolution or image quality of the area narrowing with respect to the center. You can also.
次に、表示する画像サイズを変化させる場合、品質設定部36は、フレーム再構成部32に表示サイズを設定する。図6は、時間経過とともに画像を縮小する例を示す図である。左の画面90から右の画面94になるにしたがって、画像が縮小されていく。品質設定部36は、品質管理部34から指定された表示サイズが復元した動画像のサイズと同じ場合、何もする必要がない。その表示サイズが復元した動画像のサイズより小さい場合、一定の割合で画素を間引くよう、フレーム再構成部32に設定する。また、指定された表示サイズが復元した動画像のサイズより大きい場合、隣接する画素値から計算して画素を増やす。この拡大縮小処理は、システムへの負担が大きくなる場合、ハードウェア的に専用の拡大縮小回路を設けて、処理するとよい。
Next, when changing the image size to be displayed, the quality setting unit 36 sets the display size in the frame reconstruction unit 32. FIG. 6 is a diagram illustrating an example in which an image is reduced as time elapses. As the
次に、フレームレートを変化させる場合、品質設定部36は、フレーム再構成部32にフレームレートを指定する。図7は、時間経過とともにフレームレートを低下させる例を示す図である。なお、フレームレートとはフレームの更新頻度を示す。図7では、時間経過ともにフレームレートを低下させている。同じ期間に対して、8枚、4枚、2枚とフレームレートを低下させている。なお、フレームを更新しなければ、静止画像となり、品質設定部36は静止画像にすることもできる。 Next, when changing the frame rate, the quality setting unit 36 designates the frame rate to the frame reconstruction unit 32. FIG. 7 is a diagram illustrating an example in which the frame rate is lowered with time. The frame rate indicates the frame update frequency. In FIG. 7, the frame rate is decreased with the passage of time. For the same period, the frame rate is reduced to 8, 4, or 2. If the frame is not updated, a still image is obtained, and the quality setting unit 36 can also make a still image.
次に、表示画像の明るさを変化させる場合、品質設定部36は、画素値計算部30に輝度の補正値を設定する。画素値計算部30は、その補正値に応じて、元の輝度値に対して加算または減算する。加算すると明るくなり、減算すると暗くなる。
Next, when changing the brightness of the display image, the quality setting unit 36 sets a luminance correction value in the pixel
次に、表示画像の色を変化させる場合、品質設定部36は、画素値計算部30に色差の補正値を設定する。画素値計算部30は、その補正値に応じて、色差の補正を行う。元の色差値に対して、補正後の色差値を零に近づけるように補正すると、白黒画像に近づけることができる。色差値が零になると、白黒画像になる。
Next, when changing the color of the display image, the quality setting unit 36 sets a color difference correction value in the pixel
品質設定部36は、以上に説明したパラメータ変更の二つ以上を組み合わせて、行ってもよい。また、品質設定部36は、品質管理を無効とする情報を受信した場合、以上に説明したパラメータを通常値に設定する。なお、動画像の再生開始のときの品質も、任意に設定することができる。また、映画のエンドロールなど、後ろの部分の画像を鮮明に表示したい場合など、用途に応じて、時間経過とともに品質を高くしていくこともできる。 The quality setting unit 36 may perform a combination of two or more of the parameter changes described above. Further, when the quality setting unit 36 receives information for invalidating quality management, the quality setting unit 36 sets the parameters described above to normal values. Note that the quality at the start of moving image playback can also be set arbitrarily. In addition, the quality can be increased with the passage of time depending on the application, such as when it is desired to clearly display the image of the rear part, such as in an end roll of a movie.
以上説明したように本実施形態によれば、動画像の著作権保護と利用促進とを両立する画像復号装置を実現することができる。画像提供側は、動画像の品質を時間経過とともに劣化させることにより、著作権を保護することができる。しかも、高品質の画像を一部の区間でユーザに鑑賞させて、印象付けを行うことができ、コンテンツの販売や、コンテンツ配信サービスへの加入を促すことができる。また、表示領域を狭めていく場合、余った領域を、自社または他社の広告スペースとして利用することができ、広告料収入を得ることも可能になる。 As described above, according to the present embodiment, it is possible to realize an image decoding device that achieves both copyright protection and promotion of use of moving images. The image provider can protect the copyright by degrading the quality of the moving image over time. In addition, it is possible to make a user impress with high-quality images in a certain section and make an impression, and to promote the sale of content and the subscription to a content distribution service. Further, when the display area is narrowed, the surplus area can be used as an advertising space of the company or other companies, and it is possible to obtain advertising fee income.
ユーザ側は、一部の区間について、高品質の画像を鑑賞することでき、そのコンテンツを購入するか否かなどの判断を適切に下す材料を得ることができる。ユーザ側は、コンテンツ提供業者と契約を締結することにより、通常の品質で動画像を再生することができるようになる。また、表示領域外に広告が表示されると、ユーザ側が低額な料金または無料でコンテンツを利用することができる可能性が大きくなり、このような仕組みはユーザ側にとっても大きな利点がある。 The user can appreciate a high-quality image for a part of the section, and can obtain a material that appropriately determines whether or not to purchase the content. By signing a contract with the content provider, the user side can play back moving images with normal quality. Further, when an advertisement is displayed outside the display area, the possibility that the user side can use the content at a low fee or free of charge increases, and such a mechanism has a great advantage for the user side.
次に、符号側で品質を調整して生成した符号化画像データを復号側に配布する例を説明する。 Next, an example in which encoded image data generated by adjusting quality on the code side is distributed to the decoding side will be described.
(実施形態3)
図8は、実施形態3に係る画像符号化装置300の構成図である。なお、画像符号化装置300は、フレーム間符号化を用いて符号化することができるが、一般的な処理であるため、図8ではその部分を省略してある。
(Embodiment 3)
FIG. 8 is a configuration diagram of an
画素値補正部302は、後述する品質設定部318により輝度値や色差値の変更がなされる場合、品質設定部318からの設定値に応じて、それらの値を補正する。その補正を行う場合、画像用メモリ304を利用する。輝度値などの変更を行わない場合、画素値補正部302および画像用メモリ304は設ける必要がない。
When the luminance value or the color difference value is changed by the quality setting unit 318 described later, the pixel value correcting unit 302 corrects those values according to the setting value from the quality setting unit 318. When performing the correction, the
直交変換部306は、ウェーブレット変換や離散コサイン変換などを施す。後述する品質設定部318により解像度が指定される場合、それに応じて、例えば、ウェーブレット変換の回数を調整する。量子化部308は、直交変換部306から出力されたウェーブレット変換係数などの所定の係数を所定の量子化幅で量子化する。後述する量子化スケール設定部320から量子化スケールが指定される場合、その量子化スケールに基づき、量子化する。可変長符号部310は、量子化部308から渡されたビット列をビットプレーン毎に符号化する。また、復号に必要な各種パラメータなどを符号化する。なお、ビット列をエントロピー符号化してもよい。
The
ストリーム生成部312は、可変長符号部310から入力される画像の符号化データを組み立てて、符号化ストリームを生成する。そして、生成した符号化ストリームをネットワークや記録媒体に出力する。後述する品質設定部318によりフレームレートや表示サイズが指定される場合、それに応じて、フレームレートや表示サイズを変更する。なお、ストリーム生成部312は、ストリーム用メモリ314を利用することができる。上記符号化ストリームを受信した復号装置は、通常通り、それを復号することができる。
The stream generation unit 312 assembles encoded data of an image input from the variable
品質管理部316は、時間経過とともに動画像の品質が変化するよう、画像提供者が設定した各種の品質を管理し、品質設定部318にそれを設定する。また、視聴者のコンテンツ購入などにより、品質管理を解除する場合も、品質設定部318にそれを設定する。
The
品質設定部318は、品質管理部316から指定された品質に基づき、品質を調整するためのパラメータを各部に設定する。まず、解像度を変化させる場合、直交変換部306にウェーブレット変換回数などを指定する。画質を変化させる場合、量子化スケール設定部320に量子化スケールを設定する。
The quality setting unit 318 sets parameters for adjusting the quality in each unit based on the quality designated by the
また、表示領域を変化させる場合、品質設定部318は、量子化スケール設定部320にROI情報を設定する。表示する画像サイズを変化させる場合、ストリーム生成部312に表示サイズを設定する。フレームレートを変化させる場合も、ストリーム生成部312にフレームレートを指定する。
When changing the display area, the quality setting unit 318 sets ROI information in the quantization
また、表示画像の明るさを変化させる場合、品質設定部318は、画素値補正部302に輝度の補正値を設定する。表示画像の色を変化させる場合、画素値補正部302に色差の補正値を設定する。品質設定部318は、実施形態2で説明した品質設定部36と同様に、各部にパラメータを設定し、各部も、同様に動画像の品質を変化させることができる。 When the brightness of the display image is changed, the quality setting unit 318 sets a luminance correction value in the pixel value correction unit 302. When changing the color of the display image, a color difference correction value is set in the pixel value correction unit 302. Similarly to the quality setting unit 36 described in the second embodiment, the quality setting unit 318 sets parameters in each unit, and each unit can similarly change the quality of the moving image.
以上説明したように本実施形態によれば、動画像の著作権保護と利用促進とを両立する画像復号化装置を実現することができる。また、符号化側で品質を劣化させた動画像データを生成する場合、符号化データの容量を低減することができる。よって、ネットワーク上のトラフィック量を軽減することができ、また、それを受信したユーザ端末のハードディスクなどの記録容量を節約することもできる。さらに、既存の復号装置でも復号することができ、汎用性が高い符号化データを生成することができる。 As described above, according to the present embodiment, it is possible to realize an image decoding apparatus that achieves both copyright protection and promotion of use of moving images. In addition, when generating moving image data with degraded quality on the encoding side, the capacity of the encoded data can be reduced. Therefore, the amount of traffic on the network can be reduced, and the recording capacity of the user terminal that has received the traffic can be saved. Furthermore, it can be decoded by an existing decoding device, and encoded data with high versatility can be generated.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
上記実施形態にて、画像符号化装置100、300とは別個のサーバで、ユーザの課金状況を管理して、ユーザが料金を支払った場合に、画像符号化装置100、300に通知して、品質管理を解除してもよい。この場合、既存の課金システムを利用することができる。
In the above embodiment, the user's charging status is managed by a server separate from the
上記実施形態1、2にて、品質情報を符号化ストリームに付加して、復号側に送信する例を説明した。この点、復号側で品質情報を別途にダウンロードするようにしてもよい。この情報がなければ、再生を開始できないように設定すれば、ユーザが自発的にダウンロードすることが期待される。この場合、符号側で符号化ストリームに品質情報を付加する必要がなくなり、符号化装置の構成を簡素化することができる。 In the first and second embodiments, the example in which the quality information is added to the encoded stream and transmitted to the decoding side has been described. In this regard, quality information may be separately downloaded on the decoding side. Without this information, it is expected that the user will download voluntarily if it is set so that playback cannot be started. In this case, it is not necessary to add quality information to the encoded stream on the encoding side, and the configuration of the encoding apparatus can be simplified.
10 直交変換部、 12 量子化部、 14 エントロピー符号化部、 16 符号化ストリーム生成部、 18 品質情報付加部、 20 ストリーム取得部、 22 ストリーム用メモリ、 24 可変長復号部、 26 逆量子化部、 28 直交逆変換部、 30 画素値計算部、 32 フレーム再構成部、 34 品質管理部、 36 品質設定部、 38 量子化スケール設定部、 40 参照データ指定部、 42 画像用メモリ、 100 画像符号化装置、 200 画像復号装置。
DESCRIPTION OF
Claims (13)
時間経過とともに品質が変化しながら表示されるよう、符号化した動画像データに所定の設定値を付加する付加部と、
を備えることを特徴とする画像符号化装置。 An encoding unit for encoding moving image data;
An adding unit for adding a predetermined set value to the encoded moving image data so that the quality is displayed as the quality changes with time;
An image encoding device comprising:
前記品質を変化させるための設定値を前記符号部に与える品質設定部と、
を備えることを特徴とする画像符号化装置。 An encoding unit that encodes moving image data so that the quality is displayed while changing over time;
A quality setting unit that gives a setting value for changing the quality to the encoding unit;
An image encoding device comprising:
時間経過とともに品質が変化するよう設定された設定値を前記復号部に与える品質設定部と、を備え、
前記復号部は、前記設定値に応じて、前記品質を変化させながら復号することを特徴とする画像復号装置。 A decoding unit for decoding the encoded moving image data;
A quality setting unit that provides the decoding unit with a setting value set so that the quality changes with time, and
The image decoding apparatus, wherein the decoding unit performs decoding while changing the quality according to the set value.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005041803A JP2006229661A (en) | 2005-02-18 | 2005-02-18 | Image display method, image encoder, image decoder, and image display device |
US11/356,470 US7925097B2 (en) | 2005-02-18 | 2006-02-17 | Image display method, image coding apparatus, and image decoding apparatus |
CNA2006100916494A CN1867076A (en) | 2005-02-18 | 2006-02-17 | Image display method, image coding apparatus, and image decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005041803A JP2006229661A (en) | 2005-02-18 | 2005-02-18 | Image display method, image encoder, image decoder, and image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006229661A true JP2006229661A (en) | 2006-08-31 |
Family
ID=36990596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005041803A Pending JP2006229661A (en) | 2005-02-18 | 2005-02-18 | Image display method, image encoder, image decoder, and image display device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2006229661A (en) |
CN (1) | CN1867076A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019180080A (en) * | 2018-03-30 | 2019-10-17 | 株式会社リコー | Video processing device, communication terminal, video conference system, video processing method, and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9743034B2 (en) * | 2014-07-16 | 2017-08-22 | Hitachi Maxell, Ltd. | Video transmitting/receiving device and video display device |
-
2005
- 2005-02-18 JP JP2005041803A patent/JP2006229661A/en active Pending
-
2006
- 2006-02-17 CN CNA2006100916494A patent/CN1867076A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019180080A (en) * | 2018-03-30 | 2019-10-17 | 株式会社リコー | Video processing device, communication terminal, video conference system, video processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
CN1867076A (en) | 2006-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102525578B1 (en) | Method and Apparatus for video encoding and Method and Apparatus for video decoding | |
US7925097B2 (en) | Image display method, image coding apparatus, and image decoding apparatus | |
Mantiuk et al. | Backward compatible high dynamic range MPEG video compression | |
US9554132B2 (en) | Video compression implementing resolution tradeoffs and optimization | |
US7953315B2 (en) | Adaptive video processing circuitry and player using sub-frame metadata | |
US6782132B1 (en) | Video coding and reconstruction apparatus and methods | |
US8238435B2 (en) | Modifying bitstreams | |
Lee et al. | Subjective evaluation of scalable video coding for content distribution | |
KR102500761B1 (en) | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image | |
US20180367800A1 (en) | Adaptive bit rate ratio control | |
US20130156113A1 (en) | Video signal processing | |
CN115398481A (en) | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image | |
JP2008533885A (en) | Apparatus and method for generating an image data stream and apparatus and method for processing an image data stream | |
US8695029B2 (en) | System and method of adaptive and progressive descrambling of streaming video | |
JP2011514051A (en) | Apparatus and method for providing content data | |
EP2606644A1 (en) | Video signal processing | |
JP2006229661A (en) | Image display method, image encoder, image decoder, and image display device | |
US20070009024A1 (en) | Apparatus and method for producing a picture data stream and for processing a picture data stream | |
CN106664387B9 (en) | Computer device and method for post-processing video image frame and computer readable medium | |
JP4201780B2 (en) | Image processing apparatus, image display apparatus and method | |
KR102421720B1 (en) | Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image | |
US9038096B2 (en) | System and method of adaptive and progressive descrambling of digital image content | |
KR20220063063A (en) | A method and an apparatus for performing artificial intelligence encoding and artificial intelligence decoding | |
CN116034394A (en) | Adaptive streaming for false contour mitigation | |
US20230196505A1 (en) | Artificial intelligence-based image providing apparatus and method, and artificial intelligence-based display apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100105 |