JP2018011337A - Image processing apparatus, image processing method and image processing system - Google Patents
Image processing apparatus, image processing method and image processing system Download PDFInfo
- Publication number
- JP2018011337A JP2018011337A JP2017174316A JP2017174316A JP2018011337A JP 2018011337 A JP2018011337 A JP 2018011337A JP 2017174316 A JP2017174316 A JP 2017174316A JP 2017174316 A JP2017174316 A JP 2017174316A JP 2018011337 A JP2018011337 A JP 2018011337A
- Authority
- JP
- Japan
- Prior art keywords
- change information
- image
- moving image
- unit
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本明細書で開示する技術は、高ダイナミック・レンジの動画像を処理する画像処理装置及び画像処理方法、並びに画像処理システムに関する。 The technology disclosed in the present specification relates to an image processing apparatus, an image processing method, and an image processing system that process a moving image with a high dynamic range.
最近、撮像素子（イメージ・センサー）の高ビット化などにより、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）化が進んでいる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。 Recently, with the increase in the bit of an image sensor (image sensor), the dynamic range (HDR) of an image has been increased. In the HDR image, the contrast ratio between the maximum brightness color and the minimum brightness color reaches, for example, 10000: 1 or more, and the real world can be expressed realistically. The HDR image has advantages such as being able to express shadows realistically, simulating exposure, and expressing glare.
例えば、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。 For example, an imaging apparatus that synthesizes an HDR image from a plurality of captured images having different exposure amounts has been proposed (see, for example, Patent Document 1).
既に最大輝度が５００ｎｉｔや１０００ｎｉｔ程度のＨＤＲ画像に対応したディスプレイが市販され始めている。例えば、ＨＤＲ動画像は、インターネット上のサーバーからストリーミング配信され、ブルーレイ・ディスクなどの記録メディアを媒介にして提供され、あるいは放送局から放送される。ユーザーは、ＨＤＲ対応のディスプレイを用いて、ＨＤＲ動画像を楽しむことができる。 A display corresponding to an HDR image having a maximum luminance of about 500 nit or about 1000 nit has already begun to be marketed. For example, HDR moving images are streamed from a server on the Internet, provided via a recording medium such as a Blu-ray disc, or broadcast from a broadcasting station. A user can enjoy an HDR moving image using an HDR compatible display.
本明細書で開示する技術の目的は、高ダイナミック・レンジの動画像を好適に処理することができる画像処理装置及び画像処理方法、並びに画像処理システムを提供することにある。 An object of the technology disclosed in the present specification is to provide an image processing apparatus, an image processing method, and an image processing system that can suitably process a moving image with a high dynamic range.
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出部と、
動画像ストリームと画像信号の変化情報を出力する出力部と、
を具備する画像処理装置である。
The present application has been made in consideration of the above problems, and the technology according to claim 1
A change information extraction unit that extracts change information of the image signal at a position where the image signal of the moving image stream changes rapidly;
An output unit for outputting a moving image stream and image signal change information;
Is an image processing apparatus.
本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置は、動画像ストリームをエンコードするエンコード部をさらに備えている。そして、前記出力部は、前記エンコード部によりエンコードした後の動画像ストリームを画像信号の変化情報とともに出力するように構成されている。 According to the technique described in claim 2 of the present application, the image processing apparatus described in claim 1 further includes an encoding unit that encodes a moving image stream. The output unit is configured to output the moving image stream encoded by the encoding unit together with image signal change information.
本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置の前記変化情報抽出部は、動画像ストリームを所定のモニターに表示したときの色域又は表示輝度（ｃｄ／ｍ2）、コンテンツの輝度（％）、ニー圧縮時のニー位置情報のうち少なくとも１つについて、画像信号の変化情報として抽出するように構成されている。 According to the technique described in claim 3 of the present application, the change information extraction unit of the image processing apparatus according to claim 1 uses a color gamut or display luminance (cd /) when a moving image stream is displayed on a predetermined monitor. m 2 ), brightness (%) of the content, and knee position information at the time of knee compression are extracted as image signal change information.
本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置の前記出力部は、動画像ストリーム及び変化情報を伝送路に送出するように構成されている。 According to the technique described in claim 4 of the present application, the output unit of the image processing apparatus described in claim 1 is configured to send a moving image stream and change information to a transmission path.
本願の請求項５に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は動画像ストリームからシーン単位で変化情報を抽出し、前記出力部は、シーン毎に変化情報のＳＥＩをまとめて動画像ストリームの対応するシーンの先頭で伝送するように構成されている。 According to the technology described in claim 5 of the present application, the change information extraction unit of the image processing apparatus according to claim 4 extracts change information from the moving image stream in units of scenes, and the output unit The change information SEI is collectively transmitted at the head of the corresponding scene of the moving image stream.
本願の請求項６に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信するように構成されている。 According to the technique described in claim 6 of the present application, the change information extraction unit of the image processing apparatus according to claim 4 extracts change information whose value is changed little by little, and the output unit The change information before and after the position where the image signal of the stream rapidly changes is transmitted as metadata.
本願の請求項７に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、前記出力部は、動画像ストリームのＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、又はＭＰ４ ｂｏｘのメタデータとして変化情報を送信するように構成されている。 According to the technique described in claim 7 of the present application, the change information extraction unit of the image processing apparatus according to claim 4 includes the time or the number of frames until the position at which the image signal next changes abruptly, and the position. The change information including the change amount of the image signal is extracted, and the output unit is configured to transmit the change information as SEI or TS descriptor of the moving image stream or metadata of the MP4 box.
また、本願の請求項８に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出ステップと、
動画像ストリームと画像信号の変化情報を出力する出力ステップと、
を有する画像処理方法である。
Further, the technique described in claim 8 of the present application is:
A change information extraction step for extracting change information of the image signal at a position where the image signal of the moving image stream changes rapidly;
An output step for outputting a moving image stream and image signal change information;
Is an image processing method.
また、本願の請求項９に記載の技術は、
動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力部と、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理部と、
を具備する画像処理装置である。
Further, the technique according to claim 9 of the present application is
An input unit for inputting a moving image stream together with change information of an image signal at a position where the image signal rapidly changes;
A change information corresponding processing unit for performing a corresponding process based on the change information on the input moving image stream;
Is an image processing apparatus.
本願の請求項１０に記載の技術によれば、請求項９に記載の画像処理装置は、前記入力部で入力した動画像ストリームをデコードするデコード部をさらに備えている。そして、前記変化情報対応処理部は、前記デコード部でデコードした後の動画像ストリームに対して変化情報に基づく対応処理を行なうように構成されている。 According to a tenth aspect of the present application, the image processing device according to the ninth aspect further includes a decoding unit that decodes the moving image stream input by the input unit. The change information handling processing unit is configured to perform a handling process based on the change information on the moving image stream decoded by the decoding unit.
本願の請求項１１に記載の技術によれば、請求項９に記載の画像処理装置の前記入力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を入力するように構成されている。 According to the technique described in claim 11 of the present application, the input unit of the image processing apparatus according to claim 9 inputs change information at the position before the position where the image signal of the moving image stream changes rapidly. Is configured to do.
本願の請求項１２に記載の技術によれば、請求項９に記載の画像処理装置は、前記入力部で入力した情報から画像信号の変化情報を復元する変化情報復元部をさらに備えている。 According to the twelfth aspect of the present application, the image processing apparatus according to the ninth aspect further includes a change information restoring unit that restores change information of the image signal from the information input by the input unit.
本願の請求項１３に記載の技術によれば、請求項１２に記載の画像処理装置の前記変化情報復元部は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元するように構成されている。 According to the technique described in claim 13 of the present application, the change information restoration unit of the image processing device according to claim 12 is extracted in units of scenes of the moving image stream and arranged or associated with the head of the scene. It is configured to restore change information.
本願の請求項１４に記載の技術によれば、請求項１２に記載の画像処理装置の前記変化情報復元部は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから変化情報を復元するように構成されている。 According to the technique described in claim 14 of the present application, the change information restoration unit of the image processing device according to claim 12 is arranged before and after a position where the value is changed little by little and the image signal changes rapidly. It is configured to restore the change information from the associated metadata.
本願の請求項１５に記載の技術によれば、請求項９に記載の画像処理装置の前記変化情報復元部は、動画像ストリームのメタデータから、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を復元するように構成されている。 According to the technique described in claim 15 of the present application, the change information restoration unit of the image processing device according to claim 9 performs the process from the metadata of the moving image stream to the position where the image signal next changes abruptly. The change information including the time or the number of frames and the change amount of the image signal at the position is restored.
本願の請求項１６に記載の技術によれば、請求項９に記載の画像処理装置の前記変化情報対応処理部は、変化情報に基づいて、動画像ストリームの画像信号の急激な変化を抑制する処理を行なうように構成されている。 According to the technique described in claim 16 of the present application, the change information corresponding processing unit of the image processing apparatus according to claim 9 suppresses a rapid change in the image signal of the moving image stream based on the change information. It is configured to perform processing.
また、本願の請求項１７に記載の技術は、
動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力ステップと、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理ステップと、
を有する画像処理方法である。
Further, the technology described in claim 17 of the present application is:
An input step of inputting the moving image stream together with the change information of the image signal at a position where the image signal rapidly changes;
A change information corresponding processing step for performing a corresponding process based on the change information on the input moving image stream;
Is an image processing method.
また、本願の請求項１８に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報とともに動画像ストリームを供給する画像供給装置と、
変化情報に基づいて動画像ストリームの画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
を具備する画像処理システムである。
Further, the technique described in claim 18 of the present application is:
An image supply device that supplies a moving image stream together with change information of the image signal at a position where the image signal of the moving image stream rapidly changes;
An image using apparatus that performs processing for suppressing a rapid change in the image signal of the moving image stream based on the change information;
Is an image processing system.
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。 However, “system” here refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter whether or not.
本明細書で開示する技術によれば、受信又は再生側の装置で画像信号の変化情報を取得できるようにＨＤＲ動画像を処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。 According to the technology disclosed in the present specification, an excellent image processing apparatus and image processing method capable of processing an HDR moving image so that image signal change information can be acquired by a receiving or reproducing apparatus are provided. be able to.
また、本明細書で開示する技術によれば、画像信号の変化情報を事前に取得して、画像信号の急激な変化に対応した表示を行なうようにＨＤＲ動画像を処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。 Further, according to the technology disclosed in this specification, it is possible to process the HDR moving image so as to obtain the change information of the image signal in advance and perform display corresponding to the sudden change of the image signal. An image processing apparatus and an image processing method can be provided.
また、本明細書で開示する技術によれば、画像信号の急激な変化に対応してＨＤＲ動画像を伝送し又は記録する処理を行なうことができる、優れた画像処理システムを提供することができる。 In addition, according to the technology disclosed in this specification, it is possible to provide an excellent image processing system capable of performing processing for transmitting or recording an HDR moving image in response to a rapid change in an image signal. .
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。 In addition, the effect described in this specification is an illustration to the last, and the effect of this invention is not limited to this. In addition to the above effects, the present invention may have additional effects.
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。 Other objects, features, and advantages of the technology disclosed in the present specification will become apparent from a more detailed description based on the embodiments to be described later and the accompanying drawings.
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。 Hereinafter, embodiments of the technology disclosed in this specification will be described in detail with reference to the drawings.
本明細書で開示する技術について説明する前に、ＳＤＲ画像とＨＤＲ画像について説明しておく。 Before describing the technology disclosed in this specification, SDR images and HDR images will be described.
ＨＤＲ画像は、現実世界に近いダイナミック・レンジを持ち、例えば、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達する。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。 The HDR image has a dynamic range close to that of the real world. For example, the contrast ratio between the maximum brightness color and the minimum brightness color reaches, for example, 10,000: 1 or more. The HDR image has advantages such as being able to express shadows realistically, simulating exposure, and expressing glare.
一方、動画像をディスプレイの画面に表示する際、輝度や色域などの画像信号が時間的に激しく変化すると、気分が悪くなるなど視聴者の健康被害が懸念される。 On the other hand, when a moving image is displayed on a display screen, if an image signal such as luminance or color gamut changes drastically with time, there is a concern about the health of the viewer, such as feeling worse.
図１には、画像信号が時間方向で変化する様子を例示している。但し、横軸を時間軸とし、縦軸を画像信号レベルとする。画像信号は、色域や輝度などである。 FIG. 1 illustrates a state in which the image signal changes in the time direction. However, the horizontal axis is the time axis, and the vertical axis is the image signal level. The image signal has a color gamut, brightness, and the like.
図１に示す例では、シーンの切り替わりに起因して画像信号の急激な変化が生じている。シーン１０１は部屋の中のシーンであり、シーン１０２は太陽光・青空の下で撮影された屋外のシーンであり、シーン１０３は爆発するシーンであり、シーン１０４は夜又は夜空のシーンである。１つのシーンは、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットの動画像ストリームにおける１又は２以上のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）で構成される。 In the example shown in FIG. 1, a sudden change in the image signal occurs due to scene switching. The scene 101 is a scene in a room, the scene 102 is an outdoor scene shot under sunlight and blue sky, the scene 103 is an explosion scene, and the scene 104 is a night or night sky scene. One scene is composed of, for example, one or more GOPs (Group of Pictures) in a moving picture stream in the MPEG (Moving Picture Experts Group) format.
各シーン間の切り替わり１１１、１１２、１１３では、色域や輝度といった画像信号が急激に変化する。勿論、シーン内でも画像信号が急激に変化することも想定される。また、シーン間では、フレーム全体で画像信号が急激に変化する場合の他、フレーム内の一部のブロック又は一部の画素で画像信号の急激な変化が生じることも想定される。また、シーンの切り替わりだけでなく、フレームがマルチ画面化したことや、フレーム内に字幕やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）、メニューが表示されたことなどに起因して、画像信号が急激に変化することもある。いずれにせよ、画像信号が急激に変化すると、視聴者の視覚を過度に刺激し、健康への影響を及ぼす。 In the switching 111, 112, and 113 between the scenes, the image signal such as the color gamut and the luminance changes abruptly. Of course, it is also assumed that the image signal changes suddenly even within the scene. In addition to the case where the image signal suddenly changes in the entire frame between scenes, it is assumed that the image signal suddenly changes in some blocks or some pixels in the frame. In addition to scene switching, the image signal changes rapidly due to the fact that the frame has become a multi-screen, subtitles, OSD (On Screen Display), and menus are displayed in the frame. There is also. In any case, when the image signal changes rapidly, the viewer's vision is excessively stimulated, affecting the health.
とりわけ、ＨＤＲ動画像はダイナミック・レンジが広いことから、図１中の各シーン間の切り替わり１１１、１１２、１１３では画像信号が著しく変化するため、問題はより深刻である。 In particular, since the HDR moving image has a wide dynamic range, the image signal changes remarkably at the switching 111, 112, 113 between the scenes in FIG. 1, and the problem is more serious.
そこで、本明細書で開示する技術では、ＨＤＲ動画像の画像供給元の画像処理装置は、元のＨＤＲ動画像から画像信号の変化情報を抽出して、ＨＤＲ動画像とともに出力するようにする。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含み、画像信号が急激に変化する位置よりも前もって出力する。一方、ＨＤＲ動画像の再生側の画像処理装置は、供給されたＨＤＲ動画像に対して変化情報に基づいた処理を適用して、画像信号が急激に変化しないようにする。 Therefore, in the technique disclosed in this specification, the image processing apparatus that is the image supply source of the HDR moving image extracts the change information of the image signal from the original HDR moving image and outputs the extracted information together with the HDR moving image. The change information of the image signal includes information such as the position where the image signal changes rapidly and the amount of change, and is output before the position where the image signal changes rapidly. On the other hand, the image processing device on the playback side of the HDR moving image applies processing based on the change information to the supplied HDR moving image so that the image signal does not change rapidly.
図２には、ＨＤＲ動画像の画像供給元の画像処理装置２００の構成例を模式的に示している。図示の画像処理装置２００は、エンコード部２０１と、変化情報抽出部２０２と、出力部２０３を備えている。 FIG. 2 schematically illustrates a configuration example of the image processing apparatus 200 that is the image supply source of the HDR moving image. The illustrated image processing apparatus 200 includes an encoding unit 201, a change information extraction unit 202, and an output unit 203.
エンコード部２０１は、画像ソース２１０からソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。 The encoding unit 201 inputs an HDR moving image as a source image from the image source 210 and encodes it into a compression format such as MPEG.
変化情報抽出部２０２は、エンコード部２０１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。 The change information extraction unit 202 extracts change information of the image signal from the HDR moving image before the encoding unit 201 encodes, and outputs it as metadata. The change information of the image signal includes information such as a position where the image signal changes rapidly and a change amount.
出力部２０３は、エンコード部２０１がエンコードした後の動画像ストリームと、変化情報抽出部２０２が抽出した変化情報からなる出力情報を外部に出力する。 The output unit 203 outputs, to the outside, output information including a moving image stream encoded by the encoding unit 201 and change information extracted by the change information extraction unit 202.
変化情報抽出部２０２がＨＤＲ動画像から抽出する画像信号の変化情報として、以下の（１）〜（４）を挙げることができる。ここで、マスター・モニターは、ＨＤＲ画像を制作・編集に用いるディスプレイモニターである。また、ｋｎｅｅ ｐｏｉｎｔは、画像の輝度を所定のダイナミック・レンジに収めるように高輝度部分の信号を抑制するニー（ｋｎｅｅ）圧縮する際の入力ニー位置情報並びに出力ニー位置情報である。図１には、シーン１０１、…毎のこれらの画像信号の変化情報１２１、１２２、１２３、１２４を併せて例示している。 The following (1) to (4) can be given as the change information of the image signal extracted by the change information extraction unit 202 from the HDR moving image. Here, the master monitor is a display monitor that uses HDR images for production and editing. Further, knee point is input knee position information and output knee position information at the time of knee compression that suppresses a signal of a high luminance part so that the luminance of the image falls within a predetermined dynamic range. FIG. 1 also illustrates the change information 121, 122, 123, and 124 of these image signals for each scene 101,.
（１）マスター・モニターの色域
（２）マスター・モニターの表示輝度（ｃｄ／ｍ2）
（３）コンテンツの輝度（％）
（４）ｋｎｅｅ ｐｏｉｎｔ
(1) Master monitor color gamut (2) Master monitor display brightness (cd / m 2 )
(3) Content brightness (%)
(4) knee point
但し、これらは例示に過ぎず、（１）〜（４）のうち一部のみを変化情報として抽出する、（１）〜（４）に加えて他の変化情報も抽出する、（１）〜（４）の一部又は全部に変えて他の変化情報を抽出するなどの実装も考えられる。 However, these are merely examples, and only a part of (1) to (4) is extracted as change information. In addition to (1) to (4), other change information is also extracted. An implementation of extracting other change information in place of part or all of (4) is also conceivable.
変化情報抽出部２０２が抽出したメタデータを出力する方法として、既存の運用ルールに従ってメタデータを記述する方法と、メタデータを記述するために新規のデータを定義する方法が挙げられる。 As a method of outputting the metadata extracted by the change information extraction unit 202, there are a method of describing metadata according to an existing operation rule and a method of defining new data for describing metadata.
既存の運用ルールに従う方法として、例えば、上記の変化情報（１）〜（４）を、以下に示すように、ＭＰＥＧで既に定義されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）に記述することができる。 As a method according to the existing operation rules, for example, the above change information (1) to (4) can be described in SEI (Supplemental Enhancement Information) already defined in MPEG as shown below.
（１）マスター・モニターの色域
→Ｃｏｌｏｕｒ ｐｒｉｍａｒｉｅｓ ｉｎｆｏ ＳＥＩ（Ｍａｓｔｅｒｉｎｇ ｄｉｓｐｌａｙ ｉｎｆｏ ＳＥＩ）
（２）マスター・モニターの表示輝度（ｃｄ／ｍ2）
→Ｔｏｎｅ ｍａｐｐｉｎｇ ｉｎｆｏ ＳＥＩ又はＫｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ
（３）コンテンツの輝度（％）
→Ｔｏｎｅ ｍａｐｐｉｎｇ ｉｎｆｏ ＳＥＩ又はＫｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ
（４）ｋｎｅｅ ｐｏｉｎｔ
→Ｋｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ
(1) Master monitor color gamut → Color primaries info SEI (Mastering display info SEI)
(2) Master monitor display brightness (cd / m 2 )
→ Tone mapping info SEI or Knee function info SEI
(3) Content brightness (%)
→ Tone mapping info SEI or Knee function info SEI
(4) knee point
→ Knee function info SEI
あるいは、変化することや（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を記述する新規のデータを定義し、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどに格納する。 Alternatively, new data describing the change (Up / Down flag, etc.) and information (difference or absolute value) regarding the change amount is defined and stored in SEI, TS descriptor, MP4 box, or the like.
また、ＨＤＲ動画像の再生側では供給されたＨＤＲ動画像に対して変化情報に基づいた処理を行なうので、後述するように、ＨＤＲ動画像よりも前もって変化情報が再生側に届くように、メタデータを出力する必要がある。 In addition, since the processing based on the change information is performed on the supplied HDR moving image on the playback side of the HDR moving image, the meta information is transmitted so that the change information reaches the playback side before the HDR moving image, as will be described later. It is necessary to output data.
既存の運用ルールに従って画像信号の変化情報を記述する場合、例えば、変化情報抽出部２０２は、シーン単位で各変化情報（１）〜（４）を抽出する。そして、出力部２０３は、各変化情報（１）〜（４）をまとめて、動画像ストリームのシーンの先頭に配置し、又は、シーンの先頭に対応付けて出力する。 When describing change information of an image signal according to existing operation rules, for example, the change information extraction unit 202 extracts each change information (1) to (4) in units of scenes. Then, the output unit 203 collects the pieces of change information (1) to (4), arranges them at the head of the scene of the moving image stream, or outputs them in association with the head of the scene.
あるいは，変化情報抽出部２０２は、変化情報を記述した既存のメタデータの値を少しずつ変化させる。そして、出力部２０３は、動画像ストリームの再生位置に合せて逐次配置し、又は、再生位置に対応付けて出力する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント（又は、画像信号が急激に変化する位置）の前後に配置し又は対応付けて出力する。 Alternatively, the change information extraction unit 202 changes the value of the existing metadata describing the change information little by little. Then, the output unit 203 sequentially arranges according to the playback position of the moving image stream, or outputs the video stream in association with the playback position. For example, metadata values whose luminance is gradually lowered are arranged before or after the original scene switching point (or a position where the image signal changes suddenly) like Fade In / Out, and are output in association with each other. .
また、新規のデータを定義して、画像信号の変化情報を事前に通知する。例えば、変化情報抽出部２０２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出すると、その変化情報として、画像信号が急激に変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、出力部２０３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで伝送する。 In addition, new data is defined, and change information of the image signal is notified in advance. For example, when the change information extraction unit 202 detects that the image signal changes abruptly after XX seconds (or after the XX frame) of the moving image stream, as the change information, the change information extraction unit 202 (After XX seconds or after XX frames), information indicating the presence / absence of change (Up / Down flag or the like) and information (difference or absolute value) regarding the amount of change are output. And the output part 203 transmits by SEI, TS descriptor, MP4 box, etc.
図３には、ＨＤＲ動画像の再生側の画像処理装置３００の構成例を模式的に示している。図示の画像処理装置３００は、入力部３０１と、デコード部３０２と、変化情報復元部３０３と、変化情報対応処理部３０４を備えている。 FIG. 3 schematically shows a configuration example of the image processing apparatus 300 on the playback side of the HDR moving image. The illustrated image processing apparatus 300 includes an input unit 301, a decoding unit 302, a change information restoration unit 303, and a change information correspondence processing unit 304.
入力部３０１は、ＨＤＲ動画像の画像供給元の画像処理装置２００から出力された出力情報を入力する。画像処理装置２００からの出力情報は、エンコードされた動画像ストリームと、画像信号の変化情報を含んでいる。変化情報は、動画像ストリームで画像信号が急激に変化する位置よりも前もって入手できるように、出力情報に格納されている。例えば、シーン毎に抽出された各変化情報のＳＥＩがまとめてシーンの先頭に配置され、又はシーンの先頭に対応付けて出力情報に含まれている（前述）。入力部３０１は、入力した出力情報から、動画像ストリームと変化情報を分離する。 The input unit 301 inputs output information output from the image processing apparatus 200 that is the image supply source of the HDR moving image. Output information from the image processing apparatus 200 includes an encoded moving image stream and image signal change information. The change information is stored in the output information so that it can be obtained in advance of the position where the image signal changes rapidly in the moving image stream. For example, the SEI of each piece of change information extracted for each scene is collectively arranged at the head of the scene, or included in the output information in association with the head of the scene (described above). The input unit 301 separates the moving image stream and the change information from the input output information.
デコード部３０２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部３０４に出力する。デコード部３０２から変化情報対応処理部３０４へは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などのインターフェースを用いて動画像ストリームが伝送される。 The decoding unit 302 decodes the moving image stream encoded in a compression format such as MPEG and outputs the decoded video stream to the change information correspondence processing unit 304. A moving image stream is transmitted from the decoding unit 302 to the change information handling processing unit 304 using an interface such as HDMI (High Definition Multimedia Interface).
変化情報復元部３０３は、入力部３０１で入力した出力情報に含まれている変化情報を復元して、変化情報対応処理部３０４に出力する。 The change information restoration unit 303 restores change information included in the output information input by the input unit 301 and outputs the change information to the change information correspondence processing unit 304.
例えば、変化情報復元部３０３は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元する。 For example, the change information restoration unit 303 restores the change information extracted in units of scenes of the moving image stream and arranged or associated with the head of the scene.
あるいは、変化情報復元部３０３は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから、変化情報を復元する。 Alternatively, the change information restoring unit 303 restores the change information from metadata that is changed before and after the value and is arranged before or after the position where the image signal changes rapidly.
あるいは、変化情報復元部３０３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで伝送されてきたメタデータから、画像信号が急激に変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を記載した変化情報を復元する。 Alternatively, the change information restoration unit 303 can detect the position information (after XX seconds or after XX frames) where the image signal changes abruptly from metadata transmitted by SEI, TS descriptor, MP4 box, etc. The change information in which information indicating presence / absence (Up / Down flag or the like) and information (difference or absolute value) regarding the change amount is described is restored.
変化情報対応処理部３０４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部３０３から変化情報を取得することができる。そして、変化情報対応処理部３０４は、デコード部３０２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。 The change information correspondence processing unit 304 can acquire the change information from the change information restoring unit 303 before the position where the image signal changes suddenly in the moving image stream. Then, when the moving image stream input from the decoding unit 302 reaches a position where the image signal changes suddenly, the change information correspondence processing unit 304 makes a sudden change in the image signal based on the change information acquired in advance. Perform processing to relieve.
例えば、変化情報対応処理部３０４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。なお、変化情報対応処理部３０４は、画像信号が急激に変化するフレーム全体、フレーム内で画像信号が急激に変化するブロック、又は、画像信号が急激に変化する画素について、対応処理を行なう。 For example, the change information correspondence processing unit 304 applies a low-pass filter to an image signal at a rapidly changing position to remove or suppress a high frequency component. Note that the change information correspondence processing unit 304 performs correspondence processing on the entire frame in which the image signal changes rapidly, the block in which the image signal changes rapidly in the frame, or the pixel in which the image signal changes rapidly.
変化情報対応処理部３０４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。 The moving image stream processed by the change information corresponding processing unit 304 is displayed on an HDR compatible display (not shown) such as a liquid crystal display panel. Since the HDR video displayed on the HDR-compatible display suppresses a rapid change in the image signal, it can prevent a health hazard such as a viewer feeling bad.
図４には、本明細書で開示する技術を画像伝送システム４００に適用した実施例を模式的に示している。図示の画像伝送システム４００は、画像送信装置４１０と画像受信装置４２０で構成され、伝送路４３０を介して動画像ストリームの伝送が行なわれる。 FIG. 4 schematically shows an embodiment in which the technology disclosed in this specification is applied to the image transmission system 400. The illustrated image transmission system 400 includes an image transmission device 410 and an image reception device 420, and a moving image stream is transmitted via a transmission path 430.
例えば、画像送信装置４１０は、地上波又は衛星波のディジタル放送の放送局であり、画像受信装置４２０は、ディジタル放送信号を選局受信するＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、チューナー、ディジタルＴＶなどである。伝送路４３０は、放送信号が伝搬する空間である。また、画像送信装置４１０は、例えばＨＤＲの番組コンテンツを放送する放送事業者によって運営される。 For example, the image transmission device 410 is a broadcasting station for digital broadcasting of terrestrial or satellite waves, and the image receiving device 420 is an STB (Set Top Box), a tuner, a digital TV, or the like that selectively receives a digital broadcasting signal. . The transmission path 430 is a space through which broadcast signals propagate. The image transmission device 410 is operated by a broadcaster that broadcasts HDR program content, for example.
あるいは、画像送信装置４１０は、動画像ストリームをストリーミング配信する配信サーバー、画像受信装置４２０は、動画像ストリームを受信して視聴するパーソナル・コンピューターなどの情報機器である。この場合の伝送路４３０は、インターネットなどのＴＣＰ／ＩＰネットワークである。また、画像送信装置４１０は、ＨＤＲ動画像をインターネットなどのネットワークでストリーミング配信するコンテンツ提供業者によって運営される。 Alternatively, the image transmission device 410 is a distribution server that performs streaming distribution of a moving image stream, and the image reception device 420 is an information device such as a personal computer that receives and views the moving image stream. In this case, the transmission path 430 is a TCP / IP network such as the Internet. The image transmission apparatus 410 is operated by a content provider that distributes HDR moving images via a network such as the Internet.
画像送信装置４１０は、エンコード部４１１と、変化情報抽出部４１２と、送信部４１３を備えている。 The image transmission apparatus 410 includes an encoding unit 411, a change information extraction unit 412, and a transmission unit 413.
エンコード部４１１は、マスター・モニター（図示しない）などの画像ソースからソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。 The encoding unit 411 inputs an HDR moving image as a source image from an image source such as a master monitor (not shown) and encodes it into a compression format such as MPEG.
変化情報抽出部４１２は、エンコード部４１１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。 The change information extraction unit 412 extracts the change information of the image signal from the HDR moving image before encoding by the encoding unit 411, and outputs it as metadata. The change information of the image signal includes information such as a position where the image signal changes rapidly and a change amount. Specific examples of the change information are as described above.
送信部４１３は、エンコードした後の動画像ストリームと画像信号の変化情報を含んだメタデータなどの送信情報をパケット化して、伝送路４３０に送出する。 The transmission unit 413 packetizes transmission information such as metadata including the encoded moving image stream and image signal change information, and transmits the packetized information to the transmission path 430.
画像受信装置４２０側で画像信号の変化に対応した処理を行なうためには、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、対応するメタデータが画像受信装置４２０に届くようにしなければならない。 In order to perform the processing corresponding to the change of the image signal on the image receiving device 420 side, the corresponding metadata reaches the image receiving device 420 before the position where the image signal suddenly changes on the moving image stream. There must be.
例えば、変化情報抽出部４１２は、シーン単位で各変化情報を抽出する。そして、送信部４１３は、各変化情報のＳＥＩをまとめて、動画像ストリームの対応するシーンの先頭で送るようにする。 For example, the change information extraction unit 412 extracts each change information in units of scenes. Then, the transmission unit 413 collects the SEI of each change information and sends it at the head of the corresponding scene of the moving image stream.
あるいは、変化情報抽出部４１２は、値を少しずつ変化させた変化情報を抽出する。そして、送信部４１３は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後で、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘを用いて送信する。 Or the change information extraction part 412 extracts the change information which changed the value little by little. Then, the transmission unit 413 transmits the change information before and after the position where the image signal of the moving image stream rapidly changes as metadata. For example, the metadata value with the brightness decreased gradually is transmitted using SEI, TS descriptor, and MP4 box before and after the original scene switching point, such as Fade In / Out.
あるいは、変化情報抽出部４１２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出して、その変化情報として、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、送信部４１３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで変化情報を事前に送信する。 Alternatively, the change information extraction unit 412 detects that the image signal changes abruptly after XX seconds (or after XX frames) of the moving image stream, and changes position information or (XX seconds later) as the change information. Or after the XX frame), information indicating the presence / absence of a change (such as an Up / Down flag) and information (difference or absolute value) regarding the amount of change are output. Then, the transmission unit 413 transmits the change information in advance using SEI, TS descriptor, MP4 box, or the like.
画像受信装置４２０は、受信部４２１と、デコード部４２２と、変化情報復元部４２３と、変化情報対応処理部４２４を備えている。 The image receiving apparatus 420 includes a receiving unit 421, a decoding unit 422, a change information restoring unit 423, and a change information correspondence processing unit 424.
受信部４２１は、画像送信装置４１０から送信されたパケットを受信し、整列化して、元の動画像ストリームを組み立てる。 The reception unit 421 receives the packets transmitted from the image transmission apparatus 410, arranges them, and assembles the original moving image stream.
デコード部４２２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部４２４に出力する。デコード部４２２から変化情報対応処理部４２４へは、例えばＨＤＭＩ（登録商標）などのインターフェースを用いて動画像ストリームが伝送される。 The decoding unit 422 decodes a moving image stream encoded in a compression format such as MPEG and outputs the decoded video stream to the change information correspondence processing unit 424. A moving image stream is transmitted from the decoding unit 422 to the change information handling processing unit 424 using an interface such as HDMI (registered trademark), for example.
変化情報復元部４２３は、受信した動画像ストリームのＳＥＩやＴＳ Ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどに格納されている変化情報を取り出して、復元し、変化情報対応処理部４２４に出力する。変化情報は、変化情報対応処理部４２４で画像信号の変化に対応した処理が可能となるように、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって伝送されている。 The change information restoration unit 423 extracts and restores the change information stored in the SEI, TS Descriptor, MP4 box, and the like of the received moving image stream, and outputs the change information to the change information correspondence processing unit 424. The change information is transmitted in advance of the position where the image signal suddenly changes on the moving image stream so that the change information correspondence processing unit 424 can perform processing corresponding to the change of the image signal.
変化情報対応処理部４２４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部４２３から変化情報を取得する。そして、変化情報対応処理部４２４は、デコード部４２２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部４２４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。 The change information correspondence processing unit 424 acquires the change information from the change information restoration unit 423 before the position where the image signal suddenly changes in the moving image stream. Then, when the moving image stream input from the decoding unit 422 reaches a position where the image signal changes rapidly, the change information correspondence processing unit 424 rapidly changes the image signal based on the change information acquired in advance. Perform processing to relieve. For example, the change information correspondence processing unit 424 removes or suppresses high-frequency components by applying an image signal at a rapidly changing position to a low-pass filter.
変化情報対応処理部４２４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。 The moving image stream processed by the change information corresponding processing unit 424 is displayed on an HDR compatible display (not shown) such as a liquid crystal display panel. Since the HDR video displayed on the HDR-compatible display suppresses a rapid change in the image signal, it can prevent a health hazard such as a viewer feeling bad.
図５には、本明細書で開示する技術を画像記録再生システム５００に適用した実施例を模式的に示している。図示の画像記録再生システム５００は、動画像ストリームを画像蓄積装置５３０に記録する画像記録装置５１０と、画像蓄積装置５３０に記録された動画像ストリームを再生する画像再生装置５２０で構成される。画像蓄積装置５３０は、ハード・ディスク・ドライブなどの大容量記録装置や、ブルーレイ・ディスクなどの可搬型記録メディアへのデータの書き込み並びに読み出しを行なうメディア記録再生装置などである。画像記録装置５１０は、例えばＨＤＲ動画像を記録したブルーレイ・ディスクなどの記録メディアを販売するメディア販売事業者などによって運営される。 FIG. 5 schematically shows an embodiment in which the technique disclosed in this specification is applied to an image recording / reproducing system 500. The illustrated image recording / playback system 500 includes an image recording device 510 that records a moving image stream in the image storage device 530 and an image playback device 520 that plays back the moving image stream recorded in the image storage device 530. The image storage device 530 is a large-capacity recording device such as a hard disk drive or a media recording / reproducing device that writes and reads data on a portable recording medium such as a Blu-ray disc. The image recording device 510 is operated by, for example, a media sales company that sells recording media such as a Blu-ray disc on which an HDR moving image is recorded.
画像記録装置５１０は、エンコード部５１１と、変化情報抽出部５１２と、データ書き込み部５１３を備えている。 The image recording apparatus 510 includes an encoding unit 511, a change information extraction unit 512, and a data writing unit 513.
エンコード部５１１は、ソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。 The encoding unit 511 inputs an HDR moving image as a source image and encodes it into a compression format such as MPEG.
変化情報対応処理部５１２は、エンコード部５１１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。 The change information correspondence processing unit 512 extracts change information of the image signal from the HDR moving image before the encoding unit 511 encodes, and outputs it as metadata. The change information of the image signal includes information such as a position where the image signal changes rapidly and a change amount. Specific examples of the change information are as described above.
データ書き込み部５１３は、エンコードした後の動画像ストリームと画像信号の変化情報を含んだメタデータなどの記録情報を、例えばＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）などの所定のファイル・システムに従って、画像蓄積装置５３０に書き込む。 The data writing unit 513 stores the recording information such as metadata including the encoded moving image stream and the change information of the image signal in accordance with a predetermined file system such as FAT (File Allocation Table), for example. Write to.
画像再生装置５２０側で画像信号の変化に対応した処理を行なうためには、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、画像再生装置５２０が対応するメタデータを取得できるようにしなければならない。 In order to perform processing corresponding to the change of the image signal on the image reproduction device 520 side, the image reproduction device 520 can acquire the corresponding metadata before the position where the image signal changes suddenly on the moving image stream. Must be.
例えば、変化情報抽出部５１２は、シーン単位で各変化情報を抽出する。そして、データ書き込み部５１３は、各変化情報をまとめて、動画像ストリームの対応するシーンの先頭に配置して、画像蓄積装置５３０に記録するようにする。あるいは、データ書き込み部５１３は、シーン単位で抽出された各変化情報を、対応するシーンの先頭位置との対応関係が分かるようにして、動画像ストリームとは別のファイルとして画像蓄積装置５３０に記録するようにする。 For example, the change information extraction unit 512 extracts each change information for each scene. Then, the data writing unit 513 collects each piece of change information, arranges it at the head of the corresponding scene of the moving image stream, and records it in the image storage device 530. Alternatively, the data writing unit 513 records each change information extracted in units of scenes in the image storage device 530 as a separate file from the moving image stream so that the correspondence relationship with the head position of the corresponding scene can be understood. To do.
あるいは、変化情報抽出部５１２は、変化情報を記述したメタデータの値を少しずつ変化させる。そして、データ書き込み部５１３は、動画像ストリームの再生位置に合わせてメタデータを画像蓄積装置５３０に記録する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後に記録する。 Alternatively, the change information extraction unit 512 changes the value of the metadata describing the change information little by little. Then, the data writing unit 513 records metadata in the image storage device 530 in accordance with the playback position of the moving image stream. For example, metadata values with gradually decreasing brightness are recorded before and after the original scene switching point, such as Fade In / Out.
あるいは、変化情報抽出部５１２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出して、その変化情報として、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、データ書き込み部５１３は、動画像ストリームのＸＸ秒前又はＸＸフレーム前の位置に変化情報を配置して、画像蓄積装置５３０に記録する。 Alternatively, the change information extraction unit 512 detects that the image signal changes abruptly after XX seconds (or after XX frames) of the moving image stream, and changes the position information or (XX seconds later) as the change information. Or after the XX frame), information indicating the presence / absence of a change (such as an Up / Down flag) and information (difference or absolute value) regarding the amount of change are output. Then, the data writing unit 513 arranges the change information at a position XX seconds before or XX frames before the moving image stream, and records the change information in the image storage device 530.
画像再生装置５２０は、データ読み出し部５２１と、デコード部５２２と、変化情報復元部５２３と、変化情報対応処理部５２４を備えている。 The image reproduction device 520 includes a data reading unit 521, a decoding unit 522, a change information restoring unit 523, and a change information correspondence processing unit 524.
データ読み出し部５２１は、画像蓄積装置５３０から動画像ストリームやメタデータを読み出す。 The data reading unit 521 reads a moving image stream and metadata from the image storage device 530.
デコード部５２２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部５２４に出力する。デコード部５２２から変化情報対応処理部５２４へは、例えばＨＤＭＩ（登録商標）などのインターフェースを用いて動画像ストリームが伝送される。 The decoding unit 522 decodes a moving image stream encoded in a compression format such as MPEG and outputs the decoded video stream to the change information correspondence processing unit 524. A moving image stream is transmitted from the decoding unit 522 to the change information handling processing unit 524 using an interface such as HDMI (registered trademark), for example.
変化情報復元部５２３は、データ読み出し部５２１が画像蓄積装置５３０から読み出したメタデータから、変化情報を復元して、変化情報対応処理部５２４に出力する。 The change information restoration unit 523 restores change information from the metadata read by the data reading unit 521 from the image storage device 530 and outputs the change information to the change information correspondence processing unit 524.
変化情報対応処理部５２４で画像信号の変化に対応した処理が可能となるように、変化情報復元部５２３は、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、対応する変化情報を復元する。 In order for the change information correspondence processing unit 524 to be able to perform processing corresponding to the change in the image signal, the change information restoration unit 523 performs the corresponding change information before the position at which the image signal suddenly changes on the moving image stream. To restore.
例えば、変化情報のメタデータは動画像ストリームの対応するシーンの先頭に配置されている。あるいは、変化情報は、対応するシーンの先頭位置との対応関係が分かるようにして、動画像ストリームとは別のファイルとして画像蓄積装置５３０に記録されている。 For example, the metadata of the change information is arranged at the head of the corresponding scene of the moving image stream. Alternatively, the change information is recorded in the image storage device 530 as a separate file from the moving image stream so that the correspondence relationship with the start position of the corresponding scene can be understood.
あるいは、値を少しずつ変化させた変化情報のメタデータが動画像ストリームの再生位置に合わせて画像蓄積装置５３０に記録される。例えば、輝度を少しずつ下げたメタデータの値が、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後に記録されている。 Alternatively, change information metadata whose value is changed little by little is recorded in the image storage device 530 in accordance with the playback position of the moving image stream. For example, metadata values obtained by gradually decreasing the luminance are recorded before and after the original scene switching point, such as Fade In / Out.
あるいは、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を含んだ変化情報のメタデータが、動画像ストリームの画像信号が急激に変化するよりもＸＸ秒前（又はＸＸフレーム前）に配置して、画像蓄積装置５３０に記録されている。 Alternatively, meta information of change information including changing position information (after XX seconds or after XX frames), information indicating the presence / absence of change (Up / Down flag, etc.), and information about the amount of change (difference or absolute value) Data is recorded in the image storage device 530 by being arranged XX seconds before (or before XX frames) before the image signal of the moving image stream changes suddenly.
変化情報対応処理部５２４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部５２３から変化情報を取得する。そして、変化情報対応処理部５２４は、デコード部５２２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部５２４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。 The change information correspondence processing unit 524 acquires the change information from the change information restoring unit 523 before the position where the image signal suddenly changes in the moving image stream. Then, when the moving image stream input from the decoding unit 522 reaches a position where the image signal suddenly changes, the change information correspondence processing unit 524 rapidly changes the image signal based on the change information acquired in advance. Perform processing to relieve. For example, the change information correspondence processing unit 524 removes or suppresses high-frequency components by applying an image signal at a rapidly changing position to a low-pass filter.
変化情報対応処理部５２４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。 The moving image stream processed by the change information corresponding processing unit 524 is displayed on an HDR compatible display (not shown) such as a liquid crystal display panel. Since the HDR video displayed on the HDR-compatible display suppresses a rapid change in the image signal, it can prevent a health hazard such as a viewer feeling bad.
図６には、本明細書で開示する技術を画像受信装置６００に適用した実施例を模式的に示している。画像受信装置６００は、例えば放送局から放送され、あるいは、インターネット上の配信サーバーから配信されるＨＤＲ動画像ストリームを受信する。 FIG. 6 schematically shows an embodiment in which the technology disclosed in this specification is applied to the image receiving apparatus 600. The image receiving device 600 receives an HDR video stream that is broadcast from a broadcasting station or distributed from a distribution server on the Internet, for example.
図示の画像受信装置６００は、受信部６０１と、デコード部６０２と、変化情報抽出部６０３と、遅延部６０４と、変化情報対応処理部６０５を備えている。 The illustrated image receiving apparatus 600 includes a receiving unit 601, a decoding unit 602, a change information extracting unit 603, a delay unit 604, and a change information correspondence processing unit 605.
受信部６０１は、伝送路６１０からパケットを受信し、整列化して、元の動画像ストリームを組み立てる。また、デコード部６０２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードする。 The receiving unit 601 receives the packets from the transmission path 610, arranges them, and assembles the original moving image stream. Further, the decoding unit 602 decodes a moving image stream encoded in a compression format such as MPEG.
変化情報抽出部６０３は、デコード部でデコードした後のＨＤＲ動画像ストリームから、画像信号の変化情報を抽出して、変化情報対応処理部６０５に出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。 The change information extraction unit 603 extracts image signal change information from the HDR moving image stream decoded by the decoding unit and outputs the change information to the change information correspondence processing unit 605. The change information of the image signal includes information such as a position where the image signal changes rapidly and a change amount. Specific examples of the change information are as described above.
例えば、変化情報抽出部６０３は、シーン単位で画像信号の変化情報を抽出する。遅延部６０４は、変化情報抽出部６０３がシーンの変化情報を抽出し、該当するシーンの処理が可能なるまで、デコード部６０２がデコードした動画像ストリームの変化情報対応処理部６０５への入力を遅延させる。 For example, the change information extraction unit 603 extracts image signal change information in units of scenes. The delay unit 604 delays input of the moving image stream decoded by the decoding unit 602 to the change information corresponding processing unit 605 until the change information extracting unit 603 extracts scene change information and the corresponding scene can be processed. Let
変化情報対応処理部６０５は、動画像ストリームに対して、変化情報抽出部６０３から供給される変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部６０５は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。 The change information correspondence processing unit 605 performs a process for softening a sudden change in the image signal on the moving image stream based on the change information supplied from the change information extraction unit 603. For example, the change information correspondence processing unit 605 removes or suppresses high frequency components by applying an image signal at a rapidly changing position to a low pass filter.
変化情報対応処理部６０５で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。 The moving image stream processed by the change information corresponding processing unit 605 is displayed on an HDR compatible display (not shown) such as a liquid crystal display panel. Since the HDR video displayed on the HDR-compatible display suppresses a rapid change in the image signal, it can prevent a health hazard such as a viewer feeling bad.
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。 As described above, the technology disclosed in this specification has been described in detail with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the scope of the technology disclosed in this specification.
本明細書では、本明細書で開示する技術を画像伝送システムや画像記録再生システム、画像受信装置に適用した実施例について説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ＨＤＲ動画像を表示するさまざまなシステムに、同様に、本明細書で開示する技術を適用することができる。 In the present specification, embodiments in which the technology disclosed in this specification is applied to an image transmission system, an image recording / playback system, and an image receiving device have been described. However, the gist of the technology disclosed in this specification is limited to this. It is not something. Similarly, the technology disclosed in the present specification can be applied to various systems that display HDR moving images.
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。 In short, the technology disclosed in the present specification has been described in the form of exemplification, and the description content of the present specification should not be interpreted in a limited manner. In order to determine the gist of the technology disclosed in this specification, the claims should be taken into consideration.
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出部と、
動画像ストリームと画像信号の変化情報を出力する出力部と、
を具備する画像処理装置。
（２）動画像ストリームをエンコードするエンコード部をさらに備え、
前記出力部は、前記エンコード部によりエンコードした後の動画像ストリームを画像信号の変化情報とともに出力する、
上記（１）に記載の画像処理装置。
（３）前記変化情報抽出部は、動画像ストリームを所定のモニターに表示したときの色域又は表示輝度（ｃｄ／ｍ2）、コンテンツの輝度（％）、ニー圧縮時のニー位置情報のうち少なくとも１つについて、画像信号の変化情報として抽出する、
上記（１）に記載の画像処理装置。
（４）前記出力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を出力する、
上記（１）に記載の画像処理装置。
（５）前記変化情報抽出部は、動画像ストリームのシーン単位で画像信号の変化情報を抽出し、
前記出力部は、シーン毎の変化情報を動画像ストリームのシーンの先頭に配置し又はシーンの先頭に対応付けて出力する、
上記（４）に記載の画像処理装置。
（６）前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、
前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後に変化情報を配置し又は対応付けて出力する、
上記（４）に記載の画像処理装置。
（７）前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、
前記出力部は、変化情報を動画像ストリームのメタデータとして出力する、
上記（４）に記載の画像処理装置。
（８）前記出力部は、動画像ストリーム及び変化情報を伝送路に送出する、
上記（１）に記載の画像処理装置。
（９）前記変化情報抽出部は動画像ストリームからシーン単位で変化情報を抽出し、
前記出力部は、シーン毎に変化情報のＳＥＩをまとめて動画像ストリームの対応するシーンの先頭で伝送する、
上記（８）に記載の画像処理装置。
（１０）前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、
前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信する、
上記（８）に記載の画像処理装置。
（１１）前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、
前記出力部は、動画像ストリームのＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどのメタデータとして変化情報を送信する、
上記（８）に記載の画像処理装置。
（１２）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出ステップと、
動画像ストリームと画像信号の変化情報を出力する出力ステップと、
を有する画像処理方法。
（１３）動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力部と、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理部と、
を具備する画像処理装置。
（１４）前記入力部で入力した動画像ストリームをデコードするデコード部をさらに備え、
前記変化情報対応処理部は、前記デコード部でデコードした後の動画像ストリームに対して変化情報に基づく対応処理を行なう、
上記（１３）に記載の画像処理装置。
（１５）前記入力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を入力する、
上記（１３）に記載の画像処理装置。
（１６）前記入力部で入力した情報から画像信号の変化情報を復元する変化情報復元部をさらに備える、
上記（１３）に記載の画像処理装置。
（１７）前記変化情報復元部は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元する、
上記（１６）に記載の画像処理装置。
（１８）前記変化情報復元部は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから変化情報を復元する、
上記（１６）に記載の画像処理装置。
（１９）前記変化情報復元部は、動画像ストリームのメタデータから、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を復元する、
上記（１６）に記載の画像処理装置。
（２０）前記変化情報対応処理部は、変化情報に基づいて、動画像ストリームの画像信号の急激な変化を抑制する処理を行なう、
上記（１３）に記載の画像処理装置。
（２１）動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力ステップと、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理ステップと、
を有する画像処理方法。
（２２）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報とともに動画像ストリームを供給する画像供給装置と、
変化情報に基づいて動画像ストリームの画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
を具備する画像処理システム。
Note that the technology disclosed in the present specification can also be configured as follows.
(1) a change information extraction unit that extracts change information of the image signal at a position where the image signal of the moving image stream rapidly changes;
An output unit for outputting a moving image stream and image signal change information;
An image processing apparatus comprising:
(2) further comprising an encoding unit for encoding the moving image stream;
The output unit outputs a moving image stream encoded by the encoding unit together with change information of an image signal;
The image processing apparatus according to (1) above.
(3) The change information extraction unit includes a color gamut or display luminance (cd / m 2 ) when a moving image stream is displayed on a predetermined monitor, content luminance (%), and knee position information during knee compression. At least one is extracted as change information of the image signal.
The image processing apparatus according to (1) above.
(4) The output unit outputs change information at the position before the position where the image signal of the moving image stream changes suddenly.
The image processing apparatus according to (1) above.
(5) The change information extraction unit extracts change information of the image signal in units of scenes of the moving image stream,
The output unit arranges and outputs change information for each scene at the beginning of the scene of the moving image stream or in association with the beginning of the scene.
The image processing apparatus according to (4) above.
(6) The change information extraction unit extracts change information whose value is changed little by little,
The output unit arranges or outputs change information before or after a position where an image signal of a moving image stream changes suddenly.
The image processing apparatus according to (4) above.
(7) The change information extraction unit extracts change information including the time or the number of frames until the next position where the image signal suddenly changes and the amount of change in the image signal at the position,
The output unit outputs the change information as metadata of the moving image stream;
The image processing apparatus according to (4) above.
(8) The output unit sends a moving image stream and change information to a transmission path.
The image processing apparatus according to (1) above.
(9) The change information extraction unit extracts change information in units of scenes from the moving image stream,
The output unit collectively transmits SEI of change information for each scene and transmits it at the head of the corresponding scene of the moving image stream.
The image processing apparatus according to (8) above.
(10) The change information extraction unit extracts change information whose value is changed little by little,
The output unit transmits, as metadata, change information before and after a position where an image signal of a moving image stream changes suddenly.
The image processing apparatus according to (8) above.
(11) The change information extraction unit extracts change information including a time or a number of frames until a position where the image signal changes abruptly next and a change amount of the image signal at the position,
The output unit transmits change information as metadata such as SEI, TS descriptor, and MP4 box of a moving image stream.
The image processing apparatus according to (8) above.
(12) a change information extraction step of extracting change information of the image signal at a position where the image signal of the moving image stream changes rapidly;
An output step for outputting a moving image stream and image signal change information;
An image processing method.
(13) An input unit that inputs a moving image stream together with change information of an image signal at a position where the image signal rapidly changes;
A change information corresponding processing unit for performing a corresponding process based on the change information on the input moving image stream;
An image processing apparatus comprising:
(14) a decoding unit for decoding the moving image stream input by the input unit;
The change information handling processing unit performs a handling process based on the change information for the moving image stream decoded by the decoding unit.
The image processing apparatus according to (13) above.
(15) The input unit inputs change information at a position before the position where the image signal of the moving image stream changes rapidly.
The image processing apparatus according to (13) above.
(16) It further includes a change information restoration unit that restores change information of the image signal from the information input by the input unit.
The image processing apparatus according to (13) above.
(17) The change information restoration unit restores change information extracted in units of scenes of the moving image stream and arranged or associated with the head of the scene.
The image processing apparatus according to (16) above.
(18) The change information restoration unit restores change information from metadata that is changed before and after the position where the value of the image signal is changed abruptly or is associated with the image signal.
The image processing apparatus according to (16) above.
(19) The change information restoration unit obtains change information including the time or the number of frames from the metadata of the moving image stream to the next position where the image signal suddenly changes, and the change amount of the image signal at the position. Restore,
The image processing apparatus according to (16) above.
(20) The change information correspondence processing unit performs a process of suppressing a rapid change in the image signal of the moving image stream based on the change information.
The image processing apparatus according to (13) above.
(21) An input step of inputting a moving image stream together with change information of an image signal at a position where the image signal rapidly changes;
A change information corresponding processing step for performing a corresponding process based on the change information on the input moving image stream;
An image processing method.
(22) An image supply device that supplies a moving image stream together with change information of the image signal at a position where the image signal of the moving image stream changes abruptly;
An image using apparatus that performs processing for suppressing a rapid change in the image signal of the moving image stream based on the change information;
An image processing system comprising:
２００…画像処理装置（画像供給元）
２０１…エンコード部、２０２…変化情報抽出部、２０３…出力部
３００…画像処理装置（再生側）
３０１…入力部、３０２…デコード部、３０３…変化情報復元部
３０４…変化情報対応処理部
４００…画像伝送システム
４１０…画像送信装置、４１１…エンコード部、４１２…変化情報抽出部
４１３…送信部
４２０…画像受信装置、４２１…受信部、４２２…デコード部
４２３…変化情報復元部、４２４…変化情報対応処理部、４３０…伝送路
５００…画像記録再生システム
５１０…画像記録装置、５１１…エンコード部、５１２…変化情報抽出部
５１３…データ書き込み部
５２０…画像再生装置、５２１…データ読み出し部、５２２…デコード部
５２３…変化情報復元部、５２４…変化情報対応処理部
５３０…画像蓄積装置
６００…画像受信装置、６０１…受信部、６０２…デコード部
６０３…変化情報抽出部、６０４…遅延部、６０５…変化情報対応処理部
200: Image processing apparatus (image supply source)
201: Encoding unit, 202: Change information extraction unit, 203 ... Output unit 300 ... Image processing apparatus (reproduction side)
DESCRIPTION OF SYMBOLS 301 ... Input part 302 ... Decoding part 303 ... Change information restoration part 304 ... Change information corresponding | compatible process part 400 ... Image transmission system 410 ... Image transmission apparatus 411 ... Encoding part 412 ... Change information extraction part 413 ... Transmission part 420 DESCRIPTION OF SYMBOLS Image receiving device 421 Receiving unit 422 Decoding unit 423 Change information restoring unit 424 Change information corresponding processing unit 430 Transmission path 500 Image recording / reproducing system 510 Image recording device 511 Encoding unit DESCRIPTION OF SYMBOLS 512 ... Change information extraction part 513 ... Data writing part 520 ... Image reproduction apparatus 521 ... Data reading part 522 ... Decoding part 523 ... Change information restoration part 524 ... Change information corresponding | compatible process part 530 ... Image storage apparatus 600 ... Image reception Device, 601... Receiving unit, 602... Decoding unit 603... Change information extracting unit, 604. , 605 ... change information corresponding processing unit
Claims (3)
動画像ストリームと画像信号の変化情報を外部に出力する出力部と、
を具備する画像処理装置。 An image at a position where at least one of the color gamut or display luminance (cd / m 2 ), content luminance (%), knee position information during knee compression when a moving image stream is displayed on a predetermined monitor changes rapidly. A change information extraction unit for extracting signal change information;
An output unit for outputting a moving image stream and image signal change information to the outside;
An image processing apparatus comprising:
動画像ストリームと画像信号の変化情報を外部に出力する出力ステップと、
を有する画像処理方法。 An image at a position where at least one of the color gamut or display luminance (cd / m 2 ), content luminance (%), knee position information during knee compression when a moving image stream is displayed on a predetermined monitor changes rapidly. A change information extraction step for extracting signal change information;
An output step for outputting the moving image stream and the change information of the image signal to the outside;
An image processing method.
前記画像供給装置から動画像ストリーム及び変化情報を受信し、変化情報に基づいて動画像ストリームの画像信号が急激に変化する位置における画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
を具備する画像処理システム。 An image at a position where at least one of the color gamut or display luminance (cd / m 2 ), content luminance (%), knee position information during knee compression when a moving image stream is displayed on a predetermined monitor changes rapidly. An image supply device for supplying a moving image stream together with signal change information;
An image utilization device that receives a moving image stream and change information from the image supply device, and performs processing for suppressing a rapid change in the image signal at a position where the image signal of the moving image stream changes rapidly based on the change information;
An image processing system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017174316A JP2018011337A (en) | 2017-09-11 | 2017-09-11 | Image processing apparatus, image processing method and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017174316A JP2018011337A (en) | 2017-09-11 | 2017-09-11 | Image processing apparatus, image processing method and image processing system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014042858A Division JP6217462B2 (en) | 2014-03-05 | 2014-03-05 | Image processing apparatus, image processing method, and image processing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018011337A true JP2018011337A (en) | 2018-01-18 |
Family
ID=60995755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017174316A Pending JP2018011337A (en) | 2017-09-11 | 2017-09-11 | Image processing apparatus, image processing method and image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018011337A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05244530A (en) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | Display device |
| JPH08307860A (en) * | 1995-04-28 | 1996-11-22 | Toshiba Corp | Scene re-encoder |
| JPH10290458A (en) * | 1997-04-15 | 1998-10-27 | Sony Corp | Video encode system |
| JP2009027550A (en) * | 2007-07-20 | 2009-02-05 | Funai Electric Co Ltd | Video signal processing apparatus |
| JP2013527996A (en) * | 2010-02-22 | 2013-07-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Video display with rendering control using metadata embedded in the bitstream |
| JP2013541895A (en) * | 2010-09-16 | 2013-11-14 | コーニンクレッカ フィリップス エヌ ヴェ | Apparatus and method for improved image coding |
-
2017
- 2017-09-11 JP JP2017174316A patent/JP2018011337A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05244530A (en) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | Display device |
| JPH08307860A (en) * | 1995-04-28 | 1996-11-22 | Toshiba Corp | Scene re-encoder |
| JPH10290458A (en) * | 1997-04-15 | 1998-10-27 | Sony Corp | Video encode system |
| JP2009027550A (en) * | 2007-07-20 | 2009-02-05 | Funai Electric Co Ltd | Video signal processing apparatus |
| JP2013527996A (en) * | 2010-02-22 | 2013-07-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Video display with rendering control using metadata embedded in the bitstream |
| JP2013541895A (en) * | 2010-09-16 | 2013-11-14 | コーニンクレッカ フィリップス エヌ ヴェ | Apparatus and method for improved image coding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6217462B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP6292495B2 (en) | Reproduction method and reproduction apparatus | |
| US9514783B2 (en) | Video editing with connected high-resolution video camera and video cloud server | |
| JP6846130B2 (en) | Methods and devices for overlaying 3D graphics on 3D video | |
| US10297086B2 (en) | System and method for processing digital video | |
| CN110489073B (en) | Conversion method and conversion device | |
| US20070253677A1 (en) | System for simultaneous playback of multiple video angles from multimedia content onto a display device and method thereof | |
| KR101602879B1 (en) | Media processing apparatus for multi-display system and method of operation thereof | |
| EP2717254A1 (en) | Content processing apparatus for processing high resolution content and content processing method thereof | |
| JP2010166622A (en) | Apparatus for receiving digital information signal | |
| CN102292994A (en) | Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays | |
| WO2016103968A1 (en) | Information processing device, information recording medium, information processing method, and program | |
| US20110157163A1 (en) | Image processing device and image processing method | |
| WO2010041576A1 (en) | Content distribution system | |
| KR20160041398A (en) | Contents processing apparatus and contents processing method thereof | |
| Beach | Real world video compression | |
| JP6731627B2 (en) | Method Performed on Playback Device and Playback Device | |
| Beach et al. | Video compression handbook | |
| US20070234193A1 (en) | Method for simultaneous display of multiple video tracks from multimedia content and playback system thereof | |
| US10764655B2 (en) | Main and immersive video coordination system and method | |
| JP2018011337A (en) | Image processing apparatus, image processing method and image processing system | |
| JP2015126469A (en) | Image processor, image processing method and image processing program | |
| KR101603976B1 (en) | Method and apparatus for concatenating video files | |
| TWI826400B (en) | Information processing device, information processing method, recording medium, reproduction device, reproduction method, and program | |
| US20040213547A1 (en) | Method and system for video compression and resultant media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180928 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190219 |