JP2011234342A - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP2011234342A JP2011234342A JP2011004708A JP2011004708A JP2011234342A JP 2011234342 A JP2011234342 A JP 2011234342A JP 2011004708 A JP2011004708 A JP 2011004708A JP 2011004708 A JP2011004708 A JP 2011004708A JP 2011234342 A JP2011234342 A JP 2011234342A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame image
- gradation
- frame
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
Abstract
【課題】簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上する。
【解決手段】本発明の画像処理装置は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する。
【選択図】図１
【解決手段】本発明の画像処理装置は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する。
【選択図】図１
Description
本発明は、画像処理装置及びその制御方法に関する。
ハイダイナミックレンジ（ＨＤＲ）動画を表現するための技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、異なる２つのアルゴリズムを交互に使用することにより、１フレームの原画像から１フレームのＨＤＲ画像を生成する技術が開示されている。
一方、入力画像から高輝度領域の階調性が高められた画像（低輝度画像）と低輝度領域の階調性が高められた画像（高輝度画像）を生成し、それら２つの画像を交互に表示することにより、ダイナミックレンジを見かけ上向上することができる。以後、このようにダイナミックレンジが向上された映像をＨＤＲ映像と呼ぶ。しかしながら、このような方法で入力映像からＨＤＲ映像を生成すると、図１１に示すように、ＨＤＲ映像のフレームレートが入力映像のフレームレートの倍であるにも関わらず、見かけ上のフレームレートが入力映像のフレームレートのままとなってしまう。また、入力映像に対してフレームレート変換（補間フレーム画像の生成）を行った後に、上記方法でＨＤＲ映像を生成すると、図１２に示すように、ＨＤＲ映像のフレームレートが高くなってしまう。具体的には、ＨＤＲ映像のフレームレートは、フレームレート変換された入力映像のフレームレートの倍となる。そのため、ＨＤＲ映像のフレームレートが表示装置で表示可能な映像のフレームレートを超えてしまう虞がある。
一方、入力画像から高輝度領域の階調性が高められた画像（低輝度画像）と低輝度領域の階調性が高められた画像（高輝度画像）を生成し、それら２つの画像を交互に表示することにより、ダイナミックレンジを見かけ上向上することができる。以後、このようにダイナミックレンジが向上された映像をＨＤＲ映像と呼ぶ。しかしながら、このような方法で入力映像からＨＤＲ映像を生成すると、図１１に示すように、ＨＤＲ映像のフレームレートが入力映像のフレームレートの倍であるにも関わらず、見かけ上のフレームレートが入力映像のフレームレートのままとなってしまう。また、入力映像に対してフレームレート変換（補間フレーム画像の生成）を行った後に、上記方法でＨＤＲ映像を生成すると、図１２に示すように、ＨＤＲ映像のフレームレートが高くなってしまう。具体的には、ＨＤＲ映像のフレームレートは、フレームレート変換された入力映像のフレームレートの倍となる。そのため、ＨＤＲ映像のフレームレートが表示装置で表示可能な映像のフレームレートを超えてしまう虞がある。
本発明は、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することのできる技術を提供することを目的とする。
本発明の第１の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
本発明の第２の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、を有する画像処理装置である。
本発明の第３の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
本発明の第４の態様は、入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法である。
本発明によれば、簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。
＜実施例１＞
本実施例では、入力映像から高輝度領域の階調性が高められたフレーム画像（Ｌ）と低輝度領域の階調性が高められたフレーム画像（Ｈ）が交互に並んだ映像を生成することにより、ダイナミックレンジを見かけ上向上する。以後、フレーム画像Ｈとフレーム画像Ｌが交互に並んだ映像をハイダイナミックレンジ（ＨＤＲ）映像と呼ぶ。
以下、本実施例に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処理装置はＨＤＲ映像を生成する。
本実施例では、入力映像から高輝度領域の階調性が高められたフレーム画像（Ｌ）と低輝度領域の階調性が高められたフレーム画像（Ｈ）が交互に並んだ映像を生成することにより、ダイナミックレンジを見かけ上向上する。以後、フレーム画像Ｈとフレーム画像Ｌが交互に並んだ映像をハイダイナミックレンジ（ＨＤＲ）映像と呼ぶ。
以下、本実施例に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処理装置はＨＤＲ映像を生成する。
（構成）
図１は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。
映像入力部１０１は、入力された映像（入力映像）を構成するフレーム画像（データ）をフレームレート変換処理部１０３及びフレームメモリ１０２へ出力する。以後、入力映像を構成するフレーム画像を入力フレーム画像と記載する。
フレームメモリ１０２は、１フレーム分の入力フレーム画像を蓄積する。
フレームレート変換処理部１０３は、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２に蓄積された入力フレーム画像（映像入力部１０１からの入力フレーム画像よりも１フレーム前の入力フレーム画像）から、動きベクトルを検出する。そして、検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する。動きベクトルを用いた補間フレーム画像の生成方法は、一般的に知られている技術を用いるため、ここでは詳細な説明は省略する。フレームレート変換処理部１０３は、入力フレーム画像と補間フレーム画像を交互に出力する（フレームレート変換手段）。
ＨＤＲ生成処理部１０５は、フレームレート変換処理部１０３から出力される入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、補間フレーム画像に対して高輝度領域の階調性を高める処理を施す（ＨＤＲ映像生成手段）。それにより、入力映像をダイナミックレンジが見かけ上向上されたＨＤＲ映像に変換される。低輝度領域、高輝度領域は、例えば、それぞれ、所定の輝度値（入力輝度の中間値など）以下の領域、所定の輝度値（入力輝度の中間値など）以上の領域である。ただし、入力輝度を均等に複数（３つ以上）の輝度範囲に分割し、最も低輝度側の輝度範囲の領域を低輝度領域、最も高輝度側の輝度範囲を高輝度領域としてもよい。低輝度領域、高輝度領域の階調性は、例えば、ルックアップテーブル（ＬＵＴ）を用いて高められる。そのＬＵＴの一例を図１３に示す。図１３は、横軸を入力輝度（変換前の輝度値）、縦軸を出力輝度（変換後の輝度値）として、ＬＵＴをガンマ補正関数で表した図である。図１３（ａ）は、高輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ａ）のＬＵＴを用いることにより、入力された画像を、高輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が高いほど階調性が高められ、領域の輝度が低いほど階調性が低下される。図１３（ｂ）は、低輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ｂ）のＬＵＴを用いることにより、入力された画像を、低輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が低いほど階調性が高められ、領域の輝度が高いほど階調性が低下される。なお、高輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が低くなるため、以後、低輝度画像と記載する。低輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が高くなるため、以後、高輝度画像と記載する。
映像出力部１０６は、ＨＤＲ生成処理部１０５から出力されたＨＤＲ映像を他の画像処理装置、表示装置（表示部）、メモリなどの蓄積部に出力する（映像出力手段）。
図１は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。
映像入力部１０１は、入力された映像（入力映像）を構成するフレーム画像（データ）をフレームレート変換処理部１０３及びフレームメモリ１０２へ出力する。以後、入力映像を構成するフレーム画像を入力フレーム画像と記載する。
フレームメモリ１０２は、１フレーム分の入力フレーム画像を蓄積する。
フレームレート変換処理部１０３は、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２に蓄積された入力フレーム画像（映像入力部１０１からの入力フレーム画像よりも１フレーム前の入力フレーム画像）から、動きベクトルを検出する。そして、検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する。動きベクトルを用いた補間フレーム画像の生成方法は、一般的に知られている技術を用いるため、ここでは詳細な説明は省略する。フレームレート変換処理部１０３は、入力フレーム画像と補間フレーム画像を交互に出力する（フレームレート変換手段）。
ＨＤＲ生成処理部１０５は、フレームレート変換処理部１０３から出力される入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、補間フレーム画像に対して高輝度領域の階調性を高める処理を施す（ＨＤＲ映像生成手段）。それにより、入力映像をダイナミックレンジが見かけ上向上されたＨＤＲ映像に変換される。低輝度領域、高輝度領域は、例えば、それぞれ、所定の輝度値（入力輝度の中間値など）以下の領域、所定の輝度値（入力輝度の中間値など）以上の領域である。ただし、入力輝度を均等に複数（３つ以上）の輝度範囲に分割し、最も低輝度側の輝度範囲の領域を低輝度領域、最も高輝度側の輝度範囲を高輝度領域としてもよい。低輝度領域、高輝度領域の階調性は、例えば、ルックアップテーブル（ＬＵＴ）を用いて高められる。そのＬＵＴの一例を図１３に示す。図１３は、横軸を入力輝度（変換前の輝度値）、縦軸を出力輝度（変換後の輝度値）として、ＬＵＴをガンマ補正関数で表した図である。図１３（ａ）は、高輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ａ）のＬＵＴを用いることにより、入力された画像を、高輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が高いほど階調性が高められ、領域の輝度が低いほど階調性が低下される。図１３（ｂ）は、低輝度領域の階調性を高める処理に用いるＬＵＴ（関数）の一例を示す。図１３（ｂ）のＬＵＴを用いることにより、入力された画像を、低輝度領域の階調がより細かく表現された画像に階調変換できる。具体的には、領域の輝度が低いほど階調性が高められ、領域の輝度が高いほど階調性が低下される。なお、高輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が低くなるため、以後、低輝度画像と記載する。低輝度領域の階調性を高める処理が施された画像は、元の画像に比べ輝度が高くなるため、以後、高輝度画像と記載する。
映像出力部１０６は、ＨＤＲ生成処理部１０５から出力されたＨＤＲ映像を他の画像処理装置、表示装置（表示部）、メモリなどの蓄積部に出力する（映像出力手段）。
（ＨＤＲ映像の生成）
図２のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ２０１）。
次に、フレームレート変換処理部１０３が、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像（前フレーム画像）とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して交互に出力する（Ｓ２０２；フレームレート変換処理（ＦＲＣ））。
そして、ＨＤＲ生成処理部１０５が、フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ２０３）。該判定は、例えば、フレーム画像に重畳された識別信号（例えば、入力フレーム画像や補間フレーム画像であることを示す識別情報）に基づいて判定すればよい。フレームレート変換処理部１０３が補間フレーム画像に識別情報を付加することにより、ＨＤＲ生成処理部１０５が各フレーム画像に補間フレーム画像であることを示す識別情報が付加されているか否かを判定することができる。また、最初に入力される画像がどちらの画像なのかを予め規定することにより判定してもよい（入力フレーム画像と補間フレーム画像は交
互に出力されるので判定可能である）。
フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像である場合は（Ｓ２０３：ＹＥＳ）、該画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０４）。
フレームレート変換処理部１０３から出力されたフレーム画像が補間フレーム画像である場合は（Ｓ２０３：ＮＯ）、該画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０５）。Ｓ２０４およびＳ２０５の処理をＨＤＲ変換処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ２０６；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
図２のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ２０１）。
次に、フレームレート変換処理部１０３が、映像入力部１０１からの入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像（前フレーム画像）とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して交互に出力する（Ｓ２０２；フレームレート変換処理（ＦＲＣ））。
そして、ＨＤＲ生成処理部１０５が、フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ２０３）。該判定は、例えば、フレーム画像に重畳された識別信号（例えば、入力フレーム画像や補間フレーム画像であることを示す識別情報）に基づいて判定すればよい。フレームレート変換処理部１０３が補間フレーム画像に識別情報を付加することにより、ＨＤＲ生成処理部１０５が各フレーム画像に補間フレーム画像であることを示す識別情報が付加されているか否かを判定することができる。また、最初に入力される画像がどちらの画像なのかを予め規定することにより判定してもよい（入力フレーム画像と補間フレーム画像は交
互に出力されるので判定可能である）。
フレームレート変換処理部１０３から出力されたフレーム画像が入力フレーム画像である場合は（Ｓ２０３：ＹＥＳ）、該画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０４）。
フレームレート変換処理部１０３から出力されたフレーム画像が補間フレーム画像である場合は（Ｓ２０３：ＮＯ）、該画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ２０５）。Ｓ２０４およびＳ２０５の処理をＨＤＲ変換処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ２０６；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
図３は、本実施例に係る画像処理装置による一連の処理（フレームレート変換処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。ここでは、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
図３に示すように、本実施例では、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・から検出された動きベクトルを用いて、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が生成される。そして、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・が高輝度画像１Ｈ，３Ｈ，５Ｈ・・・に、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が低輝度画像２Ｌ，４Ｌ，６Ｌ・・・に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、（見かけ上の）ダイナミックレンジを向上することができる。また、人間の目は暗い画像に対してノイズや輪郭の検知能力が低い。そこで、補間フレーム画像を低輝度画像に変換することにより、フレームレート変換処理おける補間ミス（動きベクトルの誤検出など）を目立たなくすることができる。
図３に示すように、本実施例では、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・から検出された動きベクトルを用いて、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が生成される。そして、入力フレーム画像Ｆ［１］，Ｆ［３］，Ｆ［５］・・・が高輝度画像１Ｈ，３Ｈ，５Ｈ・・・に、補間フレーム画像Ｆ［２］，Ｆ［４］，Ｆ［６］・・・が低輝度画像２Ｌ，４Ｌ，６Ｌ・・・に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、（見かけ上の）ダイナミックレンジを向上することができる。また、人間の目は暗い画像に対してノイズや輪郭の検知能力が低い。そこで、補間フレーム画像を低輝度画像に変換することにより、フレームレート変換処理おける補間ミス（動きベクトルの誤検出など）を目立たなくすることができる。
以上述べたように、本実施例によれば、入力フレーム画像を高輝度画像に変換し、補間フレーム画像を低輝度画像に変換するという簡易な構成で、フレームレート変換後の映像に対し、フレームレートを高めることなくダイナミックレンジを向上することができる。換言すれば、フレームレート変換処理のみを行う場合の構成とほぼ同等の構成（フレームメモリ、メモリ帯域）で、フレームレートを高めることなくダイナミックレンジを向上することができる。
＜実施例２＞
以下、本実施例に係る画像処理装置及びその制御方法について説明する。
本実施例では、フレーム画像を空間周波数の異なる複数のフレーム画像（サブフレーム画像）に分離して出力する方式（駆動分配方式）の画像処理装置において、ＨＤＲ映像を生成する構成について説明を行う。
（構成）
図４は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。本実施例に係る画像処理装置は、実施例１の構成に加え、駆動分配処理部４１１を有する。以下では、実施例１と同様の機能については説明を省略し、実施例１と異なる機能について説明する。
駆動分配処理部４１１は、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する（画像処理手段）。本実施例では、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより高周波成分画像を生成する。以後、
この高周波成分画像を高周波強調画像と記載する。また、フレームレート変換処理部１０３から出力される補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の入力フレーム画像の低周波成分とを平均化することにより低周波成分画像を生成する。以後、この低周波成分画像を低周波平均画像と記載する。なお、高周波成分画像と低周波成分画像はこれに限らない。例えば、入力フレーム画像から抽出した高周波成分、低周波成分によって表される画像（後述するＨ［ｉ］，Ｌ［ｉ］など）を高周波成分画像、低周波成分画像としてもよい。本実施例では、補間フレーム画像の高周波成分が低減されるため、補間ミスが目立たなくされる。
ＨＤＲ生成処理部１０５は、高周波強調画像に対して高輝度領域の階調性を高める処理を施すと共に、低周波平均画像に対して低輝度領域の階調性を高める処理を施す。即ち、高周波強調画像は低輝度画像に変換され、低周波平均画像は高輝度画像に変換される。なお、低輝度画像、高輝度画像への変換方法は実施例１と同様のため、説明は省略する。また、本実施例において高周波強調画像を低輝度画像に変換するのは、高輝度画像に変換すると、高周波部分の輝度値（オーバーシュート部分の輝度値）が、取りうる輝度値の最大値を超えてしまう虞があるからである。上述したように、本実施例では、補間フレーム画像の低周波成分が強調されるため、補間フレーム画像から生成された低周波平均画像を低輝度画像に変換しなくても、十分補間ミスは目立たない。
以下、本実施例に係る画像処理装置及びその制御方法について説明する。
本実施例では、フレーム画像を空間周波数の異なる複数のフレーム画像（サブフレーム画像）に分離して出力する方式（駆動分配方式）の画像処理装置において、ＨＤＲ映像を生成する構成について説明を行う。
（構成）
図４は、本実施例に係る画像処理装置の概略構成の一例を示すブロック図である。本実施例に係る画像処理装置は、実施例１の構成に加え、駆動分配処理部４１１を有する。以下では、実施例１と同様の機能については説明を省略し、実施例１と異なる機能について説明する。
駆動分配処理部４１１は、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する（画像処理手段）。本実施例では、フレームレート変換処理部１０３から出力される入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより高周波成分画像を生成する。以後、
この高周波成分画像を高周波強調画像と記載する。また、フレームレート変換処理部１０３から出力される補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の入力フレーム画像の低周波成分とを平均化することにより低周波成分画像を生成する。以後、この低周波成分画像を低周波平均画像と記載する。なお、高周波成分画像と低周波成分画像はこれに限らない。例えば、入力フレーム画像から抽出した高周波成分、低周波成分によって表される画像（後述するＨ［ｉ］，Ｌ［ｉ］など）を高周波成分画像、低周波成分画像としてもよい。本実施例では、補間フレーム画像の高周波成分が低減されるため、補間ミスが目立たなくされる。
ＨＤＲ生成処理部１０５は、高周波強調画像に対して高輝度領域の階調性を高める処理を施すと共に、低周波平均画像に対して低輝度領域の階調性を高める処理を施す。即ち、高周波強調画像は低輝度画像に変換され、低周波平均画像は高輝度画像に変換される。なお、低輝度画像、高輝度画像への変換方法は実施例１と同様のため、説明は省略する。また、本実施例において高周波強調画像を低輝度画像に変換するのは、高輝度画像に変換すると、高周波部分の輝度値（オーバーシュート部分の輝度値）が、取りうる輝度値の最大値を超えてしまう虞があるからである。上述したように、本実施例では、補間フレーム画像の低周波成分が強調されるため、補間フレーム画像から生成された低周波平均画像を低輝度画像に変換しなくても、十分補間ミスは目立たない。
以下、駆動分配処理部４１１の具体的な構成について説明する。
以下の説明では、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
ローパスフィルタ（ＬＰＦ）４０２は、２次元のローパスフィルタである。このフィルタは特に関数を規定するものではない。ＬＰＦ４０２の処理によって得られるフレーム画像（データ）Ｌ［ｉ］（低周波成分）を以下のように定義する。
Ｌ［ｉ］＝ＬＰＦ［Ｆ［ｉ］］・・・（式１）
減算器４０３は、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像（データ）Ｈ［ｉ］（高周波成分）を算出する。
Ｈ［ｉ］＝Ｆ［ｉ］−Ｌ［ｉ］・・・（式２）
加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、空間的に高周波成分の多い高周波強調画像（データ）ＳＨ［ｉ］を生成する。ただし、この加算器４０４は、フレーム画像Ｆ［ｉ］が入力フレーム画像である場合のみ、高周波強調画像ＳＨ［ｉ］を生成する。言い換えれば、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は、高周波強調画像ＳＨ［ｉ］を生成しない。
ＳＨ［ｉ］＝Ｆ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］・・・（式３）
フレームディレイ４０５は、フレームメモリ４０６にフレーム画像Ｌ［ｉ］を書き込み、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出す。
フレームメモリ４０６は、ＬＰＦ４０２で生成されたフレーム画像を１フレーム分遅延させるために、フレーム画像を蓄積するメモリである。
加算器４０７は、フレーム画像Ｌ［ｉ−１］と、当該フレーム画像Ｌ［ｉ−１］の１フレーム後のフレーム画像Ｌ［ｉ］とを加算し、出力する。ただし、この加算器４０７は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合のみ、加算処理を行う。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、加算処理を行わない。
除算器４０８は、加算器４０７から出力されたフレーム画像データを２で除算することにより、低周波平均画像（データ）ＳＬ［ｉ−１］を生成する。この低周波平均画像ＳＬ［ｉ−１］は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合にのみ生成されることになる。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、低周波平均画像ＳＬ［ｉ−１］は生成されない。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２・・・（式４）
なお、フレームメモリ１０２，４０６は共通のメモリであってもよい。
以下の説明では、フレームレート変換処理部１０３から出力されたｉ番目（ｉは１以上の整数）のフレーム画像（データ）をＦ［ｉ］とする。
ローパスフィルタ（ＬＰＦ）４０２は、２次元のローパスフィルタである。このフィルタは特に関数を規定するものではない。ＬＰＦ４０２の処理によって得られるフレーム画像（データ）Ｌ［ｉ］（低周波成分）を以下のように定義する。
Ｌ［ｉ］＝ＬＰＦ［Ｆ［ｉ］］・・・（式１）
減算器４０３は、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像（データ）Ｈ［ｉ］（高周波成分）を算出する。
Ｈ［ｉ］＝Ｆ［ｉ］−Ｌ［ｉ］・・・（式２）
加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、空間的に高周波成分の多い高周波強調画像（データ）ＳＨ［ｉ］を生成する。ただし、この加算器４０４は、フレーム画像Ｆ［ｉ］が入力フレーム画像である場合のみ、高周波強調画像ＳＨ［ｉ］を生成する。言い換えれば、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は、高周波強調画像ＳＨ［ｉ］を生成しない。
ＳＨ［ｉ］＝Ｆ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］・・・（式３）
フレームディレイ４０５は、フレームメモリ４０６にフレーム画像Ｌ［ｉ］を書き込み、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出す。
フレームメモリ４０６は、ＬＰＦ４０２で生成されたフレーム画像を１フレーム分遅延させるために、フレーム画像を蓄積するメモリである。
加算器４０７は、フレーム画像Ｌ［ｉ−１］と、当該フレーム画像Ｌ［ｉ−１］の１フレーム後のフレーム画像Ｌ［ｉ］とを加算し、出力する。ただし、この加算器４０７は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合のみ、加算処理を行う。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、加算処理を行わない。
除算器４０８は、加算器４０７から出力されたフレーム画像データを２で除算することにより、低周波平均画像（データ）ＳＬ［ｉ−１］を生成する。この低周波平均画像ＳＬ［ｉ−１］は、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合にのみ生成されることになる。言い換えれば、フレーム画像Ｌ［ｉ−１］が入力フレーム画像の低周波成分である場合は、低周波平均画像ＳＬ［ｉ−１］は生成されない。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２・・・（式４）
なお、フレームメモリ１０２，４０６は共通のメモリであってもよい。
（低周波平均画像生成処理）
図６のフローチャートを用いて、低周波平均画像が生成されるまでの処理の流れについて説明する。
まず、ＬＰＦ４０２が、入力映像に対して空間周波数の上限を限定することにより、フレーム画像Ｌ［ｉ］を生成する（Ｓ６０１；フィルタ処理）。
次に、フレームディレイ４０５が、フレーム画像Ｌ［ｉ］をフレームメモリ４０６へ書き込む（Ｓ６０２；フレーム遅延）。
そして、フレームディレイ４０５が、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出し、加算器４０７が、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分であるか否かを判定する（Ｓ６０３）。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合は（Ｓ６０３；ＹＥＳ）、加算器４０７は、フレーム画像Ｌ［ｉ−１］とフレーム画像Ｌ［ｉ］を加算し、出力する。そして、Ｓ６０４へ進む。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分でない場合、即ち、フレーム画像Ｌ［ｉ−１］が入力フレーム画像（非補間フレーム画像）の低周波成分である場合は（Ｓ６０３；ＮＯ）、加算処理は行われず、低周波平均画像生成処理は終了される。即ち、低周波平均画像ＳＬ［ｉ］は生成されない。
Ｓ６０４では、除算器４０８が、加算器４０７から出力されたデータを２で除算することにより、低周波平均画像ＳＬ［ｉ］を生成する（平均値算出）。
図６のフローチャートを用いて、低周波平均画像が生成されるまでの処理の流れについて説明する。
まず、ＬＰＦ４０２が、入力映像に対して空間周波数の上限を限定することにより、フレーム画像Ｌ［ｉ］を生成する（Ｓ６０１；フィルタ処理）。
次に、フレームディレイ４０５が、フレーム画像Ｌ［ｉ］をフレームメモリ４０６へ書き込む（Ｓ６０２；フレーム遅延）。
そして、フレームディレイ４０５が、フレームメモリ４０６から１フレーム前のフレーム画像Ｌ［ｉ−１］を読み出し、加算器４０７が、フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分であるか否かを判定する（Ｓ６０３）。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分である場合は（Ｓ６０３；ＹＥＳ）、加算器４０７は、フレーム画像Ｌ［ｉ−１］とフレーム画像Ｌ［ｉ］を加算し、出力する。そして、Ｓ６０４へ進む。フレーム画像Ｌ［ｉ−１］が補間フレーム画像の低周波成分でない場合、即ち、フレーム画像Ｌ［ｉ−１］が入力フレーム画像（非補間フレーム画像）の低周波成分である場合は（Ｓ６０３；ＮＯ）、加算処理は行われず、低周波平均画像生成処理は終了される。即ち、低周波平均画像ＳＬ［ｉ］は生成されない。
Ｓ６０４では、除算器４０８が、加算器４０７から出力されたデータを２で除算することにより、低周波平均画像ＳＬ［ｉ］を生成する（平均値算出）。
（高周波強調画像生成処理）
図７のフローチャートを用いて、高周波強調画像が生成されるまでの処理の流れについて説明する。
まず、減算器４０３が、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像Ｈ［ｉ］を生成する（Ｓ７０１；差分算出）。
次に、加算器４０４が、フレーム画像Ｆ［ｉ］が入力フレーム画像であるか否かを判定する（Ｓ７０２）。フレーム画像Ｆ［ｉ］が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ７０２；ＹＥＳ）、加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、高周波強調画像ＳＨ［ｉ］を生成する（Ｓ７０３；差分加算）。フレーム画像Ｆ［ｉ］が入力フレーム画像でない場合、即ち、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は（Ｓ７０２；ＮＯ）、高周波強調画像ＳＨ［ｉ］は生成されない。
図８（ａ）は、入力フレーム画像／補間フレーム画像の１ライン分の輝度値の一例を示す。図８（ｂ）は、図８（ａ）の補間フレーム画像Ｆ［ｉ−１］に対して生成された低周波平均画像ＳＬ［ｉ−１］の１ライン分の輝度値の一例を示す。図８（ｃ）は、図８（ａ）の入力フレーム画像Ｆ［ｉ］に対して生成された高周波強調画像ＳＨ［ｉ］の１ライン分の輝度値の一例を示す。
図７のフローチャートを用いて、高周波強調画像が生成されるまでの処理の流れについて説明する。
まず、減算器４０３が、フレーム画像Ｆ［ｉ］からフレーム画像Ｌ［ｉ］を減算することにより、フレーム画像Ｈ［ｉ］を生成する（Ｓ７０１；差分算出）。
次に、加算器４０４が、フレーム画像Ｆ［ｉ］が入力フレーム画像であるか否かを判定する（Ｓ７０２）。フレーム画像Ｆ［ｉ］が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ７０２；ＹＥＳ）、加算器４０４は、フレーム画像Ｈ［ｉ］をフレーム画像Ｆ［ｉ］に加算することにより、高周波強調画像ＳＨ［ｉ］を生成する（Ｓ７０３；差分加算）。フレーム画像Ｆ［ｉ］が入力フレーム画像でない場合、即ち、フレーム画像Ｆ［ｉ］が補間フレーム画像である場合は（Ｓ７０２；ＮＯ）、高周波強調画像ＳＨ［ｉ］は生成されない。
図８（ａ）は、入力フレーム画像／補間フレーム画像の１ライン分の輝度値の一例を示す。図８（ｂ）は、図８（ａ）の補間フレーム画像Ｆ［ｉ−１］に対して生成された低周波平均画像ＳＬ［ｉ−１］の１ライン分の輝度値の一例を示す。図８（ｃ）は、図８（ａ）の入力フレーム画像Ｆ［ｉ］に対して生成された高周波強調画像ＳＨ［ｉ］の１ライン分の輝度値の一例を示す。
（ＨＤＲ映像の生成）
図５のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ５０１）。
次に、フレームレート変換処理部１０３が、入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して駆動分配処理部４１１へ交互に出力する（Ｓ５０２；フレームレート変換処理）。
そして、駆動分配処理部４１１が、図６で説明した低周波平均画像生成処理を行い、低周波平均画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０３）。
次に、駆動分配処理部４１１が、図７で説明した高周波強調画像生成処理を行い、高周波強調画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０４）。Ｓ５０３およびＳ５０４の処理を駆動分配処理と呼ぶ。
そして、ＨＤＲ生成処理部１０５が、入力されたフレーム画像（高周波強調画像及び低周波平均画像）の元のフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ５０５）。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ５０５：ＹＥＳ）、入力された高周波強調画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０６）。低輝度画像への変換には、図１３（ａ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が補間フレーム画像である場合は（Ｓ５０５：ＮＯ）、入力された低周波平均画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０７）。高輝度画像への変換には、図１３（ｂ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。Ｓ５０６およびＳ５０７の処理をＨＤＲ映像生成処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ５０８；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
図５のフローチャートを用いて、ＨＤＲ映像が生成されるまでの処理の流れについて説明する。
まず、映像入力部１０１が、入力フレーム画像をフレームメモリ１０２へ書き込むと共に、該入力フレーム画像をフレームレート変換処理部１０３へ出力する（Ｓ５０１）。
次に、フレームレート変換処理部１０３が、入力フレーム画像とフレームメモリ１０２から読み出した１フレーム前の入力フレーム画像とから、動きベクトルを検出する。そして、検出した動きベクトルに基づいて、補間フレーム画像を生成し、入力フレーム画像と補間フレーム画像をフレームレートを倍速変換して駆動分配処理部４１１へ交互に出力する（Ｓ５０２；フレームレート変換処理）。
そして、駆動分配処理部４１１が、図６で説明した低周波平均画像生成処理を行い、低周波平均画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０３）。
次に、駆動分配処理部４１１が、図７で説明した高周波強調画像生成処理を行い、高周波強調画像をＨＤＲ生成処理部１０５へ出力する（Ｓ５０４）。Ｓ５０３およびＳ５０４の処理を駆動分配処理と呼ぶ。
そして、ＨＤＲ生成処理部１０５が、入力されたフレーム画像（高周波強調画像及び低周波平均画像）の元のフレーム画像が入力フレーム画像なのか、補間フレーム画像なのかを判定する（Ｓ５０５）。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が入力フレーム画像（非補間フレーム画像）である場合は（Ｓ５０５：ＹＥＳ）、入力された高周波強調画像を低輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０６）。低輝度画像への変換には、図１３（ａ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。
駆動分配処理部４１１から出力されたフレーム画像の元のフレーム画像が補間フレーム画像である場合は（Ｓ５０５：ＮＯ）、入力された低周波平均画像を高輝度画像に変換し、映像出力部１０６へ出力する（Ｓ５０７）。高輝度画像への変換には、図１３（ｂ）に例示したようなルックアップテーブル（ＬＵＴ）を用いる。Ｓ５０６およびＳ５０７の処理をＨＤＲ映像生成処理と呼ぶ。
次に、映像出力部１０６が、ＨＤＲ生成処理部１０５において生成された画像（高輝度画像、低輝度画像）を他の画像処理装置、表示装置、メモリなどの蓄積部に出力する（Ｓ５０８；映像出力処理）。映像出力部１０６が、ＨＤＲ生成処理部１０５により生成された高輝度画像と低輝度画像とを交互に出力し、表示装置（表示部）で表示することで、入力映像のダイナミックレンジが見かけ上向上する。
図９（ａ）は、低周波平均画像と、該画像から生成された高輝度画像の一例を示している。図９（ｂ）は、高周波強調画像と、該画像から生成された低輝度画像の一例を示している。図９（ｂ）に示すように、高周波強調画像はオーバーシュート部分を含んでいるため、高周波強調画像から低輝度画像を生成する構成にする。図９（ｂ）から、高周波強調画像を低輝度画像に変換することで、高周波部分（エッジ部分）における輝度値のオーバーシュート部分を表現できることがわかる。
図１０は、本実施例に係る画像処理装置による一連の処理（フレームレート変換、駆動分配処理、ＨＤＲ映像生成処理、映像出力処理）の様子を示した例である。
図１０に示すように、本実施例では、駆動分配方式の画像処理装置において、入力フレーム画像から生成された高周波強調画像が低輝度画像（Ｌ）に変換され、補間フレーム画像から生成された低周波平均画像が高輝度画像（Ｈ）に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、ダイナミックレンジを向上することができる。また、補間フレーム画像から低周波平均画像を生成することにより、補間ミスを目立たなくすることができる。
以上述べたように、本実施例の構成によれば、駆動分配方式の画像処理装置において実施例１と同様の効果を得ることができる。
図１０に示すように、本実施例では、駆動分配方式の画像処理装置において、入力フレーム画像から生成された高周波強調画像が低輝度画像（Ｌ）に変換され、補間フレーム画像から生成された低周波平均画像が高輝度画像（Ｈ）に変換される。そして、そのような構成により、見かけ上のフレームレートを実際のフレームレート（図の例では１２０Ｈｚ）と一致させることができ、且つ、ダイナミックレンジを向上することができる。また、補間フレーム画像から低周波平均画像を生成することにより、補間ミスを目立たなくすることができる。
以上述べたように、本実施例の構成によれば、駆動分配方式の画像処理装置において実施例１と同様の効果を得ることができる。
１０３ フレームレート変換処理部
１０５ ＨＤＲ生成処理部
４１１ 駆動分配処理部
１０５ ＨＤＲ生成処理部
４１１ 駆動分配処理部
Claims (12)
- 入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。 - 前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記ＨＤＲ映像生成手段は、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行い、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行う
ことを特徴とする請求項１または請求項２に記載の画像処理装置。 - さらに、前記ＨＤＲ映像生成手段により、前記低輝度領域の階調性を高める処理が施された前記入力フレーム画像と、前記高輝度領域の階調性を高める処理が施された前記補間フレーム画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。 - 入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換手段と、
前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理手段と、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成手段と、
を有する画像処理装置。 - 前記画像処理手段は、前記フレームレート変換手段から出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換手段から出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記フレームレート変換手段は、入力映像を構成する入力フレーム画像から動きベクトルを検出し、前記検出した動きベクトルを用いて２つの入力フレーム画像を補間する補間フレーム画像を生成する
ことを特徴とする請求項５または請求項６に記載の画像処理装置。 - 前記ＨＤＲ映像生成手段は、高輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記高輝度領域の階調性を高める処理を行い、低輝度領域の階調性を高めるルックアップテーブルを用いて階調変換することにより、前記低輝度領域の階調性を高める処理を行う
ことを特徴とする請求項５から請求項７までのいずれか１項に記載の画像処理装置。 - さらに、前記ＨＤＲ映像生成手段により、前記高輝度領域の階調性を高める処理が施された前記高周波成分画像と、前記低輝度領域の階調性を高める処理が施された前記低周波成分画像とを交互に表示部に出力する映像出力手段を備える
ことを特徴とする請求項５から請求項８までのいずれか１項に記載の画像処理装置。 - 入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像に対して低輝度領域の階調性を高める処理を施すと共に、前記補間フレーム画像に対して高輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、
を有する画像処理装置の制御方法。 - 入力映像を構成する入力フレーム画像を補間する補間フレーム画像を生成し、前記入力フレーム画像と前記補間フレーム画像を交互に出力するフレームレート変換ステップと、
前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を抽出して高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分を抽出して低周波成分画像を生成する画像処理ステップと、
前記高周波成分画像に対して高輝度領域の階調性を高める処理を施すと共に、前記低周波成分画像に対して低輝度領域の階調性を高める処理を施すＨＤＲ映像生成ステップと、を有する画像処理装置の制御方法。 - 前記画像処理ステップでは、前記フレームレート変換ステップで出力される前記入力フレーム画像の高周波成分を、該入力フレーム画像から抽出した高周波成分を用いて強調することにより前記高周波成分画像を生成し、前記フレームレート変換ステップで出力される前記補間フレーム画像の低周波成分と、当該補間フレーム画像の１フレーム後の前記入力フレーム画像の低周波成分とを平均化することにより前記低周波成分画像を生成する
ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011004708A JP2011234342A (ja) | 2010-04-08 | 2011-01-13 | 画像処理装置及びその制御方法 |
| US13/074,646 US8947550B2 (en) | 2010-04-08 | 2011-03-29 | Image processing apparatus with frame conversion, and method of controlling same |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010089302 | 2010-04-08 | ||
| JP2010089302 | 2010-04-08 | ||
| JP2011004708A JP2011234342A (ja) | 2010-04-08 | 2011-01-13 | 画像処理装置及びその制御方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012246184A Division JP5484548B2 (ja) | 2010-04-08 | 2012-11-08 | 画像処理装置及びその制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011234342A true JP2011234342A (ja) | 2011-11-17 |
Family
ID=44760668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011004708A Pending JP2011234342A (ja) | 2010-04-08 | 2011-01-13 | 画像処理装置及びその制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8947550B2 (ja) |
| JP (1) | JP2011234342A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015104082A (ja) * | 2013-11-27 | 2015-06-04 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012215666A (ja) * | 2011-03-31 | 2012-11-08 | Panasonic Corp | 画像表示装置、これを用いたコンピュータ装置 |
| JP5732175B2 (ja) * | 2012-08-16 | 2015-06-10 | 富士フイルム株式会社 | 画像ファイル生成装置及び表示装置 |
| US8830367B1 (en) | 2013-10-21 | 2014-09-09 | Gopro, Inc. | Frame manipulation to reduce rolling shutter artifacts |
| WO2015174109A1 (ja) * | 2014-05-12 | 2015-11-19 | ソニー株式会社 | 通信装置及び通信方法、並びにコンピューター・プログラム |
| WO2016084608A1 (ja) | 2014-11-25 | 2016-06-02 | ソニー株式会社 | 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム |
| CN105657539B (zh) * | 2015-12-30 | 2019-05-31 | 深圳Tcl数字技术有限公司 | 视频播放方法及装置 |
| CN105744378A (zh) * | 2016-02-15 | 2016-07-06 | 深圳Tcl数字技术有限公司 | 视频播放方法和装置 |
| JP6604297B2 (ja) * | 2016-10-03 | 2019-11-13 | 株式会社デンソー | 撮影装置 |
| EP3454547A1 (en) * | 2017-09-11 | 2019-03-13 | Canon Kabushiki Kaisha | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium |
| JP6965132B2 (ja) * | 2017-12-05 | 2021-11-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| CN108495053B (zh) * | 2018-03-30 | 2020-08-11 | 海信视像科技股份有限公司 | 高动态范围信号的元数据处理方法和装置 |
| CN109545122B (zh) | 2019-01-02 | 2021-01-29 | 京东方科技集团股份有限公司 | Vr显示的补偿方法及补偿装置、显示系统 |
| CN110278386B (zh) * | 2019-06-28 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| EP4324189A1 (en) * | 2021-04-14 | 2024-02-21 | Qualcomm Incorporated | Displaying images of different dynamic ranges |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008281631A (ja) * | 2007-05-08 | 2008-11-20 | Sony Corp | 画像処理装置、画像表示装置および画像処理方法 |
| JP2009258269A (ja) * | 2008-04-15 | 2009-11-05 | Sharp Corp | 画像表示装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3314195B2 (ja) * | 1992-12-28 | 2002-08-12 | ミノルタ株式会社 | 画像処理装置 |
| JP3740394B2 (ja) | 2001-07-27 | 2006-02-01 | 日本電信電話株式会社 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
| KR100611179B1 (ko) * | 2004-06-23 | 2006-08-10 | 삼성전자주식회사 | 영상처리장치 |
| KR100703772B1 (ko) * | 2005-04-13 | 2007-04-06 | 삼성전자주식회사 | 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치 |
| JP4837365B2 (ja) * | 2005-11-16 | 2011-12-14 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
| JP4231071B2 (ja) * | 2006-09-20 | 2009-02-25 | 株式会社東芝 | 画像表示装置、画像表示方法および画像表示プログラム |
| JP5008431B2 (ja) * | 2007-03-15 | 2012-08-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| KR20080090230A (ko) * | 2007-04-04 | 2008-10-08 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| JP2008287119A (ja) * | 2007-05-18 | 2008-11-27 | Semiconductor Energy Lab Co Ltd | 液晶表示装置の駆動方法 |
| EP2149873A4 (en) * | 2007-05-28 | 2011-04-13 | Sharp Kk | IMAGE DISPLAY DEVICE |
| JP5091575B2 (ja) * | 2007-07-20 | 2012-12-05 | 三洋電機株式会社 | 映像表示装置 |
| JP4587186B2 (ja) * | 2008-04-22 | 2010-11-24 | キヤノン株式会社 | インパルス型画像表示装置及びその駆動方法。 |
| JP4693919B2 (ja) * | 2009-09-10 | 2011-06-01 | 株式会社東芝 | 映像表示装置及び映像表示方法 |
-
2011
- 2011-01-13 JP JP2011004708A patent/JP2011234342A/ja active Pending
- 2011-03-29 US US13/074,646 patent/US8947550B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008281631A (ja) * | 2007-05-08 | 2008-11-20 | Sony Corp | 画像処理装置、画像表示装置および画像処理方法 |
| JP2009258269A (ja) * | 2008-04-15 | 2009-11-05 | Sharp Corp | 画像表示装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015104082A (ja) * | 2013-11-27 | 2015-06-04 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8947550B2 (en) | 2015-02-03 |
| US20110249135A1 (en) | 2011-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011234342A (ja) | 画像処理装置及びその制御方法 | |
| JP6443857B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US8189941B2 (en) | Image processing device, display device, image processing method, and program | |
| JP5436020B2 (ja) | 画像処理装置および画像処理方法 | |
| JP6381215B2 (ja) | 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム | |
| JP2009044460A (ja) | 映像処理装置及びその制御方法 | |
| JP2008076644A (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
| JP5089783B2 (ja) | 画像処理装置及びその制御方法 | |
| JP5249166B2 (ja) | 画像処理装置、画像処理方法 | |
| JP5484548B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4556982B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
| JP7045916B2 (ja) | 映像輝度変換装置およびそのプログラム | |
| JP2006308665A (ja) | 画像処理装置 | |
| JP2016080950A (ja) | 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム | |
| US10382782B2 (en) | Image frame interpolation apparatus, display apparatus and control method thereof | |
| JP2017175422A (ja) | 画像表示装置およびテレビジョン装置 | |
| JP5559275B2 (ja) | 画像処理装置及びその制御方法 | |
| US8279340B2 (en) | Image signal processing apparatus and method thereof | |
| JP5139897B2 (ja) | 映像表示装置 | |
| JP2006208854A (ja) | 画像処理装置、プログラム、記録媒体および画像表示装置 | |
| JP2008259097A (ja) | 映像信号処理回路および映像表示装置 | |
| JP6320022B2 (ja) | 映像表示装置、映像表示装置の制御方法及びプログラム | |
| JP5111310B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP4773739B2 (ja) | 画像処理方法 | |
| JP5473431B2 (ja) | 画像処理装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121218 |