JP2017091044A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】強調処理を施す画素を特定するためのエッジ強度の閾値を、入力画像データのエッジ強度分布に応じて変えることにより、視認性用の良いエッジ強調画像が表示できる画像処理装置及び画像処理方法を提供する。【解決手段】本発明の画像処理装置は、画像データを入力する画像データ入力部２０１と、画像データの各画素のエッジ強度を算出し、高周波成分を抽出するエッジ検出部２０２と、画像データからエッジ強度の分布を算出するエッジ強度分布算出部２０３と、エッジ強度分布に基づき画像に強調処理を施す強調処理部２０５と、入力画像と強調処理画像を合成する画像合成部２０６と画像を表示する表示部２０７を備え、エッジ強度の分布から強調処理部２０５にて強調表示するエッジ強度の閾値を変化させる閾値決定部２０４を有する。【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

映像撮影におけるカメラの解像度は飛躍的に向上している。一方、撮影した画像を確認するためのビューファインダは機動性を考慮すると画面の大きさに制限がある。このため、ビューファインダの解像度はカメラの解像度に対し比較的、低解像度のものが使用されることが一般的である。これにより、ビューファインダでフォーカスを合わせることが困難になっている。そこで近年ではカメラやビューファインダにフォーカスアシスト機能を備えるものがある。

フォーカスアシスト機能はユーザがフォーカス合わせを行う際に、フォーカスを合わせやすいように補助する機能である。フォーカスアシスト処理を実現するものとして画像のエッジ部分を強調するエンハンサ機能を用いるものがある。従来、エンハンサ機能を用いてフォーカスアシスト処理を実行するものとしては、エンハンサ機能による輪郭補正処理と色相指定処理を組み合わせたエッジピーキング技術が一般的であった。エッジピーキング技術は、画像のエッジ部分を抽出することで、フォーカスの合っている部分を明示し、その部分に色付け等の強調処理を施す技術である（特許文献１、特許文献２参照）。これによってユーザはフォーカスの合っている部分を容易に確認することができる。

しかしながら、高周波成分の多い（エッジの多い）画像に対してエッジピーキング処理を行うと、画像全体に色がついてしまう。そのため、フォーカスアシスト機能として使用する場合、ピーキング表示される箇所が多くなり、視認性が悪くなるという課題があった。

特開平１１−４６３６８号公報 特開平９−１３９９５２号公報

本発明は、画像データに応じて強調処理する部分を適切に調整し、視認性の良い画像データを生成可能にする技術を提供することを目的とする。

本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段によって入力された入力画像データの各画素のエッジ強度の分布を算出する算出手段と、前記エッジ強度の分布に基づいて閾値を決定する決定手段と、前記入力画像データのうちの前記閾値を超えるエッジ強度を有する画素に強調処理を施した強調画像データを生成する生成手段と、を備えることを特徴とする。

本発明の画像処理方法は、画像データを入力する入力ステップと、前記入力ステップにおいて入力された入力画像データの各画素のエッジ強度の分布を算出する算出ステップと、前記エッジ強度の分布に基づいて閾値を決定する決定ステップと、前記入力画像データのうちの前記閾値を超えるエッジ強度を有する画素に強調処理を施した強調画像データを生成する生成ステップと、を有することを特徴とする。

本発明は、画像データに応じて強調処理する部分を適切に調整し、視認性の良い画像データを生成可能にする。

映像制作フローの機器構成の一例を示す図 実施例１に係る表示装置の概略構成の一例を示す図 ＨＰＦの一例とＨＰＦへの入出力画像の一例を示す図 実施例１に係る処理装置の処理フローの一例を示す図 実施例１に係る画像データのエッジ強度の分布の一例を示す図 実施例２に係る閾値決定部２０４の処理フローの一例を示す図 実施例２に係る画像データのエッジ強度分布の一例を示す図

＜実施例１＞
（装置構成）
以下に本発明の実施例を、図面を用いて説明する。図１は映像制作フローの機器構成例を示す図である。この映像制作システムは、画像を撮影し、撮影した画像データを外部に出力するカメラ１０１と、カメラ１０１から入力された画像データに基づく画像を表示する表示装置１０２を有する。表示装置１０２は本実施例のフォーカスアシスト機能を実現する画像処理装置１０３を有する。カメラ１０１と表示装置１０２はＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）もしくはＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）等の汎用画像インタフェースにより接続されている。カメラ１０１で撮影された画像データが表示装置１０２に送られ、画像処理装置１０３によって必要な画像処理が行われ、表示される。

（表示装置）
図２は実施例１における表示装置１０２の内部構成の一例を示したブロック図である。表示装置１０２は、概略、画像処理装置１０３と表示部２０７とを有する。画像処理装置１０３は、画像データの処理を行う装置であり、画像データ入力部２０１、エッジ検出部２０２、エッジ強度分布算出部２０３、閾値決定部２０４、強調画像データ生成部２１０などの機能ブロックを有する。画像処理装置１０３は、例えば、ＣＰＵ（中央演算処理装置）とメモリを有する汎用のコンピュータで構成することができる。その場合、図２に示す機能ブロックは、ＣＰＵがプログラムを実行することで実現される。あるいは、画像処理装置１０３は、ＡＳＩＣなどの専用回路で構成することもできる。

画像データ入力部２０１はカメラ１０１から送られてきた画像データの入力処理を行う部分である。以下、入力された画像データを入力画像データと呼ぶ。

エッジ検出部２０２は、入力画像データの各画素のエッジ強度を算出し、エッジ強度の大きい部分を画像のエッジ部分として検出する。以下、エッジ検出部２０２によって入力画像データからエッジ部分を抽出された画像データをエッジ検出画像データと呼ぶ。本実施例ではエッジ検出部２０２の一例として、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を採用した。図３（ｃ）は、ＨＰＦの中でもラプラシアンフィルタと呼ばれるフィルタマトリクスである。このフィルタを各画素に作用させることによって、隣接画素との差分が算出され、差分の大きい箇所が画像のエッジ部分として検出される。この差分の大きい箇所が画像の高周波成分である。フィルタマトリクスとして他に、１次微分フィルタなどを使用してもよい。

エッジ強度分布算出部２０３は、エッジ検出画像データにおけるエッジ強度の分布を算出する部分である。
閾値決定部２０４は、エッジ強度分布算出部２０３で算出したエッジ強度の分布に基づいて閾値を決定する部分である。

強調画像データ生成部２１０は、入力画像データのうちの閾値を超えるエッジ強度を有する画素に強調処理を施した強調画像データを生成する。強調画像データ生成部２１０の構成は特に限定されないが、本実施例では図２に示すように強調処理部２０５と画像合成部２０６を有する。
強調処理部２０５はエッジ検出画像データのうち、閾値決定部２０４で決定した閾値を超えるエッジ強度を持つ画素に強調処理を施す。強調処理としては、着色、高輝度化などエッジ強度が閾値を超える画素と他の画素との視覚的差異が強調される処理ならどのようなものでもよい。以下、強調処理が施されたエッジ検出画像データのことをエッジ画像データと呼ぶ。
画像合成部２０６は入力画像データと、エッジ画像データを合成する部分である。上述した強調画像データとは、この合成された画像データのことを指す。

表示部２０７は強調画像データを表示する部分である。表示部は、液晶表示装置、有機ＥＬ表示装置、ＣＲＴ、プラズマ表示装置やスクリーンへの投影などもよい。また、画像の種類は動画像であっても静止画であってもよい。動画像の場合、処理はフレームごとに実施される。

（エッジ検出の例）
図３（ａ）、図３（ｂ）、図３（ｃ）はＨＰＦの作用の一例を説明した図である。図３（ａ）は「入力画像データ」の例であり、図３（ｂ）は「エッジ検出画像データ」の例である。図３（ａ）に示す画像に、図３（ｃ）に示すフィルタマトリクスを作用させると、図３（ｂ）に示す画像が出力されることを表している。図３（ｃ）では３×３のフィルタマトリクスを示したが、ＨＰＦのマトリクスはこの形に限ったものではない。５×５、３×１、などフィルタの用途に応じて任意のマトリクスの形を採用することができる。また、マトリクス内の数値を変えることによって算出するエッジ強度を変えることができる。このマトリクス内の数値をフィルタ係数と呼ぶ。フィルタ係数は、用途に応じて任意の値を採用可能である。

（動作フロー）
図４は本実施例の画像処理装置の動作を説明したフローチャートである。以下に図２のブロック図を参照しながら、本実施例の動作フローを説明する。

画像データ入力部２０１には、カメラ１０１から画像データが入力される（ステップＳ６００）。画像データ入力部２０１は入力画像データのデコードを行う。例えば、画像データ入力部２０１は、入力画像データを、ＳＤＩやＨＤＭＩなどの汎用画像インタフェースの伝送フォーマットをＲＧＢ（もしくはＹＵＶ）の画素データと、水平及び垂直の同期信号、クロックなどに変換して出力する。画像データ入力部２０１から出力された画像データはエッジ検出部２０２と画像合成部２０６に送られる。

エッジ検出部２０２は、図３（ｃ）に示すフィルタを用いて入力画像データのエッジ部分を抽出し、エッジ検出画像データを生成する（ステップＳ６０１）。エッジ検出画像データがエッジ検出の結果となる。エッジ検出画像データは、エッジ強度分布算出部２０３及び強調処理部２０５に出力される。

エッジ強度分布算出部２０３は入力されたエッジ検出画像データから、各画素のエッジ
強度をエッジ強度毎に積算する（ステップＳ６０２）。これにより、入力画像データにおけるエッジ強度の分布（ヒストグラム）が得られる。

閾値決定部２０４は強調処理部２０５で強調処理を施す画素を特定するためのエッジ強度の閾値を決定する（ステップＳ６０３）。閾値はエッジ強度分布算出部２０３で得られたエッジ強度の分布を用いて決定される。決定した閾値は強調処理部２０５に出力される。

強調処理部２０５がエッジ検出画像データのうち閾値を超えるエッジ強度を持つ画素を所定の色に置き換えることでエッジ画像データを生成し、画像合成部２０６が入力画像データとエッジ画像データを合成して強調画像データを生成する（ステップＳ６０４）。

これによって、入力画像のうち、閾値より大きいエッジ強度を持つ部分だけが所定の色に色付けされた画像が生成される。ここで、「所定の色」はどのような色でもよいが、通常の自然画像にはあまり存在しない色であることが好ましい。例えば、赤やマゼンタなどの原色を所定の色として用いるとよい。本実施例では、この色の置き換えを強調処理と呼ぶ。強調画像データは表示部２０７に出力される。

表示部２０７は、入力された強調画像データに基づく画像を表示する（ステップＳ６０５）。ユーザは、表示部２０７に表示された強調画像を見ることで、入力画像のどの部分にフォーカスが合っているかを簡単に確認することができる。

（閾値決定方法）
次に閾値決定部２０４の閾値決定方法について説明する。閾値決定部２０４は、エッジ強度分布算出部２０３で生成されたエッジ強度ごとのヒストグラムをもとに、エッジ強度が高いものからＮ番目（Ｎ＞０、Ｎは１より大きい整数）の画素が有するエッジ強度を特定し、閾値として決定する。つまりこの処理は、ヒストグラム中で、エッジ強度が上位からＮ番目の画素を基準に選ぶことにより、強調処理が行われる画素数が一定数に近づくように、閾値を変化させるものである。なお、Ｎは任意の値に変更可能である。Ｎの値を変更することによって、強調処理を施す画素数を調整することができる。Ｎの決定方法は、例えば、外部入力手段を通じてユーザが決定してもよいし、画像データから自動的に決定することにしてもよい。Ｎの自動決定の例として、例えば画像サイズに比例して決定する、あるいはシャッタースピードや露出などの撮影条件から決定するなどの方法が考えられる。

図５（ａ）、図５（ｂ）はエッジ強度分布算出部２０３から出力されるエッジ強度の分布をヒストグラム化した例である。横軸はエッジ強度を表し、縦軸は各エッジ強度を持つ画素の数を示す。図５（ａ）は高周波成分の多い画像データのエッジ強度の分布を表したもので、高いエッジ強度を持つ画素の割合が高い。図５（ｂ）は、図５（ａ）よりも高周波成分の少ない画像データのエッジ強度の分布を表したものである。

以下では図５（ａ）と図５（ｂ）を用いて、４００番目にエッジ強度が高い画素のエッジ強度を閾値とする（Ｎ＝４００）際の閾値の決定方法を示す。
図５（ａ）において４００番目に高いエッジ強度を持つ画素のエッジ強度は０．７である。したがって閾値決定部２０４は０．７を閾値として決定する。その結果、図５（ａ）に示すエッジ強度の分布を持つ画像データでは、エッジ強度が０から０．６の範囲に含まれる画素に対しては強調処理が行われず、画像データ入力部２０１によりデコードされた画素がそのまま表示される。エッジ強度が０．７から１．０の範囲に含まれる画素は強調処理部２０５にて強調処理が施される。
一方、図５（ｂ）において４００番目に高いエッジ強度を持つ画素のエッジ強度は０．
５であるため、０．５を閾値として決定する。すなわち、高周波成分を多く持つ画像データに対しては閾値を高くすることができる。また、低周波成分の多い画像データに対しては、閾値を低くすることができる。

このように、本実施例の構成によれば、入力画像データから算出される画素のエッジ強度の分布に応じて、閾値を動的に変えることが可能となるため、強調表示されるエッジ箇所が過剰になることを防止することが可能になる。そのため、特に高周波成分を多く含む画像データに対して、低解像度の画面であっても視認性の良いエッジ強調表示を行うことができる。また、このような強調画像データを用いてフォーカスアシストを行うことで、最もフォーカスが合っている箇所を優先的に明示することが可能になる。

＜実施例２＞
実施例２では強調表示する閾値を決定する際に、さらに閾値の下限値を設けることで、エッジ強度の低い箇所が強調表示されることを防止する。構成に関しては図２のブロック図と同じ構成で実現が可能である。

図６に図４のステップＳ６０３で実施される閾値決定部２０４の動作フローの一例を示す。図６のフローは図４のステップＳ６０３を詳細に説明したものである。閾値決定部２０４はまず、エッジ強度分布算出部２０３で生成されたエッジ強度ごとのヒストグラムをもとに、エッジ強度が高いものからＮ番目の画素が有するエッジ強度を特定し、仮閾値として算出する（ステップＳ９０１）。

次に閾値決定部２０４は、算出した仮閾値の大きさと、予め設定した下限値の大きさを比較する（ステップＳ９０２）。仮閾値の方が大きい場合は（ステップＳ９０３：ＹＥＳ）、閾値決定部２０４は仮閾値を閾値として決定する（ステップＳ９０４）。一方、下限値の方が大きい場合は（ステップＳ９０３：ＮＯ）、閾値決定部２０４はエッジ強度の分布に基づいて決定された閾値の代わりに下限値を閾値として決定する（ステップＳ９０５）。なお、下限値は任意の値に変更が可能である。下限値の決定方法は、例えば、外部入力によってユーザが決定してもよいし、画像データから自動的に決定してもよい。

以上の処理を図５（ａ）と同じ分布を持つ図７（ａ）及び、高周波成分のほとんどないぼけた画像のエッジ強度分布を表す図７（ｂ）の二つを用いて説明する。本実施例において、下限値は０．４、Ｎ＝４００とする。
図７（ａ）において４００番目に高いエッジ強度を持つ画素のエッジ強度は０．７である。したがって閾値決定部２０４は０．７をエッジ強度の仮閾値とする。次に閾値決定部２０４は、仮閾値０．７と下限値である０．４のどちらが大きいか比較する。比較結果として仮閾値の方が大きいため、閾値決定部２０４は０．７を閾値として決定する。
一方、図７（ｂ）に示すエッジ強度の分布を持つ画像データに対しては、４００番目に高いエッジ強度を持つ画素のエッジ強度は０．２であるため、閾値決定部２０４は０．２をエッジ強度の仮閾値と算出する。次に、閾値決定部２０４は仮閾値０．２と下限値である０．４のどちらが大きいか比較する。比較結果として下限値の方が大きいため、閾値決定部２０４は０．４を閾値として決定する。

以上のように、閾値を決定する際に、さらに下限値を設けることで、高周波成分をほとんど持たない画像データに対して、閾値が低くなりすぎることを防止することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにお
ける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上記実施例における画像処理は、表示装置に内蔵された画像処理装置によって実現されている。しかし、画像処理装置の配置はこの形に限定される必要はなく、例えば、表示装置とは別体のコンピュータや、カメラに内蔵されたプロセッサーによって実現されてもよい。
なお、実施例１、２はあくまで一例であり、本発明の要旨の範囲内で実施例１、２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１、２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

２０１ 画像データ入力部
２０３ エッジ強度分布算出部
２０４ 閾値決定部
２１０ 強調画像データ生成部

Claims (15)

1. 画像データを入力する入力手段と、
   前記入力手段によって入力された入力画像データの各画素のエッジ強度の分布を算出する算出手段と、
   前記エッジ強度の分布に基づいて閾値を決定する決定手段と、
   前記入力画像データのうちの前記閾値を超えるエッジ強度を有する画素に強調処理を施した強調画像データを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記エッジ強度の分布に基づいて、エッジ強度の高い方からＮ番目（Ｎは１より大きい整数）の画素のエッジ強度を前記閾値として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記Ｎの値は変更可能である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、
   前記エッジ強度の分布に基づいて決定された閾値が予め設定した下限値より小さい場合には、前記エッジ強度の分布に基づいて決定された閾値の代わりに前記下限値を閾値として決定する
   ことを特徴とする請求項１から請求項３の何れか１項に記載の画像処理装置。
5. 前記強調処理は、エッジ強度が前記閾値を超える画素と他の画素との視覚的差異が強調される処理である
   ことを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
6. 前記強調処理は、前記閾値を超えるエッジ強度を有する画素の色を所定の色に置き換える処理である
   ことを特徴とする請求項１から請求項５の何れか１項に記載の画像処理装置。
7. 請求項１から請求項６の何れか１項に記載の画像処理装置と、
   前記画像処理装置によって生成された強調画像データに基づく画像を表示する表示手段と、
   を備える表示装置。
8. 画像データを入力する入力ステップと、
   前記入力ステップにおいて入力された入力画像データの各画素のエッジ強度の分布を算出する算出ステップと、
   前記エッジ強度の分布に基づいて閾値を決定する決定ステップと、
   前記入力画像データのうちの前記閾値を超えるエッジ強度を有する画素に強調処理を施した強調画像データを生成する生成ステップと、
   を有することを特徴とする画像処理方法。
9. 前記決定ステップでは、前記エッジ強度の分布に基づいて、エッジ強度の高い方からＮ番目（Ｎは１より大きい整数）の画素のエッジ強度が前記閾値として決定される
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記Ｎの値は変更可能である
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記決定ステップでは、
    前記エッジ強度の分布に基づいて決定された閾値が予め設定した下限値より小さい場合には、前記エッジ強度の分布に基づいて決定された閾値の代わりに前記下限値が閾値として決定される
    ことを特徴とする請求項８から請求項１０の何れか１項に記載の画像処理方法。
12. 前記強調処理は、エッジ強度が前記閾値を超える画素と他の画素との視覚的差異が強調される処理である
    ことを特徴とする請求項８から請求項１１の何れか１項に記載の画像処理方法。
13. 前記強調処理は、前記閾値を超えるエッジ強度を有する画素の色を所定の色に置き換える処理である
    ことを特徴とする請求項８から請求項１２の何れか１項に記載の画像処理方法。
14. 前記生成ステップにおいて生成された強調画像データに基づく画像を表示部に表示する表示ステップ
    を有する請求項８から請求項１３の何れか１項に記載の画像処理方法。
15. 請求項８から請求項１４の何れか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images