JP2014126803A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP2014126803A
JP2014126803A JP2012285262A JP2012285262A JP2014126803A JP 2014126803 A JP2014126803 A JP 2014126803A JP 2012285262 A JP2012285262 A JP 2012285262A JP 2012285262 A JP2012285262 A JP 2012285262A JP 2014126803 A JP2014126803 A JP 2014126803A
Authority
JP
Japan
Prior art keywords
distance
image
image processing
detection
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012285262A
Other languages
English (en)
Other versions
JP6172935B2 (ja
Inventor
Shigeo Ogawa
茂夫 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012285262A priority Critical patent/JP6172935B2/ja
Priority to US14/139,684 priority patent/US20140184853A1/en
Publication of JP2014126803A publication Critical patent/JP2014126803A/ja
Application granted granted Critical
Publication of JP6172935B2 publication Critical patent/JP6172935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

【課題】 画面内を複数ブロックに分割して距離を用いたぼかし処理を行う場合において、AFによる誤測距があった場合でもムラのないぼかし処理を行うことが可能となる。
【解決手段】 被写体を撮像して映像信号を得る撮像手段と、被写体との距離を画角内の複数の箇所で検出する距離マップ取得手段と、距離マップを走査して距離の変化を検出する距離変化検出手段を備え、前記距離変化検出手段によって被写体との距離が一定方向に段階的に変化している場合において、距離変化の方向と直行する非ぼかし領域を設けると共に、距離変化の方向に段階的にぼかし処理を施すように構成されたカメラを提供する。
【選択図】 図1

Description

本発明は、画像データにぼかし処理を施す画像処理装置、画像処理方法、及び画像処理プログラムに関する。
画角内を複数ブロックに分割してブロック毎に被写体との距離を求めて、背景と判定した領域にぼかし処理を適用することで被写体を際立たせる処理を有するカメラが提案されている。
特許文献1には、画角内の複数個所のデフォーカス量と絞り値に応じてぼかし処理のパラメータを変化する方法について説明している。
特許文献2には、主要被写体をブロック検出し、主要被写体以外の領域にぼかし処理を行う方法について説明している。
特開2009−219085号公報 特開2009−27298号公報
従来、こうしたカメラは距離の検出精度や処理時間の問題から小ブロック単位で背景と主要被写体を分離するほかなく、ブロック内での距離の変化に対応することが難しいという問題がある。特にオートフォーカス(以下AF)の情報を用いて距離を求める場合では、AFの制約に縛られてしまうという問題がある。たとえば外測センサを用いる場合には周辺画角の距離を求めることが難しく、一方イメージセンサーを用いてAFを行う場合においても画面内を複数ブロックに分割して測距するため、ブロックサイズ以下の精度では距離を求めることができないという問題がある。
こうした画角内の複数ブロックの距離によって主要被写体と背景を分離して背景ぼかし処理をおこなう方法では、主要被写体と背景との境界部分に不自然な処理となってしまう問題があった。特に、AFによって画角内の複数ブロックの距離を求める場合には、AFが誤測距した場合に主要被写体と背景とが正しく分離されずムラのあるぼかし処理になってしまうという問題もあった。
本発明は上記課題を解決するために創出されたものであって、画像データを取得する画像取得手段と、画像データの複数の領域における距離情報を取得する距離情報取得手段と、前記距離情報が画像データの画像内において一定方向に段階的に変化しているか否かを検出する検出手段と、前記検出手段によって前記距離情報が前記一定方向に段階的に変化していると検出された場合、前記一定方向と直行する方向にぼけるぼかし処理を施すぼかし処理手段と、を有することを特徴とする。
本発明によれば、画面内を複数ブロックに分割して距離を用いたぼかし処理を行う場合において、AFによる誤測距があった場合でもムラのないぼかし処理を行うことが可能となる。
本実施形態における画像処理装置のブロック図。 本実施形態におけるぼかし画像生成部のブロック図。 本実施形態におけるぼかし処理のフローチャート。 本実施形態におけるぼけ付加判定処理のフローチャート。 縦走査処理のフローチャート。 横走査処理のフローチャート。 ジオラマ判定処理のフローチャート。 撮影画像に対する距離マップ例と走査方向を示す。 撮影画像に対する距離マップ例。 撮影画像に対する走査方向例を示す図。 横ジオラマ判定をした場合のぼかし処理を表す図。
(実施例1)
以下、図面を参照して本発明の実施例を説明する。
撮像部100(画像取得手段)は光学系に入射される光束を受光し、A/D(アナログ/デジタル)変換によってデジタル化された画像信号を出力する。撮像部100は光学系を構成するものとしてフォーカスレンズを含むレンズ群、シャッター、絞り、そして撮像センサを有し、シャッター、絞りおよびフォーカスレンズは撮像制御回路101によってそれぞれ制御することが可能である。撮像センサとしては、本実施形態ではX−Yアドレス型、RGB画素のBayer配列のCMOSセンサであるものとするが、これに限らない。例えばCCD(Charge Coupled Device)であってもよいし、補色の画素を配列したセンサなどであってもよい。
撮像部100から出力された画像データは画像処理部200へ入力すると同時に、メモリ102に記憶することができる。メモリ102に記憶した画像データは再度読み出すことができ、CPU(Central Processing Unit)114が画像データを参照したり、読み出した画像データを画像処理部200に入力することが可能である。
画像処理部200で画像処理された画像データは、メモリ102に書き戻したり、CPU114から任意のデータを書き込んだりすることも可能である。
表示部116は画像処理部200で画像処理されメモリ102に記憶されたデジタル画像データをD/A変換して、液晶ディスプレイのような表示媒体に画像を表示することができる。また、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示したりすることも可能である。
記録部115は撮影した画像データをROM、SDカード等の記録媒体に記憶することができる。
画像処理部200内の処理について、本実施形態に関連する箇所を説明する。103はWB(ホワイトバランス)制御部であり、メモリ102に記憶された画像信号からの情報に基づいてホワイトバランス補正値(WB補正値)を算出し、メモリ102に記憶された画像信号に対してWB補正を行う。なお、このWB制御部103の詳細構成およびWB補正値の算出方法については後述する。
104は、WB制御部103によりWB補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号R−Y、B−Yに変換する色変換MTX(色変換マトリックス)回路である。105は色差信号R−Y、B−Yの帯域を制限するLPF(ローパスフィルタ)回路、106はLPF回路105で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するCSUP(Chroma Supress)回路である。一方、WB制御部103によりWB補正された画像信号はY(輝度信号)生成回路112にも出力されて輝度信号Yが生成され、生成された輝度信号Yに対してエッジ強調回路113にてエッジ強調処理が施される。
CSUP回路106から出力される色差信号R−Y、B−Yと、エッジ強調回路113から出力される輝度信号Yは、RGB変換回路107にてRGB信号に変換され、ガンマ補正回路108にて階調補正が施される。その後、色輝度変換回路109にてYUV信号に変換され、ぼかし画像生成部110にて本実施形態の特徴的な処理であるぼかし処理を行う。ぼかし画像生成部110からのぼかし画像は、JPEG圧縮回路111にて圧縮されてメモリ102に書き込まれ、外部記録媒体または内部記録媒体に画像信号として記録される。あるいは表示部116にて表示媒体に表示される。あるいは不図示の外部出力に出力されるなどしても良い。
ここで、上述した各構成はその一部あるいは全てをソフトウェアモジュールとして構成していても良いものとする。
ぼかし画像生成部110の構成について説明する。図2は、ぼかし画像生成部110の構成を示す図である。図2に示すように、ぼかし画像生成部110は、領域設定部201、ぼけ付加量判定部202、ぼけ画像生成制御部203、画像処理部200、画像合成部205を備える。
次に、図3のフローチャートを参照しながら、撮像部100によって撮像された画像にぼけ付加処理を行うフローについて説明する。
まず、ステップS301において、領域設定部201は撮像画角内を複数の領域に分割する。本実施例では、縦方向にN1等分、横方向にN2等分で領域を分けるものとして説明する。
ステップS302において、CPU114及び画像処理部200(距離情報取得手段)は画像内の領域ごとに測距処理を行い、各領域に基づく距離情報の取得を行う。測距方法としては、本実施形態では、撮像制御回路115によってフォーカスレンズを移動させながら、撮像部100から出力される画像データのコントラストを示すAF(オートフォーカス)評価値を各測距領域に対して求めていく。AF評価値は画像処理部200から出力される他、CPU116において画像データもしくは画像処理部200の出力から演算により求めることもできる。求まったフォーカスレンズ位置に対する各測距領域のAF評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置(以下、ピークポジション)が求まり、これが領域ごとの被写体距離の距離情報に相当する。すなわち、ここでの距離マップはN1×N2のピークポジション情報である。
また、領域ごとの被写体距離の距離情報を取得する方法としては、上記の方法に限らない。例えば同一画角のピント位置の異なる2つ以上の画像を比較して被写体距離を測定する方法として、エッジ差分で距離を推定する方法や、DFD(Depth From Defocus)を用いた方法などが考えられる。また、撮像部100とは別に位相差による距離測定のための測距センサを設けていても良い。撮像部100の撮像素子の画素配列の中に位相差による焦点検出が可能な瞳分割された画素を配して、当該焦点検出用の画素からの出力に基づいて距離を測定しても良い。
また、距離情報は所定領域内の任意の地点で測距された結果の他、所定領域内の複数地点で測距された結果の平均をとったものなどを取得された距離情報として扱っても良い。
ステップS303において、ぼけ付加量判定部202は、得られた所定領域毎の距離情報から各領域のぼけ付加量を判定する。ステップS303の処理の詳細は後述する。
ステップS304において、ぼけ画像生成制御部203は領域毎に決定された前記ぼけ付加量の情報に基づいて、生成するぼけ画像のぼけ度合いと画像の枚数を決定する。
ステップS305において、撮像部100は撮像を行い、画像データを取得する。このとき、撮像制御回路101によりぼかさない領域に設定された領域内の被写体にピントが合うようにピント制御が行われていても良い。
ステップS306において、ぼけ画像生成制御部203によって撮像された画像データへのぼけ付加処理を行う。画像処理部200は、ぼけ付加量判定部202が判定したぼけ画像を得るため、前記画像データに対してリサイズ処理やフィルタリング処理を行う。リサイズ処理では、前記画像データを1/N画像サイズ(NはステップS303で決定されたリサイズ係数)まで縮小後、フィルタリング処理などを経て元の画像サイズまで拡大を行う。フィルタリング処理では前記画像データに対し、ステップS303で決定されたぼかし具合(フィルタ係数)で、画像フィルタ処理を行う。
ステップS307において、画像合成部205はぼけ付加量判定部202による領域ごとのぼけ付加量の情報に基づいて、前記撮像された画像と、ステップS306で生成された複数のぼけ画像との画像合成処理を行う。ここで、画像合成処理の一例について説明する。画像合成部205は、画素毎に定められた合成率α[i,j](0≦α≦1)に基づいて、被合成画像IMG1[i,j]と被合成画像IMG2[i,j]とを合成し、合成後画像IMG3[i,j]を生成する。即ち、画像合成部205は、合成後画像IMG3[i,j]を以下の式1を用いて算出する。なお、[i,j]は各画素を示している。
IMG3[i,j]=IMG1[i,j]*α[i,j]+IMG2[i,j]*(1−α) ・・・式1
ステップS307において、撮像部100は合成後画像を表示部116により液晶等の表示媒体へ表示させる。あるいは、JPEG方式等により圧縮した後、圧縮後の画像データを記録部115により、外部又は内部の記録媒体に記憶させるといった出力処理を行う。
次に、ステップS303におけるぼけ付加量判定処理の詳細を説明する。図4は、ぼけ付加量判定処理の動作を示すフローチャートである。
ステップS401、S402では、図3のステップS302で取得された距離情報に基づいて、各領域の距離情報が全体として縦方向および横方向にグラデーションをもっていないかを判定するために、距離情報の縦走査、横走査処理をそれぞれ行う。
ステップS403では、得られた走査結果に基づいて、縦方向あるいは横方向に次第にぼかし量が変化していく縦ジオラマ処理あるいは横ジオラマ処理のいずれかの処理を選択するかどうかの判定処理を行う。
ステップS403で今回の画像データがジオラマ処理に適さないと判定された場合は、図3の後段のステップでは、被写体を中心に被写体からの距離が離れるにしたがってぼけ付加量が増えていく背景ぼかし処理が行われるか、ぼかさずに図3のフローが中断される。背景ぼかし処理とぼかさない処理との判断は、例えば被写体と背景の距離差が所定より小さい場合や、検出される被写体のサイズが所定の下限サイズより小さいあるいは所定の上限サイズより大きい場合などにぼかさないと判断されることが考えられる。
図5は一定方向への距離変化を検出するための動作について説明している。
距離変化を走査する方向については図8(b)に示しており、図8(b)は画角内を水平及び垂直に走査する様子を示している。図5の動作フローチャートは垂直の距離変化を検出するための動作であるため、図8(b)における上から下へと延びる矢印の方向の走査である。
ステップS501は、ステップS302で生成された距離マップを取得するステップである。図5は距離マップ取得動作によって得られた距離マップの一例を示している。画角内を複数ブロックに分割しており、図5では水平7ブロック、垂直9ブロックに分化している。ブロック毎に被写体との距離をメートル単位で求めた例を示している。
ステップS502は、判定フラグの初期化である。全部で5つのフラグがあり、画角内での上から下へ、つまり上が手前で下が奥となる段階的な距離変化を示すフラグが2つと、画角内での下から上へ、つまり下が手前で上が奥となる段階的な距離変化を示すフラグが2つ、さらに垂直方向に距離差が無い状態を示す縦フラットフラグの計5つである。ステップS502では、全てのフラグをON状態で初期化する。
ステップS503は、S501で取得した距離マップから距離情報を取得するステップである。
ステップS504、S506、S508、S510及びS512は、S503で取得した距離が前回取得した距離と比較する比較ステップである。初回の距離取得では比較対象がないため全てNO判定となる。ここで、ステップS504とステップS506では距離の変化に応じてフラグ操作が行われる。例えばステップS504では前回と今回で距離が増えているか否かを判定しており、距離が増えているということは画角内の上部が手前で下部が奥であることを示しているため下から上フラグをOFFとする。ステップS506も同様であり、下部が手前で上部が奥である場合には上から下フラグをOFFとする。
ステップS508及びステップS510はなだらかな変化を検出するためのものであり、例えばステップS508では画角内の上部が手前で下部が奥であっても、距離の変化が所定値より大きい場合には単調変化とはみなさずに上から下フラグをOFFとする。ステップS510も同様である。
ステップS512は距離の変化量が所定値より少ない場合の処理であり、等距離もしくはあまり距離が変わらない状態が続いた場合には等距離カウンタを設けて回数を記憶し、等距離カウンタが所定以上続いた場合には単調変化とみなさずに上から下フラグと下から上フラグの両方をOFFとする。
ステップS516は垂直方向の走査が端まで終了したか否かの判定であり、端まで走査した場合にはステップS517へ進む。
ステップS517は、ステップS503で得た距離情報の最小値と最大値から距離差を調べるステップであり、距離差が所定差以上ある場合には縦フラットフラグをOFFとして、垂直方向の距離変化を検出する動作を終了する。図5の各ステップを経ていずれかのフラグがONである場合は、フラグが示す方向について被写体距離が或る範囲内の増減量で単調増加あるいは単調減少していると判断できる。
図6も一定方向への距離変化を検出する動作について説明したものであり、図6では画角内を水平に走査して距離の変化を検出する動作について説明している。図6のステップS601からS617の動作は、図5のステップS501からS517の動作と比較して垂直と水平の違いのみであるため詳細な動作については省略する。図6においても図5同様に5つのフラグによって判定動作を行っており、画角内での右から左へ、つまり右が手前で左が奥となる距離変化を示すフラグが2つと、画角内での左から右へ、つまり左が手前で右が奥となる距離変化を示すフラグが2つ、さらに水平方向に距離差が無い状態を示す横フラットフラグの計5つである。
図7はジオラマ判定処理について説明している。
図5および図6の動作による垂直および水平の距離の変化の検出を利用して画角内で距離が伸びている方向についての最終判定をおこなう。
ステップS701は図6の動作によって左から右フラグがONであり且つ図5の動作によって縦方向の距離差が少ないと判定された場合にはステップS702に進む。
ステップS703は図6の動作によって右から左フラグがONであり且つ図5の動作によって縦方向の距離差が少ないと判定された場合にはステップS704に進む。
ステップS701及びS703は共に画角内の縦方向に距離差がなく、横方向に距離が伸びているシーンであることを示しており、例えば本棚のようなものを斜めに撮るようなものが該当する。ステップS702及びS704は最終判定を縦ジオラマとするステップであり、画角内の縦方向に非ぼかし領域を設定し、横方向にぼかし領域を設定することで被写体の距離伸び方向に沿ったぼかし処理を施すことが可能となる。
ステップS705は図5の動作によって下から上フラグがONであり且つ図6の動作によって横方向の距離差が少ないと判定された場合にはステップS706に進む。
ステップS707は図5の動作によって上から下フラグがONであり且つ図6の動作によって横方向の距離差が少ないと判定された場合にはステップS708に進む。
ステップS705及びS707は共に画角内の横方向に距離差がなく、縦方向に距離が伸びているシーンであることを示しており、図5に示すような遠景シーン等が該当する。ステップS706及びS708は最終判定を横ジオラマとするステップであり、画角内の横方向に非ぼかし領域を設定し、直行する縦方向にぼかし領域を設定することで被写体の距離伸び方向に沿ったぼかし処理を施すことが可能となる。
以上、画角内で縦及び横の何れかの方向に距離が伸びているシーンの検出とジオラマ判定処理について説明した。
図8(b)に示した縦及び横の走査するラインであるが、縦と横にそれぞれ2本ずつあり、走査する本数に合わせてフラグを2本用意しているので、2か所の判定のAND条件によって判定を行うことでより確かな判定処理とすることが可能である。
図9は図8(a)の距離マップにおいて距離が不定となったブロックがある例を示している。本実施例ではコントラストAFを行った際の距離情報を利用して距離マップを生成しているため、コントラストの低いブロックではAFの山取りを行うことができないために距離が取得できない場合がある。
距離不定の場合の処理はいくつか考えられるが、一例としては図5及び図6の距離変化の検出動作において被写体距離不定のブロックは使用せず読み飛ばして処理を行う方法がある。ほかにも周囲の被写体距離の測定出来ているブロックから補間計算して求める方法もあるがここでは不定ブロックの取り扱い方法について限定するものではない。
図10は図5及び図6で説明した距離変化の検出動作について斜め方向の距離伸び検出を行う例を示したものである。斜め方向も縦及び横と動作は同様であり、斜め方向に走査した場合の距離変化フラグと、走査方向と交差する方向のフラット判定フラグを用いることで斜め方向の距離伸びシーンを検出することが可能である。
図11は図4のS706で横ジオラマ判定した場合のぼかし処理の一例を示しており、S1102に非ぼかし領域を設定し、S1101及びS1103にぼかし領域を設定することで、被写体の距離伸び方向に沿ったぼかし処理を施すことが可能となっている。
このように本発明によれば、画角内の複数ブロックの距離によってぼかし処理を行うような場合において、特にAFによって距離を求める場合においてAFが誤測距した場合においても境界部分に不自然な処理となることなく、ムラのない均一なぼかし処理を施すことが可能となる。
また、本実施例の説明では連続した非ぼかし領域を画角内に1つだけ設定する方法について説明したがこれに限定されるものではなく、複数個所の非ぼかし領域の設定も可能である。
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やPDA(Personal Digital Assitant)、あるいはその他のカメラ機能を備えた様々な情報機器に対して本発明を同様に適用することが出来る。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を斟酌するべきである。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
101 固体撮像素子
102 メモリ
103 WB回路
104 色変換MTX回路
105 LPF回路
106 CSUP回路
107 RGB変換回路
108 ガンマ補正回路
109 色輝度変換回路
110 圧縮回路
111 Y生成回路
112 エッジ強調回路
113 制御回路
114 CPU
115 画像処理回路

Claims (8)

  1. 画像データを取得する画像取得手段と、
    画像データの複数の領域における距離情報を取得する距離情報取得手段と、
    前記距離情報が画像データの画像内において一定方向に段階的に変化しているか否かを検出する検出手段と、
    前記検出手段によって前記距離情報が前記一定方向に段階的に変化していると検出された場合、前記一定方向と直行する方向にぼけるぼかし処理を施すぼかし処理手段と、を有することを特徴とする画像処理装置。
  2. 前記検出手段による検出は、画像データの画像内の水平、垂直及び斜めの複数の方向に走査することを特徴とする請求項1に記載の画像処理装置。
  3. 前記検出手段による検出は、被写体距離が単調増加或いは単調減少である場合に段階的な変化とみなすことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記検出手段による検出は、段階的に変化する方向と交差する向きの距離変化が少ない場合に一定方向への距離変化とみなすことを特徴とする請求項1乃至3のいずれか1つに記載の画像処理装置。
  5. 前記検出手段による検出は、前記距離情報取得手段によって距離が検出できない領域については、当該領域を検出に使用しないか或いは周囲の領域から補間計算によって当該領域の被写体距離を求めることを特徴とする請求項1乃至4のいずれか1つに記載の画像処理装置。
  6. 画像データを取得する画像取得ステップと、
    画像データの複数の領域における距離情報を取得する距離情報取得ステップと、
    前記距離情報が画像データの画像内において一定方向に段階的に変化しているか否かを検出する検出ステップと、
    前記検出ステップにて前記距離情報が前記一定方向に段階的に変化していると検出された場合、前記一定方向と直行する方向にぼけるぼかし処理を施すぼかし処理ステップと、を有することを特徴とする画像処理方法。
  7. 請求項6に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
  8. コンピュータに、請求項6に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
JP2012285262A 2012-12-27 2012-12-27 画像処理装置、画像処理方法及び画像処理プログラム Active JP6172935B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012285262A JP6172935B2 (ja) 2012-12-27 2012-12-27 画像処理装置、画像処理方法及び画像処理プログラム
US14/139,684 US20140184853A1 (en) 2012-12-27 2013-12-23 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012285262A JP6172935B2 (ja) 2012-12-27 2012-12-27 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2014126803A true JP2014126803A (ja) 2014-07-07
JP6172935B2 JP6172935B2 (ja) 2017-08-02

Family

ID=51016793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012285262A Active JP6172935B2 (ja) 2012-12-27 2012-12-27 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
US (1) US20140184853A1 (ja)
JP (1) JP6172935B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6136019B2 (ja) * 2014-02-03 2017-05-31 パナソニックIpマネジメント株式会社 動画像撮影装置、および、動画像撮影装置の合焦方法
CN104811661B (zh) * 2015-03-23 2018-01-12 北京环境特性研究所 图像控制装置、数字场景产生器及图像控制方法
JP6931268B2 (ja) * 2015-06-08 2021-09-01 キヤノン株式会社 画像処理装置および画像処理方法
EP3434800A4 (en) * 2016-03-24 2019-11-13 Nippon Steel Stainless Steel Corporation FERRITIC STAINLESS STEEL SHEET CONTAINING IT HAVING GOOD TENACITY, AND FLANGE
KR20190129050A (ko) * 2017-03-30 2019-11-19 소니 주식회사 촬상 장치와 포커스 제어 방법 및 포커스 판정 방법
EP3637363B1 (en) * 2017-06-05 2023-05-24 Rakuten Group, Inc. Image processing device, image processing method and image processing program
CN110855876B (zh) * 2018-08-21 2022-04-05 中兴通讯股份有限公司 一种图像处理方法、终端及计算机存储介质
CN109353273A (zh) * 2018-09-07 2019-02-19 北京长城华冠汽车技术开发有限公司 一种汽车智能辅助转向系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09318870A (ja) * 1996-05-24 1997-12-12 Ricoh Co Ltd 測距装置、撮影装置および背景処理装置
JP2003087545A (ja) * 2001-09-07 2003-03-20 Canon Inc 撮像装置、画像処理装置及び方法
US20060269150A1 (en) * 2005-05-25 2006-11-30 Omnivision Technologies, Inc. Multi-matrix depth of field image sensor
JP2008263386A (ja) * 2007-04-11 2008-10-30 Victor Co Of Japan Ltd 静止画撮像装置
JP2009027298A (ja) * 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP2009055125A (ja) * 2007-08-23 2009-03-12 Ricoh Co Ltd 撮像装置及び撮像装置の制御方法
JP2009219085A (ja) * 2008-03-13 2009-09-24 Sony Corp 撮像装置
JP2009230714A (ja) * 2008-03-25 2009-10-08 Fujifilm Corp 類半円検出装置および類半円検出プログラム
JP2011010243A (ja) * 2009-06-29 2011-01-13 Nikon Corp 撮像装置
JP2011039918A (ja) * 2009-08-17 2011-02-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011135438A (ja) * 2009-12-25 2011-07-07 Casio Computer Co Ltd 画像合成装置、画像合成方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115078A (en) * 1996-09-10 2000-09-05 Dainippon Screen Mfg. Co., Ltd. Image sharpness processing method and apparatus, and a storage medium storing a program
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP5493789B2 (ja) * 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
US8570402B2 (en) * 2010-02-05 2013-10-29 Canon Kabushiki Kaisha Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5657343B2 (ja) * 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
JP5614244B2 (ja) * 2010-11-04 2014-10-29 株式会社リコー 撮像装置
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
JP5720488B2 (ja) * 2011-08-16 2015-05-20 リコーイメージング株式会社 撮像装置および距離情報取得方法
JP5800187B2 (ja) * 2011-08-16 2015-10-28 リコーイメージング株式会社 撮像装置および距離情報取得方法
JP5831033B2 (ja) * 2011-08-16 2015-12-09 リコーイメージング株式会社 撮像装置および距離情報取得方法
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP5857567B2 (ja) * 2011-09-15 2016-02-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09318870A (ja) * 1996-05-24 1997-12-12 Ricoh Co Ltd 測距装置、撮影装置および背景処理装置
JP2003087545A (ja) * 2001-09-07 2003-03-20 Canon Inc 撮像装置、画像処理装置及び方法
US20060269150A1 (en) * 2005-05-25 2006-11-30 Omnivision Technologies, Inc. Multi-matrix depth of field image sensor
JP2008263386A (ja) * 2007-04-11 2008-10-30 Victor Co Of Japan Ltd 静止画撮像装置
JP2009027298A (ja) * 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP2009055125A (ja) * 2007-08-23 2009-03-12 Ricoh Co Ltd 撮像装置及び撮像装置の制御方法
JP2009219085A (ja) * 2008-03-13 2009-09-24 Sony Corp 撮像装置
JP2009230714A (ja) * 2008-03-25 2009-10-08 Fujifilm Corp 類半円検出装置および類半円検出プログラム
JP2011010243A (ja) * 2009-06-29 2011-01-13 Nikon Corp 撮像装置
JP2011039918A (ja) * 2009-08-17 2011-02-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011135438A (ja) * 2009-12-25 2011-07-07 Casio Computer Co Ltd 画像合成装置、画像合成方法及びプログラム

Also Published As

Publication number Publication date
JP6172935B2 (ja) 2017-08-02
US20140184853A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
JP6172935B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9558543B2 (en) Image fusion method and image processing apparatus
JP4703710B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
TWI602152B (zh) 影像擷取裝置及其影像處理方法
US7952614B2 (en) Apparatus and method for digital image stabilization using object tracking
JP6157242B2 (ja) 画像処理装置及び画像処理方法
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
KR101441786B1 (ko) 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체
US20110158551A1 (en) Image composition device, image composition method, and storage medium storing program
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
US8731327B2 (en) Image processing system and image processing method
JP5309940B2 (ja) 画像処理装置、および撮像装置
JP2009302960A (ja) 映像信号処理装置並びにプログラム及び方法
JP4936222B2 (ja) 動きベクトル照合装置、画像合成装置及びプログラム
JP2015041865A (ja) 画像処理装置及び画像処理方法
JP6080503B2 (ja) 画像処理装置
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180286054A1 (en) Image processing apparatus, image processing method, and program
JP6257292B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5602825B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170704

R151 Written notification of patent or utility model registration

Ref document number: 6172935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151