JP2013140428A - エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 - Google Patents

エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 Download PDF

Info

Publication number
JP2013140428A
JP2013140428A JP2011289775A JP2011289775A JP2013140428A JP 2013140428 A JP2013140428 A JP 2013140428A JP 2011289775 A JP2011289775 A JP 2011289775A JP 2011289775 A JP2011289775 A JP 2011289775A JP 2013140428 A JP2013140428 A JP 2013140428A
Authority
JP
Japan
Prior art keywords
pixel
value
edge
pixel value
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011289775A
Other languages
English (en)
Other versions
JP5779089B2 (ja
Inventor
Koichi Shibazaki
晃一 柴崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2011289775A priority Critical patent/JP5779089B2/ja
Priority to US13/727,789 priority patent/US9064178B2/en
Publication of JP2013140428A publication Critical patent/JP2013140428A/ja
Application granted granted Critical
Publication of JP5779089B2 publication Critical patent/JP5779089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】従来技術において、エッジ判断対象画素Cの輝度値と、当該画素Cの周辺ブロックの輝度値を正規化しエッジ検出を行う技術において、特に撮影された画像に関してカメラのレンズによる影響を考慮していないという課題がある。より具体的にはカメラの集光レンズは円形であり、そのためカメラ撮影された画像は基本的には円形に集められた光による画像となっているが、従来技術では周辺ブロックを矩形ブロックとしているため精度の高いエッジ検出ができていない、という課題がある。
【解決手段】以上の課題を解決するために、本発明は、エッジ判断の対象画素Cと比較するための「周辺領域」に関して、当該周辺領域が円形となるように画素値に対して重み付けを行う機能を備えるエッジ検出装置を提供する。
【選択図】図2

Description

本発明は、画像のエッジを好適に検出する技術に関する。
カメラなどによる撮影画像やラスタ形式のイラストレーション画像などには様々な対象物が含まれており、計算機においてその対象物を識別するのは非常に困難、あるいは負荷の高い演算処理が要求される。しかし、例えば防犯カメラのリアルタイム解析によって背景物と人物を切り分けて認識し不審人物を検出するため、あるいは例えば焦点の合っていないボケ撮影画像に関して各被写体のエッジ(輪郭)を強調処理するためなど、さまざまなシチュエーションで画像情報内の対象物を識別することが必要とされている。そこで画像内の対象物を識別するためのエッジ検出技術が各種提供されている。具体的にエッジは画像内で輝度変化が急峻となった部分であるので、輝度勾配などを利用するキャニー法や微分エッジ検出法などが知られている。
また特にカメラで撮影された画像は、物体色と照明光との積算によって各画素値が決定されており、したがって照明ムラなど照明光の影響を排除して物体色のみでエッジ検出を行うことが望ましいが、撮影画像データで示される上記物体色と照明光の積算値から照明光のみを推定する方法の一つとして、画像をぼかす手法が挙げられる。特許文献1にはエッジか否かの判断対象の画素Cに関して、周辺のぼけ画像の輝度値(その画素Cの周辺画素からなるブロックの平均輝度値)と画素Cの輝度値とを正規化して算出した係数が1以上であれば画素Cをエッジと判断するといった技術が開示されている。
特許第3909604号公報
しかし上記特許文献1のエッジ判断対象画素Cの輝度値と、当該画素Cの周辺ブロックの輝度値を正規化しエッジ検出を行う技術において、特に撮影された画像に関してカメラのレンズによる影響を考慮していないという課題がある。より具体的にはカメラの集光レンズは円形であり、そのためカメラ撮影された画像は基本的には円形に集められた光による画像となっている。したがって特許文献一の技術においてエッジ検出に利用される周辺ブロックは「円形」であることが望ましいが、上記特許文献1ではn×n画素の矩形ブロックであることが開示されているに過ぎない。そのため、より精度の高いエッジ検出ができていない、という課題がある。
以上の課題を解決するために、本発明は、エッジ判断の対象画素Cと比較するための「周辺領域」に関して、当該周辺領域が円形となるように画素値(輝度値やそれに準ずる値)に対して重み付けを行う機能を備えるエッジ検出装置を提供する。具体的に、エッジ判断対象画素の画素値である対象画素値を取得する対象画素値取得部と、エッジ判断対象画素の周辺領域の画素値の平均値であるぼけ平均画素値を算出するぼけ平均画素値算出部と、対象画素値をぼけ平均画素値で割った値が所定の閾値以上であるか判断する判断部と、を有し、ぼけ平均画素値算出部は、エッジ判断対象画素の周辺画素値の平均値を算出するに際して、周辺領域としてエッジ判断対象画素を略中心とした円形領域を選択したと同等となるように周辺画素の画素値に対して重み付けをする重み付け手段を有するエッジ検出装置を提供する。また上記構成を備え、さらに判断部での判断結果に応じてエッジ強調画像を生成するエッジ強調画像生成部と、前記閾値を変更する閾値変更部と、を有するエッジ検出装置も提供する。
また、カメラのレンズは、レンズごとにぼけ範囲(いわゆる被写界深度)を示す特性を有しており、そのぼけ範囲が狭ければ周辺ぼけ画像の大きさを小さくしても検出精度を維持できる。そこで、上記構成を備え、さらにぼけ平均画素値算出部が平均画素値を算出するために選択される周辺領域の大きさを変更する変更手段を有するエッジ検出装置や、さらにエッジ判断対象の画像を生成した際の被写界深度を取得する被写界深度取得部と、取得した被写界深度に応じて前記変更手段によって変更される周辺領域の大きさを制御する変更制御部と、を有するエッジ検出装置も提供する。
また上記エッジ検出装置においてエッジ検出に利用される画素値は、CIE表色系のLAB色空間で示される明度であることが望ましい。また、計算機を上記エッジ検出装置として機能させるためのプログラムや、そのプログラムを記憶する記憶媒体も合わせて提供する。
以上のような構成をとる本発明によって、カメラのレンズ形状に応じた周辺ぼけ画像形状で、その周辺ぼけ画像の平均画素値とエッジ判断対象画素Cの画素値とを比較することができ、より精度の高いエッジ検出を行うことができる。
実施例1のエッジ検出装置におけるエッジ検出の一例を説明するための概念図 実施例1のエッジ検出装置における機能ブロックの一例を表す図 実施例1のエッジ検出装置の重み付け手段における重み付けの一例を説明するための図 実施例1のエッジ検出装置により生成されたエッジ強調画像の一例を表す図 実施例1のエッジ検出装置により生成された別のエッジ強調画像の一例を表す図 実施例1のエッジ検出装置におけるハードウェア構成の一例を表す図 実施例1のエッジ検出装置における処理の流れの一例を表すフローチャート 実施例2のエッジ検出装置における機能ブロックの一例を表す図 実施例2のエッジ検出装置の被写界深度取得部での被写界深度取得の一例を説明するための図 実施例2のエッジ検出装置における処理の流れの一例を表すフローチャート
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
なお、実施例1は、主に請求項1,2,5,6,7について説明する。また、実施例2は、主に請求項3,4について説明する。
≪実施例1≫
<概要>
図1は、本実施例のエッジ検出装置におけるエッジ検出の一例を説明するための概念図である。この図1(a)にあるように、本実施例のエッジ検出装置では、エッジ検出の対象となる中心画素Cに対して、その周辺を円形領域Sとなるように設定する。なおデジタル画像における各画素は矩形であるため、その矩形画素の集合である領域をそのままで円形領域とすることはできない。そこで、円形領域Sにおいて円弧部分をなす画素の画素値については重み付け処理を行い画素値を取得することで、円形領域を選択して画素値を取得した場合と同等の処理となるようにする。
そして図1(b)に示すように、例えば中心と周辺領域が同じ物体、照明環境、テクスチャである場合、中心画素C1の画素値(例えば輝度値)c1と、周辺の円形領域S1の平均輝度値s1の比は1に近くなる。一方中心と周辺領域が異なる物体、照明環境、テクスチャである場合、中心画素C2の輝度値c2と、周辺の円形領域S2の平均輝度値s2の比は1から乖離する。したがって、α'=|c/s−1|(α':判断用の指標値)で判断することができる。また、周辺領域の値sは画像をアンシャープ(ぼけ)化する平均画素値で示されているので、前述の通り画像から照明光の影響を排除し物体色のみとし、さらに周辺領域を画像取得の際の集光レンズと同形状の円形領域となるようにすることで光の集光領域をより正確に再現したうえで画素値の比較をすることができるので精度の高いエッジ検出を行うことができる。
<機能的構成>
図2は、本実施例のエッジ検出装置における機能ブロックの一例を表す図である。なお、以下に記載する本装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。
また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
そして、この図2にあるように、本実施例の「エッジ検出装置」0200は、「対象画素値取得部」0201と、「ぼけ平均画素値算出部」0202と、「判断部」0203と、を有し、さらにぼけ平均画素値算出部が「重み付け手段」0204を有する。
「対象画素値取得部」0201は、対象画素値を取得する機能を有し、例えばCPUや主メモリ、対象画素値取得プログラムなどで実現することができる。また「対象画素値」とは、エッジ判断対象画素の画素値をいい、例えば輝度値のほか、RGB値、HSV(色相、彩度、明度)値などが挙げられるが、基本的にエッジは輝度の変化によって検出されるので、画素値が輝度値以外である場合、輝度値に変換可能なものであることが望ましい。また対象となる画素は一の画素でも良いし、少数(例えば2×2など)の画素の組であっても良い。
そして、この対象画素値取得部では、例えばカメラ装置に組み込まれリアルタイムに撮影画像のエッジを検出するものである場合、1あるいは2以上の組み合わせのCCDイメージセンサやCMOSセンサなどの光電変換素子が1つの画素に対応しているので、対象画素に相当する光電変換素子で検出された電荷量を輝度値として取得するという具合である。また、PC(パーソナル・コンピュータ)などに組み込まれ、すでにデジタル画像データとして構成されている画像の対象画素から画素値を取得する場合は、そのデジタル画像データの情報から例えば対象画素のRGB値などの画素値を取得するという具合である。またその場合、「Y=0.2126×R+0.7152×G+0.0722×B」(Y:輝度値)などの所定の変換式を利用して取得したRGB値を輝度値に変換すると良い。
またここで取得される画素値は、CIE表色系のLAB色空間で示される明度であることが望ましい。画素値をCIE表色系のLAB色空間で示される明度としてエッジ検出を行った場合、より正確に人の感覚に近い形状としてエッジ検出を行うことができる。これにより、人の目が検出できない、例えば、薄い紙の裏側に書かれた文字を検出してしまうなどの過検出を回避することができる。
「ぼけ平均画素値算出部」0202は、ぼけ平均画素値を算出する機能を有し、例えばCPUや主メモリ、ぼけ平均画素値算出プログラムなどで実現することができる。また「ぼけ平均画素値」とは、エッジ判断対象画素の周辺領域の画素値の平均値をいう。なお周辺領域は、ぼけ平均画素算出プログラムなどで定められ、例えば対象画素を中心とする半径10画素分の領域などが挙げられる。また、前記半径10画素など周辺領域の大きさを示す値は予め定められていても良いし、例えば画像の縦/横画素数の1%など可変であっても良い。また実施例2で後述するようにエッジを検出する画像を取得する際に利用されるレンズの特性(被写界深度)に応じて可変としても良い。そして、このように定められる周辺領域に含まれる画素の画素値を取得し、その平均値を算出する、という具合である。なお、平均値算出においては、前記対象画素の画素値を含み平均値を算出しても良いし、除いて平均値を算出しても良い。
そして、本実施例のエッジ検出装置のぼけ平均画素値算出部では、前述のとおり周辺領域をレンズ形状に合わせた円形領域となるようにしたうえで、その円形領域の画素値の平均値を算出することでエッジ検出の精度を高めることを特徴とする。そして、そのためにこのぼけ平均画素値算出部は、さらに重み付け手段を備えることを特徴とする。
「重み付け手段」0204は、エッジ判断対象画素の周辺画素値の平均値を算出するに際して、周辺領域としてエッジ判断対象画素を略中心とした円形領域を選択したと同等となるように周辺画素の画素値に対して重み付けをする機能を有する。
図3は、この重み付け手段におけるぼけ平均画素値の算出処理の一例を説明するための図である。この図3(a)にあるように、例えば対象画素Cを中心として、プログラムで予め定められる、あるいは演算によって算出された領域を略円形領域とし、その領域内に含まれる画素(図中斜線)の画素値を取得する。つづいて画素の位置(対象画素からの相対的位置)に応じてプログラムで定められる重み付け値を、取得した当該画素の画素値に積算する。そして、この重み付け値は、図3(b)に示すように、円形領域の内部に完全に含まれる場合は例えば「1」、一方、円形領域の円弧をなす画素に関しては、その円弧を構成する大きさに応じて設定される重み付け値、例えば画素αは「0.80」、画素βは「0.60」という具合に設定されている。したがって、これら画素ごとに設定された値を利用して略円形領域を構成するそれぞれの画素の画素値に重み付けを行うことで、円形領域を選択したと同等となるように周辺画素の画素値を取得し、その平均値を算出することができる。
そして、画像取得の際にその集光のために利用されるレンズと同形状の円形領域と同等の周辺領域の画素値の平均値を、対象画素と比較するぼけ領域の画素値とすることで、より正確にエッジ検出を行うことができる、という具合である。
「判断部」0203は、対象画素値をぼけ平均画素値で割った値が所定の閾値以上であるか判断する機能を有し、例えばCPUや主メモリ、判断プログラムなどで実現することができる。そして、例えば前述のように対象画素の画素値をc、円形領域と同等に取得された周辺領域の画素平均値をsとして、「α=c/s−1」を算出し、この値が0.2以上、あるいは−0.2以下であればその対象画素をエッジ成分と判断する、という具合である。
そして、本実施例のエッジ検出装置では、以上のように検出したエッジ画素に対してさまざまな処理を行うよう構成すると良い。例えば、本実施例のエッジ検出装置は、図示しない「エッジ強調画像生成部」と、「閾値変更部」と、を有していてもよい。「エッジ強調画像生成部」は、判断部での判断結果に応じてエッジ強調画像を生成する機能を有する。また、「閾値変更部」は、判断部で利用される所定の閾値を変更する機能を有する。なお、閾値の変更はユーザ入力による変更であっても良いし、入力画像の縦横画素数や入力画像全体の平均輝度など所定の変数に応じて自動的に算出される値であっても良い。
図4(b)は、(a)で示す入力画像に関してα>0.2となる対象画素をエッジ画素、それ以外の画素を平坦画素として2値化処理を行ったエッジ強調画像の一例を表す図である。また、図5(b)は、(a)で示す入力画像に関してα<−0.2となる対象画素をエッジ画素、それ以外の画素を平坦画素として2値化処理を行った別のエッジ強調画像の一例を表す図である。この図にあるように、本実施例のエッジ検出装置によって、画像からエッジを正確に検出することができる。
なお、正の閾値を使用するか、負の閾値を使用するか、あるいはその両方を使用し、さらに2つの二値画像の境界を検出する処理を加えてエッジとするか、ということはエッジ検出の対象(検出目的)やその他の条件に応じて異なるようにすると良い。例えば白地に書かれた小さな黒文字を検出することが目的である場合には負の閾値を用いることが望ましい。一方、同じ文字でも、幅を持った大きな文字を検出したい場合には正の閾値を使用するほうが望ましい場合もある。
ここで正負の閾値について、より詳細に説明する。すなわち、エッジは画素境界線上に存在するため、画像として表現する際、エッジのどちら側の画素でもエッジ表現に使用することができる。そして輝度差があるエッジ近傍において、暗い側をエッジとして検出する場合には正の閾値が利用され、明るい側をエッジとして検出する場合には負の閾値が利用されることになる。また、正負の閾値それぞれでエッジ検出処理を行い、両方の検出結果を使用して平均化や分散、標準偏差などの統計処理を行い、より正確な位置のエッジを検出するよう構成しても良い。
この図にあるように、本実施例のエッジ検出装置によって、実際のエッジ部分のみを正確に検出することができる。
また、エッジ検出装置では、各画素のエッジ判断結果を利用してエッジ強調画像を生成するだけではなく、例えば検出したエッジの個数をカウントして画像内容の非平坦度合いを判定しても良い。また、生成したエッジ強調画像を利用して、例えば監視カメラ映像であれば典型的人型全体像や顔の輪郭などを示すパターン画像、あるいは指名手配犯の顔写真のエッジ強調画像などとのマッチング処理を行い、不審人物を検知するよう構成しても良い。あるいは、AR(拡張現実)技術と組み合わせて、拡張現実物体像をカメラ映像内に表示するためのマーカとなる対象物を、エッジ強調画像とマーカ物体画像のパターンマッチング処理により検知し、検知した対象物に重なるようカメラ映像内に拡張現実物体像を表示するよう構成しても良い。
<ハードウェア構成>
図6は、上記機能的な各構成要件をハードウェアとして実現した際の、エッジ検出装置における構成の一例を表す概略図である。この図を利用してエッジ検出処理におけるそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、本実施例のエッジ検出装置は、以下のようなハードウェア構成を備えている。すなわち、ぼけ平均画素値算出部、重み付け手段、そして判断部である「CPU」0601や「主メモリ」0602を備え、また各種データやプログラムなどを保持する「補助記憶装置」0603、カメラ装置や画像再生装置と接続され、エッジ検出を行う画像データが入力される「入力IF(インターフェース)」0604、入力画像やエッジ強調画像を表示する「ディスプレイ」0605、ユーザからの操作入力を受け付ける「UI(ユーザ・インターフェース)」0606なども備えている。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
また、「主メモリ」にはプログラムが読み出され、「CPU」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「補助記憶装置」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
ここで、「入力IF」に接続された例えばカメラ装置から撮影映像が入力されると、図示しないバッファに映像が蓄積されるとともに、処理対象となるフレームが「主メモリ」のアドレス1に格納される。すると「CPU」は対象画素値取得プログラムを解釈し、例えばまず左上(ピクセル座標:0,0)の画素Cをエッジ判断対象画素とし、その輝度値cを「主メモリ」のアドレス2に格納する。
つづいて「CPU」は、ぼけ平均画素値算出プログラムを解釈し、その解釈結果にしたがって、例えば対象画素を中心とする半径10画素分の周辺領域S内にある画素のそれぞれの輝度値を取得する。そしてさらに「CPU」は、ぼけ平均画素算出プログラムに含まれる重み付けプログラムの解釈結果にしたがって、当該プログラムにて定められる画素の位置(対象画素からの相対的位置)に応じてプログラムで定められる重み付け値を、取得した当該画素の画素値に積算する。なお、前述のようにこの重み付け値は、図3に示すようにエッジ判断対象画素を略中心とした円形領域を選択したと同等となるようにその重み付けの値が設定されていることを特徴とする。そして「CPU」は、重み付けされた各画素の輝度値の平均値を算出して対象画素の周辺領域をぼけ画像とした際の平均輝度値sを取得し、「主メモリ」のアドレス3に格納する。
次に「CPU」は判断プログラムを解釈し、その解釈結果にしたがって「α=c/s−1」の演算処理を実行し指標値αを算出する。そしてその指標値αと、例えば当該プログラムで定められる閾値、あるいはカメラ装置のレンズ特性などに応じて別途算出される閾値とαとを比較し、「CPU」は演算によってα>0.2(閾値)など両値の関係が所定の条件を満たしているか否かの判断処理を実行する。そして満たしているとの判断結果である場合には、画素Cはエッジを構成する画素であるとして、その画素の識別情報とエッジフラグとを関連付けて「主メモリ」のアドレス4に格納する。また、満たしていないとの判断結果である場合には、画素Cはエッジを構成する画素ではないとして、その画素の識別情報と非エッジフラグとを関連付けて「主メモリ」のアドレス4に格納する。
そして「CPU」は、すべての画素、あるいは所定の一部画素をエッジ判断対象画素として以上の処理を繰り返し、それぞれの画素についてエッジ画素か非エッジ画素かの判断処理を実行する。その結果「CPU」は図示しないエッジ強調画像生成プログラムを解釈し、例えばエッジ画素を白、非エッジ画素を黒とする画像を生成して「ディスプレイ」に表示しても良い。また、さらに図示しないパターンマッチングプログラムを解釈し、「CPU」は生成したエッジ強調画像とパターンマッチング画像(予め用意されたパターンマッチング処理用の参考画像)のマッチング処理を実行しても良い。そしてパターンマッチング画像と一致するとの判断結果が出力された場合には、「CPU」は不審者警告プログラムを解釈し、不審人物がカメラ映像内に映りこんでいる胸の警告情報を警備会社サーバなどに送信する処理を実行したり、あるいはARプログラムを解釈し、カメラ映像内のパターン画像と一致する領域に所定の仮想現実物体映像を合成して「ディスプレイ」に表示する処理を実行したりしても良い。
<処理の流れ>
図7は、本実施例のエッジ検出装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
この図にあるように、まず、一の画素(または少数の画素の組)をエッジ判断対象画素Cとし、その画素の画素値を対象画素値cとして取得する(ステップS0701)。つづいてエッジ判断対象画素の所定範囲を周辺領域Sとして、その周辺領域に含まれる画素の画素値を取得する(ステップS0702)。そしてその取得した周辺領域内の各画素の画素値に対して、周辺領域が円形領域と同等になるように設定された値で重み付けをし(ステップS0703)、その重み付け後の各画素値の平均値を、ぼけ平均画素値sとして算出する(ステップS0704)。そして最後に、ステップS0701で取得した対象画素値をぼけ平均画素値で割った値c/sが所定の閾値以上であるかを判断し(ステップS0705)、閾値以上との判断結果であれば(あるいは閾値以下との判断結果であれば)、当該エッジ判断対象画素をエッジ画素と判断する(ステップS0706A)。また、逆の判断結果であれば当該エッジ判断対象画素を非エッジ画素と判断する(ステップS0706B)。そして、以上の処理をすべての画素や所定の一部画素をエッジ判断対象画素として実行し、最後の画素の判断処理を行う(ステップS0707)まで繰り返す。
なお上記処理手順は一例であり、同様の結果が得られるものであればその処理内容や順番はさまざまであって良い。例えば、まずすべての画素の画素値を取得し、つづいてエッジ判断対象画素Cを特定する。つづいて、その特定されたエッジ判断対象画素の周辺領域を円形領域とする図3(b)に示すような重み付けを示すテーブルデータであり、周辺領域に含まれない画素の重み付け値を「0.00」とするようなテーブルデータを利用して、先に取得したすべての画素の画素値に対する重み付け処理を行い、ぼけ平均画素値を算出する(その後の処理は上記と同様)、という具合である。
<効果の簡単な説明>
以上のように本実施例のエッジ検出装置によって、エッジ画素の判断をカメラのレンズ形状に応じた周辺領域のぼけ平均画素値との比較で判断することができ、より精度の高いエッジ検出を行うことができる。
≪実施例2≫
<概要>
本実施例は、上記実施例を基本として、さらにぼけ平均画素値を算出するために設定される周辺領域の大きさを変更可能であることを特徴とするエッジ検出装置である。特に、カメラのレンズ特性などに応じてその周辺領域の大きさを変更することを特徴とする。
<機能的構成>
図8は、本実施例のエッジ検出装置の機能ブロックの一例を表す図である。この図にあるように、本実施例の「エッジ検出装置」0800は、実施例1を基本として、「対象画素値取得部」0801と、「ぼけ平均画素値算出部」0802と、「判断部」0803と、「重み付け手段」0804を有する。そして、本実施例のエッジ検出装置は、ぼけ平均画素値算出部がさらに「変更手段」0805を有するとともに、「被写界深度取得部」0806と、「変更制御部」0807と、を有することを特徴とする。
「変更手段」0805は、ぼけ平均画素値算出部が平均画素値を算出するために選択される周辺領域の大きさを変更する機能を有し、例えばCPUや主メモリ、変更プログラムなどによって実現することができる。具体的に、例えばユーザの入力した値にしたがって、周辺領域をエッジ判断対象画素を中心とする半径10画素から半径6画素に変更するという具合である。
あるいは、例えばレンズの焦点特性により撮影画像のぼけ範囲が小さい、すなわちレンズの被写界深度が深い場合、ぼけ平均画素値を算出するための周辺領域の大きさも小さくすることができる。あるいは逆に被写界深度が浅く、ぼけ範囲が広ければ周辺領域の大きさを大きく設定したほうがエッジ検出の精度が高まる。そこで以下の構成によって対象画像を生成したカメラのレンズ特性などに応じて、その周辺領域の大きさが設定されるようにしても良い。
「被写界深度取得部」0806は、エッジ判断対象の画像を生成した際の被写界深度を取得する機能を有し、例えばCPUや主メモリ、被写界深度取得プログラムによって実現することができる。図9は、この被写界深度を取得する際に利用されるテーブルデータの一例を表す図である。絞り値が固定であれば、前述のとおり、被写界深度はレンズ特性であるので、例えばレンズID(あるいはレンズとカメラの組み合わせが固定であればカメラID)と、そのレンズの被写界深度とを関連付けたテーブルデータをエッジ検出装置の内部または外部にて保持しておく。そしてエッジ判断対象の画像を取得する際に、そのレンズIDやカメラIDを合わせて取得し、当該IDを検索キーとする検索処理によって被写界深度を取得する、という具合である。また、その際に被写界深度の変数となるレンズの直径などの情報も合わせて取得する構成としても良い。
また、撮影画像データに含まれる、いわゆる「Exif(エクスチェンジャブル・イメージ・ファイル・フォーマット)情報」で示される焦点距離や絞り値を取得し、これらを変数として被写界深度を算出する構成としても良い。
「変更制御部」0807は、取得した被写界深度に応じて前記変更手段によって変更される周辺領域の大きさを制御する機能を有し、CPUや主メモリ、変更制御プログラムによって実現することができる。具体的には、例えばレンズの被写界深度を示す値が大きければ大きいほど周辺領域の大きさを小さく設定するような関数y=f(x)(y:周辺領域の大きさ。x:被写界深度を示す値)を利用して算出した大きさyに周辺領域を制御する方法が挙げられる。あるいは、被写界深度x(メートル)の値が0〜1.0であれば周辺領域の大きさy(半径画素数)の値が6、被写界深度xの値が1.1〜2.0であれば周辺領域の大きさyの値が8、といった具合に被写界深度の範囲と周辺領域の大きさの対応関係を示すテーブルデータなどを参照し、そのテーブルデータで定められた大きさに周辺領域を制御する方法も挙げられる。
以上のように、本実施例のエッジ検出装置は、周辺領域の大きさを任意に変更することができる。また、エッジ検出対象の画像を生成したカメラのレンズ特性などに応じてその周辺領域の大きさを変更することで、エッジの検出に適切な大きさに周辺領域を定めて処理を行うことができる。また測定用の高価なカメラを用いて優秀なエッジ検出を行うことができることはもちろん、精度の低い安価なカメラを用いても実用的なエッジ検出を可能とすることができる。
<処理の流れ>
図10は、本実施例のエッジ検出装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。なおエッジ検出全体にかかる処理の流れについての説明は、上記実施例にて図7を用いて説明したものと同様であるので省略する。ここでは図7のステップS0702の処理で利用される周辺領域の大きさ決定に係る処理について説明する。
この図にあるように、まず、エッジ検出の対象となる画像の取得と合わせて、その画像を生成したレンズのIDや入力画像のExifデータなどを取得する(ステップS1001)。また合わせてレンズの直径などの情報も取得すると良い。つづいて予め保持されている図9に示すようなテーブルデータを参照し、取得したIDをキーとする検索処理を行い、画像生成の際の被写界深度を取得する(ステップS1002)。そして、取得した被写界深度に基づいて、所定の計算式やテーブルデータなどを利用して周辺領域の大きさを決定する(ステップS1003)。
<効果の簡単な説明>
以上のように本実施例のエッジ検出装置によって、周辺領域の大きさを任意に変更することができる。また、エッジ検出対象の画像を生成したカメラのレンズ特性などに応じてその周辺領域の大きさを変更することで、エッジの検出に適切な大きさに周辺領域を定めて処理を行うことができる。
0200 エッジ検出装置
0201 対象画素取得部
0202 ぼけ平均画素値算出部
0203 判断部
0204 重み付け手段

Claims (7)

  1. エッジ判断対象画素の画素値である対象画素値を取得する対象画素値取得部と、
    エッジ判断対象画素の周辺領域の画素値の平均値であるぼけ平均画素値を算出するぼけ平均画素値算出部と、
    対象画素値をぼけ平均画素値で割った値が所定の閾値以上であるか判断する判断部と、
    を有し、
    ぼけ平均画素値算出部は、エッジ判断対象画素の周辺画素値の平均値を算出するに際して、周辺領域としてエッジ判断対象画素を略中心とした円形領域を選択したと同等となるように周辺画素の画素値に対して重み付けをする重み付け手段を有するエッジ検出装置。
  2. 判断部での判断結果に応じてエッジ強調画像を生成するエッジ強調画像生成部と、
    前記閾値を変更する閾値変更部と、
    をさらに有する請求項1に記載のエッジ検出装置。
  3. ぼけ平均画素値算出部が平均画素値を算出するために選択される周辺領域の大きさを変更する変更手段をさらに有する請求項1または2に記載のエッジ検出装置。
  4. エッジ判断対象の画像を生成した際の被写界深度を取得する被写界深度取得部と、
    取得した被写界深度に応じて前記変更手段によって変更される周辺領域の大きさを制御する変更制御部と、
    をさらに有する請求項3に記載のエッジ検出装置。
  5. 前記画素値は、CIE表色系のLAB色空間で示される明度である請求項1から4のいずれか一に記載のエッジ検出装置。
  6. エッジ判断対象画素の画素値である対象画素値を取得する対象画素値取得ステップと、
    エッジ判断対象画素の周辺領域の画素値の平均値であるぼけ平均画素値を算出するぼけ平均画素値算出ステップと、
    対象画素値をぼけ平均画素値で割った値が所定の閾値以上であるか判断する判断ステップと、
    を計算機に実行させ、
    ぼけ平均画素値算出ステップを、エッジ判断対象画素の周辺画素値の平均値を算出するに際して、周辺領域としてエッジ判断対象画素を略中心とした円形領域を選択したと同等となるように周辺画素の画素値に対して重み付けをする重み付けステップを含み計算機に実行させるエッジ検出プログラム。
  7. エッジ判断対象画素の画素値である対象画素値を取得する対象画素値取得ステップと、
    エッジ判断対象画素の周辺領域の画素値の平均値であるぼけ平均画素値を算出するぼけ平均画素値算出ステップと、
    対象画素値をぼけ平均画素値で割った値が所定の閾値以上であるか判断する判断ステップと、
    を計算機に実行させ、
    ぼけ平均画素値算出ステップを、エッジ判断対象画素の周辺画素値の平均値を算出するに際して、周辺領域としてエッジ判断対象画素を略中心とした円形領域を選択したと同等となるように周辺画素の画素値に対して重み付けをする重み付けステップを含み計算機に実行させるエッジ検出方法。
JP2011289775A 2011-12-28 2011-12-28 エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 Active JP5779089B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011289775A JP5779089B2 (ja) 2011-12-28 2011-12-28 エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
US13/727,789 US9064178B2 (en) 2011-12-28 2012-12-27 Edge detection apparatus, program and method for edge detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011289775A JP5779089B2 (ja) 2011-12-28 2011-12-28 エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法

Publications (2)

Publication Number Publication Date
JP2013140428A true JP2013140428A (ja) 2013-07-18
JP5779089B2 JP5779089B2 (ja) 2015-09-16

Family

ID=48694847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011289775A Active JP5779089B2 (ja) 2011-12-28 2011-12-28 エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法

Country Status (2)

Country Link
US (1) US9064178B2 (ja)
JP (1) JP5779089B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017374A (ja) * 2015-06-26 2017-01-19 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5464157B2 (ja) * 2011-02-25 2014-04-09 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
US9177223B2 (en) 2014-01-14 2015-11-03 Welch Allyn, Inc. Edge detection in images
KR101665396B1 (ko) * 2015-01-08 2016-10-13 이주성 파일의 도면화 방법
CN104794696B (zh) * 2015-05-04 2018-05-11 长沙市英迈瑞孚智能技术有限公司 一种图像去运动模糊方法及装置
CN107025633B (zh) * 2016-01-29 2020-11-27 中兴通讯股份有限公司 一种图像处理方法及装置
CN109741336B (zh) * 2018-12-06 2021-06-01 东南大学 一种基于像素聚类与分割阈值的白癜风区域分割方法
US11308586B2 (en) 2020-09-08 2022-04-19 Unity Technologies Sf Method for applying a vignette effect to rendered images
US11328437B2 (en) * 2020-09-08 2022-05-10 Weta Digital Limited Method for emulating defocus of sharp rendered images
CN114004832B (zh) * 2021-12-29 2022-05-13 深圳江行联加智能科技有限公司 输煤皮带异常振动检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081627A (en) * 1996-08-23 2000-06-27 Matsushita Electric Industrial Co., Ltd. Two-dimensional code reader
JP2003009175A (ja) * 2001-04-26 2003-01-10 Eastman Kodak Co ディジタル画像の補正
JP2004310750A (ja) * 2003-04-03 2004-11-04 Microsoft Corp 高品質アンチエイリアシング
JP2006195622A (ja) * 2005-01-12 2006-07-27 Hiroshima Industrial Promotion Organization 画像処理装置
JP2011172261A (ja) * 2007-05-24 2011-09-01 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313831A (ja) * 1999-11-05 2001-11-09 Ricoh Co Ltd 画像処理装置、画像処理方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4482778B2 (ja) * 2000-09-11 2010-06-16 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置
US8428382B2 (en) * 2007-02-16 2013-04-23 Kao Corporation Hair image display method and display apparatus
US8194984B2 (en) * 2007-03-05 2012-06-05 Fujitsu Limited Image processing system that removes noise contained in image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081627A (en) * 1996-08-23 2000-06-27 Matsushita Electric Industrial Co., Ltd. Two-dimensional code reader
JP2003009175A (ja) * 2001-04-26 2003-01-10 Eastman Kodak Co ディジタル画像の補正
JP2004310750A (ja) * 2003-04-03 2004-11-04 Microsoft Corp 高品質アンチエイリアシング
JP2006195622A (ja) * 2005-01-12 2006-07-27 Hiroshima Industrial Promotion Organization 画像処理装置
JP2011172261A (ja) * 2007-05-24 2011-09-01 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015017075; 昌達K'z: '"《第3回》マスクを利用した画像処理"' C MAGAZINE Vol.16, No.6, 20040601, pp.89-96, ソフトバンクパブリッシング株式会社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017374A (ja) * 2015-06-26 2017-01-19 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Also Published As

Publication number Publication date
JP5779089B2 (ja) 2015-09-16
US9064178B2 (en) 2015-06-23
US20130170756A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
US10997696B2 (en) Image processing method, apparatus and device
US20200412940A1 (en) Method and device for image processing, method for training object detection model
US9704230B2 (en) Feedback to user for indicating augmentability of an image
JP4772839B2 (ja) 画像識別方法および撮像装置
TWI607409B (zh) 影像優化方法以及使用此方法的裝置
JP2010525486A (ja) 画像分割及び画像強調
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
KR20110124965A (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
AU2011250827B2 (en) Image processing apparatus, image processing method, and program
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
Fried et al. Finding distractors in images
JP6922399B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN108965646A (zh) 图像处理装置、图像处理方法和存储介质
WO2014014135A1 (ko) 촬영된 이미지의 리포커싱 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP6235168B2 (ja) 区分に基づく画像変換
US20160140748A1 (en) Automated animation for presentation of images
Chen et al. Hybrid saliency detection for images
CN112991419B (zh) 视差数据生成方法、装置、计算机设备及存储介质
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
JP5240305B2 (ja) 被写体特定用プログラム、およびカメラ
JP6776532B2 (ja) 画像処理装置、撮像装置、電子機器及び画像処理プログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150710

R150 Certificate of patent or registration of utility model

Ref document number: 5779089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250