JP2006107034A - 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム - Google Patents

Abstract

【課題】ページ厚さがある文書や枠板を有するホワイトボードが被写体とされた画像であっても、正確に文書領域やホワイトボード領域を検出できるようにする。
【解決手段】 ホワイトボードを含む解析対象画像Ｓから、ホワイトボードに由来するエッジ画像を作成すると共に、そのエッジ画素についてハフ変換投票処理を行い傾き−切片座標データを求める。該データから、累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報ｈ１１，ｈ１２を直線候補として抽出し、さらに累積度数が最大となる直線情報を求める。そして、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線ｈ１２を検出して第１辺を求める。同様にして、他の辺も特定し、その４辺で区画される領域を特定領域として抽出する。
【選択図】 図９

Description

本発明は、デジタルカメラ等で取得された画像から自動的に特定の領域、例えば画像から白板領域や文書領域を検出する画像解析方法及び装置、さらには検出した特定領域の画像に対してあおり補正や下地とばし処理等の画像処理を行う画像処理方法及びシステム、これらの動作プログラムに関するものである。

一般に、デジタルカメラは、画像処理により撮影された画像の画質を自在に制御できるため、撮影の目的や被写体の種類に応じて撮影画像の画質に対して適切な処理を行うことにより、銀塩フィルムに撮影するカメラに比してより好適な画質の画像を得ることができるという利点を有する。このため、通常の写真撮影だけでなく、例えば会議場でホワイトボード（白板）に描かれた文字や図形情報等を撮影したり、雑誌に掲載されている文字情報等を撮影したりして持ち帰るといった活用も為されている。

デジタルカメラで文字や図形等が描かれたホワイトボードを撮影する場合、その撮影の目的はホワイトボード上の文字や図形等の情報を記録することにある。このため、上記のような撮影画像については、文字や図形等の情報部分の明瞭度を向上させるために、画像のゆがみを補正する「あおり補正」や、ホワイトボードの白地部分への色かぶりを補正する「下地とばし処理」等の画像処理を行うことが望ましい。これらの画像処理を実際に行う場合、撮影画像からホワイトボード領域や文書領域（特定領域）を検出した上で、この検出された特定領域の画像に対して処理が実行される。

前記あおり補正や下地とばし処理等の目的で特定領域を検出する場合、あおり補正については、画像のゆがみ補正をより正確に行うためには領域の外周辺（四辺）が正確に検出することが、また下地とばし処理については、処理後の見栄えを良くするためにはホワイトボードの枠部等を含むことなく白地部分のみを特定領域として検出することが望ましい。すなわち、例えば図１５（ａ）に示すように、ページ厚さ８Ｂがある文書が撮影された画像Ｓ１において文書領域８を検出する場合、図１５（ｂ）に示すように、最上面にある文書（書籍の場合は見開かれているページ）の領域を画定する輪郭線８Ｌ−１を特定領域として検出することが望ましい。また、図１６（ａ）に示すように、枠板を備えるホワイトボードが撮影された画像Ｓ２においてホワイトボード領域９を検出する場合、図１６（ｂ）に示すように、前記枠板に対応する枠部９０の画像領域の内側輪郭線９Ｌ−１を特定領域として検出することが望ましい。

文書やホワイトボード等が撮影された画像から、当該文書領域やホワイトボード領域を検出する方法として、例えば特許文献１には、ハフ変換投票処理によって矩形状の領域の四辺に対応する直線をそれぞれ検出し、この直線によって区画される領域を前記特定領域として検出する方法が開示されている。この方法は、ページ厚さがさほど無い文書や、枠板が無い（或いは枠板が狭幅）ホワイトボードが被写体とされた画像の場合は有用な領域検出方法であるが、図１５（ａ）のようにページ厚さ８Ｂがある文書が撮影された画像や、図１６（ａ）のように相当の幅を備えた枠板を有するホワイトボードが撮影された画像である場合、前述した望ましい特定領域を正確に検出できない場合があった。

すなわち、ページ厚さ８Ｂがある文書の場合、図１５（ｃ）に示すように、前記ページ厚さ８Ｂを含む輪郭線８Ｌ−２を検出し、これを特定領域として誤検出してしまう場合がある。また枠板を有するホワイトボードの場合、図１６（ｃ）に示すように、前記枠板に対応する枠部９０を含む輪郭線９Ｌ−２（枠部９０の外側の輪郭線）を検出し、これを特定領域として誤検出してしまう場合がある。このような特定領域が検出されてしまうと、画像処理により正確なあおり補正が行えず、また見栄えの良い下地とばし処理を行うことができないという問題があった。
特開２００４−９６４３５号公報

本発明は以上の点に鑑みて為されたもので、ページ厚さがある文書や枠板を有するホワイトボードが被写体とされた画像であっても、正確に文書領域やホワイトボード領域を検出でき、これによりあおり補正や下地とばし処理等の画像処理を施すに当たって最適な特定領域を検出できる画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラムを提供することを課題とする。

本発明の請求項１にかかる画像解析方法は、解析対象画像からエッジを抽出してエッジ画像を作成すると共に、該エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求め、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出すると共に、この抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求め、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出して第１辺を求め、前記第１領域とは異なる第２領域内において同様にして第２辺を求め、少なくとも前記第１辺及び第２辺で区画される領域を特定領域として検出することを特徴とする。

この方法によれば、ハフ変換投票処理に基づく傾き−切片座標データから、
（１）当該傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出することで、検出すべき特定領域を区画する直線の候補を検出する。
（２）また、解析対象画像の第１領域内（例えばホワイトボードを被写体として含む画像の場合は、その上辺が含まれている領域）において前記傾き−切片座標における累積度数が最大となる直線情報を求めることで、判定基準線ともいうべき直線情報を特定する。
（３）そして、累積度数最大直線（判定基準線）よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出して第１辺を求めるようにすることで、ホワイトボードの枠部や文書のページ厚さを含んだ状態で辺（第１辺）が特定されないようにしている。

例えば、上記（２）のステップにおいて、ホワイトボード枠部の「外側辺」に相当するエッジが前記第１領域において累積度数最大直線として検出された場合、上記（１）のステップで抽出されている直線の候補に対して、上記（３）のステップによる「所定値Ｋｃ以内に存在する直線」という絞りを加えることにより、ホワイトボード枠部の「内側辺」に相当するエッジに基づく直線が前記第１辺として検出される可能性が高くなる。つまり上記（３）の絞りにより、ホワイトボード枠部の「外側辺」（累積度数最大直線）よりも外側の画像部分において検出されている直線は前記第１辺として検出されることはない。

また、ホワイトボードに図形線等が描かれているような場合、該図形線等も上記（１）のステップで直線の候補として抽出される可能性がある（但し、短い直線や途切れた直線は累積度数不足として直線候補には挙がらず、また前記「外側辺」に対して角度を持った直線は傾きが所定値以上であるとして直線候補には挙がらない）が、このような直線候補は、累積度数最大直線から画像の中心側（内側）に向けてかなり離間した位置にあるのが通常であるから、かかる直線候補も篩い落とされることとなる。従って、ホワイトボード等において特定領域を検出する場合に最も望ましいホワイトボード枠部の「内側辺」に対応する直線候補が、前記第１領域における第１辺として選定される可能性が高くなるものである。なお、前記累積度数最大直線よりも画像の中心側に該当する直線候補が存在しない場合は、この累積度数最大直線がホワイトボード枠部の「内側辺」として検出されている可能性が高いので、これを第１辺として特定すればよい。

以上のような処理を、前記第１領域とは異なる解析対象画像の第２領域内（例えばホワイトボードを被写体として含む画像の場合は、その下辺が含まれている領域）においても行えば、当該第２領域におけるホワイトボード枠部の「内側辺」に対応する直線候補が第２辺として選定される可能性が高くなる。従って、前記第１辺と第２辺とで区画される領域を特定領域として検出することで、少なくともホワイトボード枠部の「内側辺」の間に相当する画像が特定領域として検出できるようになる。

請求項２にかかる画像解析方法は、前記累積度数最大直線よりも解析対象画像の中心側方向の所定距離以内に存在する直線が複数存在する場合に、最も中心側方向に近い位置に存在する直線を選択して前記第１辺若しくは第２辺として定めることを特徴とする。この方法によれば、ホワイトボードの枠板に模様線が描かれていたり、文書のページ厚さの中に各ページの線が表出していたりして、これらの線分が直線候補として抽出されているような場合でも、最も中心側方向に近い位置に存在する直線が選択されることから前記直線候補は篩い落とされ、ホワイトボード枠部やページ厚さ部分を含まずに領域特定できる確率をより向上させることができる。

請求項３にかかる画像解析方法は、前記解析対象画像の中心側方向の所定値Ｋｃが、０≦Ｋｃ≦０．１５（但し、この数値は解析対象画像の辺方向の長さを１に正規化した値）の範囲に設定されることを特徴とする。この方法によれば、前記所定値Ｋｃよりも画像の中心側に位置する直線候補は選択されなくなる。

請求項４にかかる画像解析方法は、前記第１領域及び第２領域は、解析対象画像を上下半分若しくは左右半分に分割して設定されることを特徴とする。この方法によれば、四方形のホワイドボード等が被写体画像として含まれている画像を解析する場合において、その上辺及び下辺、若しくは右辺及び左辺を、ハフ変換投票処理により抽出し易くなる。

請求項５にかかる画像解析方法は、前記累積度数最大直線により四方形の領域を画定し、該四方形領域の内側であって、各々の累積度数最大直線よりも所定値Ｋｃ以内に存在する４つの直線を第１辺〜第４辺として定めた四方形領域を特定領域として検出することを特徴とする。この方法によれば、四方形のホワイドボード等が被写体画像として含まれている画像を解析する場合において、その４辺を適正に検出できる（ホワイトボード枠部の４つの「内側辺」を確実に検出できる）ようになる。

請求項６にかかる画像解析方法は、解析対象画像からエッジを抽出してエッジ画像を作成すると共に、該エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求め、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を複数抽出し、この抽出された直線情報群の中から、解析対象画像の第１領域内において解析対象画像の最も中心側方向に近い位置に存在する直線を検出して第１辺を求め、前記第１領域とは異なる第２領域内において同様にして第２辺を求め、少なくとも前記第１辺及び第２辺で区画される領域を特定領域として検出することを特徴とする。

この方法によれば、所定の直線候補を抽出した後、上述のように累積度数最大直線を求めることなく、第１領域内及び第２領域内において最も中心側方向に近い位置に存在する直線を第１辺及び第２辺として抽出するので、簡略化した処理により特定領域を画定する前記第１辺及び第２辺を検出することができる。

請求項７にかかる画像処理方法は、処理対象となる画像情報を取得し、前記画像情報に対して請求項１〜６のいずれかの画像解析方法に基づいて特定領域を検出して抽出する処理を行い、当該抽出された特定領域に対応する画像情報に対して、所定の画像処理を実行することを特徴とする。この方法によれば、取得（入力）された画像情報のうち、上述の画像解析方法にて切り出された特定領域の画像に対して、あおり補正や下地とばし処理などの所定の画像処理を施すことができる。すなわち、当該画像処理を実行するに際し、最適な画像を切り出した上での処理を実行することができる。

請求項８にかかる画像解析装置は、解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成手段と、前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出手段と、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出手段と、抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出手段と、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定手段と、前記辺選定手段により検出された２以上の辺により区画される領域を特定領域として検出する領域検出手段とを具備することを特徴とする。

この構成によれば、エッジ画像作成手段によりエッジ画像が作成され、直線検出手段及び度数検出手段により、検出すべき特定領域を画定する直線候補が抽出され、累積度数最大直線手段により特定される累積度数最大直線に近接している所定の直線が、辺選定手段により特定領域を画定する直線（辺）として選定されるようになる。従って、ホワイトボード枠部の「内側辺」に相当する直線や、ページ厚さがある文書の最上面文書の輪郭線を、特定領域を画定する直線として検出できるようになる。

請求項９にかかる画像処理システムは、請求項８に記載の画像解析装置と、前記画像解析装置に対して被解析対象画像を入力する画像入力装置と、前記画像解析装置の領域検出手段により検出された特定領域に対応する画像情報に対して、所定の画像処理を行う画像処理装置とを具備することを特徴とする。この画像処理システムによれば、画像入力装置から入力された画像情報から、上述の画像解析装置にて切り出された特定領域の画像に対して、あおり補正や下地とばし処理などの所定の画像処理を施すことができる。すなわち、当該画像処理を実行するに際し、最適な画像を切り出した上での処理を実行することができる。

請求項１０にかかる画像解析プログラムは、コンピュータに画像解析処理を実行させるプログラムであって、解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成ステップと、前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出ステップと、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出ステップと、前記直線検出ステップで抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出ステップと、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定ステップと、前記辺選定ステップにより検出された２以上の辺により区画される領域を特定領域として検出する領域検出ステップとを含むステップを実行させるためのものである。

請求項１１にかかる画像処理プログラムは、コンピュータに画像処理を実行させるプログラムであって、所定の画像入力装置から被解析対象画像を取得する画像取得ステップと、解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成ステップと、前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出ステップと、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出ステップと、前記直線検出ステップで抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出ステップと、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定ステップと、前記辺選定ステップにより検出された２以上の辺により区画される領域を特定領域として検出する領域検出ステップと検出された特定領域に対応する画像情報に対して、所定の画像処理を行う画像処理ステップとを含むステップを実行させるためのものである。

請求項１にかかる画像解析方法若しくは請求項１０にかかる画像解析プログラムによれば、枠板を有するホワイトボードやページ厚さがある文書を被写体画像として含む画像を解析する場合でも、ホワイトボード枠部やページ厚さ部分を除外して特定領域を検出することが可能となる。従って、前記特定領域の画像（例えばホワイトボードのボード本体部分に対応する画像）に対して、所定の画像処理（例えばボード本体部分に描かれた文字、図形等の明瞭度を向上させる画像処理）を適正に行い易いような画像切り出しを的確に行うことができるという効果を奏する。

請求項２にかかる画像解析方法によれば、ホワイトボードの枠板に模様線が描かれていたり、文書のページ厚さの中に各ページの線が表出していたりする場合でも、これらに由来する直線情報を第１辺及び第２辺として誤検出することはなく、特定領域を一層適正に検出できるようになる。従って、その後にあおり補正や下地とばし処理等の画像処理を的確に行うことが可能となる。

請求項３にかかる画像解析方法によれば、前記所定値Ｋｃよりも画像の中心側に位置する直線候補は選択されなくなることから、例えばホワイトボードのボード本体に表が描かれているように、誤検出を行い易いケースでも、特定領域を適正に検出することができる。

請求項４にかかる画像解析方法によれば、ハフ変換投票処理による直線検出を簡単且つ確実に行うことができる。従って、直線候補の抽出を一層確実に行えると共に、その後の処理も一層適正に行えるようになる。

請求項５にかかる画像解析方法によれば、四方形のホワイドボード等が被写体画像として含まれている画像を解析する場合において、その４辺を適正に検出できる（ホワイトボード枠部の４つの「内側辺」を確実に検出できる）ので、枠部を含まないホワイトボード領域を確実に検出でき、その後の画像処理において的確なあおり補正や下地とばし処理等を行えるようになる。

請求項６にかかる画像解析方法によれば、累積度数最大直線を求めることなく、簡略化した処理により特定領域を画定する前記第１辺及び第２辺を検出することができるので、処理の高速化を図ることが可能となる。

請求項７にかかる画像処理方法若しくは請求項１１にかかる画像処理プログラムによれば、上述の画像解析方法にて切り出された特定領域の画像に対して、あおり補正や下地とばし処理などの所定の画像処理を施すことができる。すなわち、当該画像処理を実行するに際し、最適な画像を切り出した上での処理を実行することができるので、処理後の画像の見栄えが優れない、或いはゆがみ補正が不十分といったような不都合が生じないようにすることができる。

請求項８にかかる画像解析装置によれば、ホワイトボード枠部の「内側辺」に相当する直線や、ページ厚さがある文書の最上面文書の輪郭線を、特定領域を画定する直線として検出でき、従ってその後の画像処理を適正に行うことができる。

請求項９にかかる画像処理システムによれば、上述の画像解析装置にて切り出された特定領域の画像に対して、あおり補正や下地とばし処理などの所定の画像処理を施すことができる。すなわち、当該画像処理を実行するに際し、最適な画像を切り出した上での処理を実行することができるので、処理後の画像の見栄えが優れない、或いはゆがみ補正が不十分といったような不都合が生じないようにすることができる。

以下、図面に基づいて、本発明の具体的な実施形態につき説明する。
図１は、本発明の一実施形態にかかる画像処理システム１の構成を示すブロック図である。この画像処理システム１は、画像解析装置１０、画像処理装置４０、画像を取り込む画像入力装置としてのデジタルスチルカメラ５０、画像を表示させるモニタ６０及び処理済みの画像を出力するプリンタ７０などを備えて構成されている。

前記画像解析装置１０は、当該画像解析装置１０全体の制御を行なうＣＰＵ（Central Processing Unit）等からなる制御部２と、ＲＯＭ（Read Only Memory）３１と、ＲＡＭ（Random Access Memory）３２と、ＨＤ（Hard Disc）３３と、Ｉ／Ｏ（Input/Output；入出力部）３４とを備え、制御部２が、オペレーションシステム、アプリケーション等のプログラムや、画像ファイル等のデータを格納するＨＤ３３或いはＲＯＭ３１から、格納されているプログラムやデータを読出し、ＲＡＭ１０２上に展開して実行することによって、解析対象画像（デジタルスチルカメラ５０から入力される画像）に対して、特定領域を検出する画像解析処理を実現する。

この画像解析装置１０は、Ｉ／Ｏ３４を介して、デジタルスチルカメラ５０、モニタ６０及びプリンタ７０と交信する。例えば前記画像解析処理を実行される際、制御部２によりデジタルスチルカメラ５０に保存されている画像データが読み出されたり、処理済みの画像を出力する際にプリンタ７０に印刷データが送信されたりする。

また画像解析装置１０には、画像処理装置４０が接続されている。この画像処理装置４０は、前記画像解析装置１０により検出された特定領域の画像に対し、所定の画像処理を施与するためのものである。該画像処理装置４０は、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の各デジタル信号に、黒レベルを基準化する黒レベル補正部、光源に応じた白基準に基づいてレベル変換を行うホワイトバランス調整部、ガンマ特性を補正するガンマ補正部などのほか、画像のゆがみを補正するあおり補正部４１、ホワイトボードの白地部分への色かぶりを補正する下地とばし処理部４２が備えられている。

なお、このような画像解析装置１０は、前記画像処理装置４０を含んだ形で、一般的なパーソナルコンピュータ等で構築することができる。或いは、デジタルスチルカメラ５０の内部にこの実施形態にかかる画像解析装置１０を内蔵させ、当該デジタルスチルカメラ５０に備えられている画像処理部とリンクさせて処理を行うような画像処理システム１とすることもできる。

図２は、前記画像処理システム１により画像処理される解析対象画像Ｓ（画像解析装置１０への入力画像）と、処理後の画像の例を示す図である。図２（ａ）は、枠板付きの四方形状ホワイトボードを被写体画像として含む解析対象画像Ｓを示しており、この画像Ｓには白地領域であるホワイトボード領域９、前記枠板に対応する枠部９０、及びホワイトボード領域９に描かれた文字情報９１が含まれている。なおこの画像Ｓは、ホワイトボードに向かって左方向から撮影され、左側が比較的大きいようにゆがんだ状態（あおりが有る状態）で画像記録されている場合を例示している。

図２（ｂ）は、画像解析装置１０により特定領域検出処理を行った結果、ホワイトボード枠部９０の４つの内側辺に相当する包囲直線９２（第１辺〜第４辺を画定する４つの直線）、つまり特定領域として検出すべきホワイトボード領域９を画定する辺が検出され、この包囲直線９２が解析対象画像Ｓ上に重畳表示されている状態を示している。

そして図２（ｃ）は、包囲直線９２にて区画された領域の画像、つまり特定領域の画像を取り出し、あおり補正と下地とばし処理とを行った状態を示している。すなわち、画像処理装置４０のあおり補正部４１により、検出された特定領域の形状（この場合、左側が比較的大きいようにゆがんだ形状）に基づいてあおり度合いが求められ、あおりの無い状態の画像データに変換される。また、下地とばし処理部４２により、文字情報９１を読みやすくするために、白地領域が白（例えば８ｂｉｔデータでの諧調が２５５）となるように下地とばし処理が行われる。これにより文字情報９１は、あおりが解消され、また明瞭化された状態の画像９２ａとして画像記録、画像表示或いは画像印刷されるものである。以下、上記図２（ｂ）に示したような、画像解析装置１０による特定領域検出の手法に重点を置いて説明する。

図３は、画像解析装置１０の制御部２の機能を説明するための機能ブロック図である。この制御部２は、操作信号受信部２０１、輝度データ変換部２０２、画像縮小処理部２０３、諧調補正処理部２０４、ノイズ除去部２０５、エッジ画像生成部２０６、ヒストグラム生成部２０７、２値化処理部２０８、分割画像設定部２０９、直線検出部２１０、度数／傾き検出部２１１、度数判定部２１２、辺選定部２１３及び領域検出部２１４を備えている。

操作信号受信部２０１は、前記画像解析装置１０に対する処理指令信号を受信し、解析対象となる画像（入力画像）に対して各部に処理の実行を開始させる。当該画像解析装置１０がパーソナルコンピュータにて構成されている場合、マウス等（操作部）により与えられる処理指令信号を受信することになる。

輝度データ変換部２０２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各デジタル信号を、輝度データに変換する。

画像縮小処理部２０３は、処理速度を向上させるため、解像度変換により画像サイズを縮小する。具体的には、ニアレストネイバー法やバイリニア法等を用いた解像度変換処理を行い、縦横１／２や、縦横１／４等に画像を縮小変換する。

諧調補正処理部２０４は、前記画像縮小処理部２３により生成された縮小変換画像の諧調の正規化を行い、露出レベルを補正する。すなわち、当該縮小変換画像中における最大輝度及び最低輝度が、諧調レベルでそれぞれ（２５５，０）となるように、全画素に対して諧調補正を行う（８ｂｉｔデータの場合。以下同じ）。具体的には、入力画像の色情報であるＲＧＢ値から、次式に基づいて各々の画素ごとにＹ画像内の最大値Ｙｍａｘと最小値Ｙｍｉｎとを算出する。
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
そして、算出された最大値Ｙｍａｘと最小値Ｙｍｉｎとを用いて、次式に基づいて画素値の正規化を行う。
Ｒｎｅｗ＝２５５×（Ｒｏｌｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｎ）
Ｇｎｅｗ＝２５５×（Ｇｏｌｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｎ）
Ｂｎｅｗ＝２５５×（Ｂｏｌｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｎ）
ただし、上述の正規化において、ＲＧＢ値が０未満である場合には０となるように、２５６以上である場合には２５５となるように補正することが必要である。このような諧調の正規化を行うことで、どのような露出条件で撮影された画像であっても、一律な処理を行うことが可能となる。

ノイズ除去部２０５は、画像中に含まれている孤立的に高輝度若しくは低輝度の画素信号を除去する。このようなノイズ除去処理の手法としては、平滑化処理、メディアンやモルフォロジ処理（最大値・最小値フィルタ処理）等のフィルタ演算処理等を採用することができる。かかるノイズ除去部を設けるのは、後段のエッジ抽出処理において、ノイズの影響を受けずにより正確にエッジのみを抽出するためである。

エッジ画像生成部２０６は、諧調変換処理及びノイズ除去処理等の前処理が行われた入力画像の中から、例えばホワイトボードの枠部や原稿端など、被写体画像のうち文書領域等（本画像解析装置１０にて検出する特定領域）を区画する直線部分に対応する輝度配列部分であるエッジ（画像の中で急激に明るさが変化している部分）を抽出し、エッジ画像を生成する。このようなエッジ抽出には、例えばソーベルフィルタを用いることができる。

図４は、ソーベルフィルタの一例を示す説明図である。このソーベルフィルタは、画像から輪郭を抽出する時に用いられるフィルタであって、１次微分をする時に注目画素の近傍の画素に重み付けをするフィルタである。検出すべき特定領域が矩形状である場合において、その垂直エッジ（右辺と左辺）を検出するときには、例えば図４（ａ）に示すような水平方向重み付けフィルタが用いられる。すなわち、３×３画素群においてその中央を注目画素Ｐとするとき、注目画素Ｐと同じ縦列の画素Ｂ、Ｐの重みを０，左側の縦列画素Ａ、Ｄ、Ｆの重みを各々−１、−２，−１、右側の縦列画素Ｃ、Ｅ、Ｈの重みを各々１、２、１としたフィルタを用いることができる。このようなフィルタを用いると、水平方向の明るさの変化が大きい部分が検出されることから、結果を画像として表示すると縦ライン（垂直エッジ）が検出されるようになる。

一方、水平エッジ（上辺と下辺）を検出するときには、例えば図４（ｂ）に示すような垂直方向重み付けフィルタが用いられる。すなわち、３×３画素群においてその中央を注目画素Ｐとするとき、注目画素Ｐと同じ横列の画素Ｄ、Ｅの重みを０，上列画素Ａ、Ｂ、Ｃの重みを各々−１、−２，−１、下列画素Ｆ、Ｇ、Ｈの重みを各々１、２、１としたフィルタである。このようなフィルタを用いると、垂直方向の明るさの変化が大きい部分が検出されることから、結果を画像として表示すると横ライン（水平エッジ）が検出されるようになる。

このような水平エッジ度Ｅｈおよび垂直エッジ度Ｅｖは、エッジ画像が図４に示すような各画素Ａ〜Ｈ，Ｐを含む画像であって、画素Ｐを注目する画素とする場合、各々の画素値をａ〜ｈ，ｐとすると、次式で表わされる。
Ｅｈ＝ｍａｘ（｜２ｐ−ａ−ｈ｜，｜２ｐ−ｂ−ｇ｜，｜２ｐ−ｃ−ｆ｜）
−ｍｉｎ（｜２ｐ−ａ−ｈ｜，｜２ｐ−ｄ−ｅ｜，｜２ｐ−ｃ−ｆ｜）
Ｅｖ＝ｍａｘ（｜２ｐ−ａ−ｈ｜，｜２ｐ−ｄ−ｅ｜，｜２ｐ−ｃ−ｆ｜）
−ｍｉｎ（｜２ｐ−ａ−ｈ｜，｜２ｐ−ｂ−ｇ｜，｜２ｐ−ｃ−ｆ｜）

ヒストグラム生成部２０７は、解析対象となる画像を構成する画素における輝度Ｙのヒストグラムを作成する。すなわち、横軸を輝度Ｙ、縦軸を画素数Ｎとする輝度Ｙの度数分布を求めるものである。

２値化処理部２０８は、解析対象画像に含まれる本来的なエッジのみを抽出できるように、所定の輝度閾値（以下、「閾値Ｙｔｈ」という）を用いて輝度Ｙのデータを２値化する。つまり、所定の値の閾値Ｙｔｈを決定し、Ｙ＜ＹｔｈであればＹ＝０とし、Ｙ≧ＹｔｈであればＹ＝２５５として、輝度Ｙのデータを２値化する。

上記閾値Ｙｔｈは、例えばヒストグラム生成部２０７にて作成されるヒストグラムに基づいて求めることができる。図５は、ヒストグラムから閾値Ｙｔｈを求める方法の一例を示すグラフ図である。この例では、ヒストグラムの高輝度側から輝度度数のサーチを行い、度数がピークとなる輝度レベルＹｍａｘにおける度数Ｖｍａｘを求め、前記ピーク輝度レベルＹｍａｘからさらに低輝度側へサーチを行い、度数がＶｍａｘの１／４となる輝度レベルを検出し、当該輝度レベルを閾値Ｙｔｈとしている。ヒストグラムの高輝度側ピーク（輝度レベルＹｍａｘ付近）では、本来エッジでない領域のノイズがエッジとして抽出されてしまっているものである。従って、ヒストグラムの高輝度側ピークからある程度高輝度側に離れた裾野部分に相当する輝度（Ｖｍａｘの１／４の輝度）を閾値Ｙｔｈと決定することで、本来のエッジのみが抽出できるようになるものである。

分割画像設定部２０９は、上記エッジ画像が少なくとも第１領域の画像と第２領域の画像とに分割されるように画像情報取得エリアを設定する。この画像分割の態様は被写体画像に応じて適宜設定可能であるが、同方向の辺が複数（２つ）存在している場合は、誤検出を防止するために、これらの辺（第１辺及び第２辺）に由来するエッジ画像が別々に含まれるよう、画像情報取得エリアを設定することが望ましい。

例えばホワイトボードのような 四角形的な被写体画像を含む解析対象画像である場合、前記第１領域及び第２領域は、解析対象画像を上下半分若しくは左右半分に分割して設定されることが望ましい。図６（ａ）は、横長のホワイトボード領域９を含む被写体画像Ｓを、上下半分に分割して第１領域９ａ及び第２領域９ｂを設定した状態を示している。この場合、ホワイトボード枠部における水平方向の直線の一方（上辺９０−ｈ１）が第１領域９ａに含まれ、また水平方向の直線の他方（下辺９０−ｈ２）が第２領域９ｂに含まれることとなる。従って、ホワイトボード枠部の上辺９０−ｈ１及び下辺９０−ｈ２に由来するエッジ画像に基づいてそれぞれ直線を抽出する場合に、２つの対向辺が同一画像中に存在することに伴う誤検出を生じないようにすることができる。

また図６（ｂ）は、同じ被写体画像Ｓを、左右半分に分割して第３領域９ｃ及び第４領域９ｄを設定した状態を示している。この場合、ホワイトボード枠部における垂直方向の直線の一方（左辺９０−ｖ１）が第３領域９ｃに含まれ、また垂直方向の直線の他方（右辺９０−ｖ２）が第４領域９ｄに含まれることとなる。従って、ホワイトボード枠部の左辺９０−ｖ１及び右辺９０−ｖ２に由来するエッジ画像に基づいてそれぞれ直線を抽出する場合に、２つの対向辺が同一画像中に存在することに伴う誤検出を生じないようにすることができる。

このような分割画像設定部２０９による画像情報取得エリアの設定動作は、検出すべき直線情報に応じて適宜変更しながら行うことが望ましい。例えば、先ず解析対象画像Ｓを図６（ａ）に示すように上下半分に画像Ｓを分割し、その分割エッジ画像に基づいて水平方向の直線情報を検出した後、続いて図６（ｂ）に示すように左右半分に画像Ｓを分割し、その分割エッジ画像に基づいて垂直方向の直線情報を検出するというシーケンス動作を行わせることが望ましい。

直線検出部２１０は、エッジ画像を構成する画素についてハフ（hough）変換投票処理を行って傾き−切片座標データを求める。つまり、前記各画像情報取得エリアのそれぞれにおいて、分割エッジ画像に基づき複数の直線情報を検出する。ハフ変換は、直線、円、楕円といったパラメトリックな図形の特徴抽出法であって、例えば直線を抽出する場合であれば、パラメータとして傾きＬと切片Ｃを考慮し、ｘ−ｙ平面上の点を、傾きＬ−切片Ｃ座標平面上へ、点から線への変換を行うものである。このようなハフ変換投票処理は、前記２値化処理部２０８による２値化処理によって、Ｙ＝２５５に変換された画素（エッジ画素）のみについて行われる。

具体的には、ハフ変換投票処理対象となるエッジ画素（Ｘ，Ｙ）について、傾きＬ及び切片Ｃをある程度限定した組合せを選択した上で、当該エッジ画素（Ｘ，Ｙ）を通る全ての直線の傾きＬ及び切片Ｃを求め、傾きＬ−切片Ｃ座標上にポイント加算する。すなわち、選択されたあらゆる組合せに対して、次式の計算を行う。
Ｅ＝｜Ｙ−（ＬＸ＋Ｃ）｜
そして、所定の固定しきい値Ｔｈｄについて、Ｅ＜Ｔｈｄを満す組合せ（Ｌ，Ｃ）に対して、ポイントを加算（投票）する。

図７は、このようなハフ変換投票処理をグラフ図として表したものである。つまり、図７（ａ）に示すようなエッジ画素（Ｘ，Ｙ）について、当該エッジ画素（Ｘ，Ｙ）を通る全ての直線Ｉの傾きＬ及び切片Ｃを求め、ハフ変換投票処理を行うと、図７（ｂ）に示すように、傾きＬ−切片Ｃ座標平面上において直線Ｊとなる変換が行われる。ここで、図７（ａ）に示すように、切片Ｃはエッジ画素（Ｘ，Ｙ）を通る直線Ｉが画面と交わる点におけるｙ値である。また傾きＬは、水平線Ｈに対する傾き角度をθとしたときにおけるｔａｎθの値である。

ここで、図８（ａ）に示すように、ある直線Ｉ０上に存在するエッジ画素（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）全てについて、上述したようなハフ変換投票処理を行って直線Ｊ１〜Ｊ４にそれぞれ変換し、これを同じ傾きＬ−切片Ｃ座標平面上に描くと、図８（ｂ）に示すように直線Ｊ１〜Ｊ４が、ある一点（交差点Ｋ）で交差するようになる。この交差点Ｋは、傾きＬ−切片Ｃ座標において度数（ポイント累積度数）が最も大きくなる点であり、当該交差点Ｋにおける傾きＬ及び切片Ｃが、図８（ａ）に示す直線Ｉ０の傾きＬ_０及び切片Ｃ_０となるものである。

直線検出部２１０は、このような原理に基づいて、２値化処理部２０８による２値化処理によってＹ＝２５５に変換されたエッジ画素の全てについて、ハフ変換投票処理を行って図７（ａ）に示すような直線Ｊをそれぞれ求め、これらを図８（ｂ）に示すように、傾きＬ−切片Ｃ座標平面に展開して直線Ｊ群の交差する回数の多い点（交差点Ｋ）を検出する。そして、かかる交差点Ｋにおける傾きＬ_０及び切片Ｃ_０を求めることにより直線情報を検出する。なお、このハフ変換投票処理は、分割画像設定部２０９により設定された例えば図６に示す第１領域９ａ及び第２領域９ｂ（水平方向の直線検出時）、或いは第３領域９ｃ及び第４領域９ｄのそれぞれにおいて実行される。

上記のようなハフ変換投票処理では、第１領域９ａ〜第４領域９ｄのそれぞれにおいて、その画像（分割画像）中に含まれるエッジ画像に基づき直線情報を検出することから、さまざまなエッジに基づく直線情報が検出され得る。つまり、前記傾きＬ−切片Ｃ座標において、周辺よりも累積度数が高い交差点があれば、直線情報として抽出される。従って、例えばホワイトボードの枠板に由来する直線情報は勿論のこと、背景画像に含まれる直線的な被写体やボード本体の白地部分に描かれた図表のラインに由来する直線情報も検出され得る。直線検出部２１０は、これら諸々の直線情報の検出動作を行い、度数検出部２１０に検出された直線情報を入力する。

度数／傾き検出部２１１は、直線検出部２１０により検出された直線情報の中から、傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出することで、検出すべき特定領域を区画する直線の候補を検出する。また度数判定部２１２（累積度数最大直線抽出手段）は、直線検出部２０９により検出された直線情報の中から、解析対象画像の領域毎に、前記傾き−切片座標における累積度数が最大となる直線情報（累積度数最大直線）を求める（以下、この累積度数最大直線の傾きをＬｍ、切片をＣｍ、累積度数をＶｍという）。

なお、前記累積度数最大直線はエッジ度の高いエッジ画像に起因する直線であり、かような直線は、ホワイトボードを撮影して画像解析しようとする意図に基づき撮影された画像の場合、通常はホワイトボードの枠板に由来する直線である可能性が極めて高いと言える。従って、度数判定部２１２にて抽出される累積度数最大直線は、少なくとも最終的に検出すべき特定領域を区画する直線（ホワイトボード枠部９０の内側辺）と近い位置にある直線と評価することができる。

前記度数／傾き検出部２１１は、具体的にはノイズ的な直線をも含んでいる可能性が高い前記直線検出部２１０により検出された直線情報に対し、（イ）傾き−切片座標における累積度数と、（ロ）傾きとの２つのパラメータをそれぞれの直線情報につき算出することで、検出された直線に対して絞りを加えるための情報を求める。

上記（イ）傾き−切片座標における累積度数については、所定の度数閾値Ｖｔｈを定め、検出された直線情報のそれぞれがこの閾値Ｖｔｈを超過するか否かが前記度数／傾き検出部２１１にて判定される。このため、度数／傾き検出部２１１には、所定の度数閾値Ｖｔｈ情報が与えられる。かかる度数閾値Ｖｔｈ情報は、例えば前記累積度数最大直線の累積度数Ｖｍを基準に所定の係数Ｋｖを乗じた値に設定することができる。例えば、
度数閾値Ｖｔｈ＝Ｖｍ×Ｋｖ（但しＫｖ＝０．５）
との演算式をＲＯＭ３１等に格納しておき、該演算式で求められた度数閾値Ｖｔｈと、検出された各直線情報の累積度数を比較演算することで、特定領域を区画する直線候補として残存させるかを判定させることができる。このような判定を行い、直線検出部２１０で検出された直線情報に篩をかけることにより、短い直線や途切れた直線が検出されなくなり、ボード本体に描かれた文字情報９１の連なり部分に由来する直線等を誤検出するのを防止することができる。

また、上記（ロ）傾きについては、所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２を定め、検出された直線情報のそれぞれがこの傾き範囲Ｌｔｈ１〜Ｌｔｈ２の範囲内にあるかが度数／傾き検出部２１１にて判定される。このため、度数／傾き検出部２１１には、所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２についての情報も与えられる。かかる傾き範囲情報は、例えば前記累積度数最大直線の傾きＬｍを基準に所定の係数Ｋｌを増減した範囲に設定することができる。例えば、
傾き範囲（上限）Ｌｔｈ１＝Ｌｍ−Ｋｌ（但しＫｌ＝ｔａｎ１０°）
傾き範囲（下限）Ｌｔｈ２＝Ｌｍ＋Ｋｌ（但しＫｌ＝ｔａｎ１０°）
との演算式をＲＯＭ３１等に格納しておき、該演算式で求められた所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２と、検出された各直線情報の傾きとを比較演算することで、特定領域を区画する直線候補として残存させるかを判定させることができる。このような判定を行うことで、累積度数最大直線とほぼ平行な直線のみが候補として残存することとなる。

図９及び図１０は、前記度数／傾き検出部２１１による直線候補選定結果を模式的に示す図である。図９（ａ）は、図６（ａ）に示した画面上半分の第１領域９ａに相当するエッジ画像について、上記度数閾値Ｖｔｈによる絞りを加えた状態を示している。すなわち、この第１領域９ａには、ホワイトボード枠部９０の上辺９０−ｈ１が存在しており、この場合前記上辺９０−ｈ１の外側辺及び内側辺にそれぞれ由来するエッジが強く、このエッジ画像に基づく直線ｈ１１，ｈ１２のいずれかが累積度数最大直線である可能性が高い。図９（ｂ）は、直線ｈ１１，ｈ１２の傾き−切片座標データを示し、ここでは直線ｈ１１を導く交差点Ｋ１１が、傾きＬｍ、切片Ｃｍを有する累積度数最大直線である場合を示している。このような環境で度数閾値Ｖｔｈを用いた上記演算を実行した場合、直線候補として抽出されるのは、直線ｈ１１には満たないまでも良く似た累積度数を有するであろう交差点Ｋ１２から導出される直線ｈ１２（傾きＬｉ、切片Ｃｉ）であると言える。図９は、このような一例を示すものである。

図１０は、第１領域９ａに相当するエッジ画像について、上記傾き範囲Ｌｔｈ１〜Ｌｔｈ２による絞りを加える状態を説明する図である。この場合、累積度数最大直線である直線ｈ１１の傾きＬｍ（傾斜角θ１）を基準にして傾き範囲Ｌｔｈ１〜Ｌｔｈ２に相当する傾斜角範囲θｔｈが定められ、直線ｈ１２の傾き傾きＬｉ（傾斜角θ２）が前記傾斜角範囲θｔｈに収まるものであるか（θｔｈ＞｜θ１−θ２｜ならば範囲内）が判定されることなる。上記のような直線ｈ１１，ｈ１２は、上辺９０−ｈ１の外側辺及び内側辺に由来するものであるから、両者はほぼ平行な直線であり、上記傾き範囲による絞りもクリアすることになる。

図２に戻って、辺選定部２１３は、前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する。例えば画面上半分の第１領域９ａの場合、画像中心により近い画面下側方向において、前記累積度数最大直線から所定値Ｋｃ以内に存在する直線を検出する。具体的には、所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２を定め、検出された直線情報のそれぞれの切片がこの切片範囲Ｃｔｈ１〜Ｃｔｈ２の範囲内にあるかを、辺選定部２１３にて判定するよう構成することができる。

この場合、切片範囲Ｃｔｈ１〜Ｃｔｈ２は、例えば前記累積度数最大直線の切片Ｃｍを基準に所定の係数Ｋｃを加えた範囲に設定することができる。例えば、
切片範囲ゼロ点Ｃｔｈ１＝Ｃｍ
切片範囲上限点Ｃｔｈ２＝Ｃｍ＋Ｋｃ
（但し、Ｋｃ＝画面のｘ又はｙ方向のサイズ×０．１）
との演算式をＲＯＭ３１等に格納しておき、該演算式で求められた所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２と、検出された各直線情報の切片とを比較演算することで、特定領域を区画する直線候補として残存させるかを判定するよう構成することができる。

このような判定を行うことで、累積度数最大直線よりも画面外側において検出されている直線が先ず除外され、さらに累積度数最大直線より画面内側であっても、累積度数最大直線から位置が離れすぎている直線（例えば図１０に示した直線ｈ１）の如きも除外されるようになる。従って、ホワイトボード枠外の直線や、ボード本体に描かれた図表の直線を誤検出されるのを防止することができる。なお、前記所定値Ｋｃは、０≦Ｋｃ≦０．１５（但し、この数値は解析対象画像Ｓの辺方向の長さを１に正規化した値）程度の範囲で選択することが望ましい。

上記辺選定部２１３は、累積度数最大直線よりも解析対象画像の中心側方向の所定距離以内に存在する直線が複数存在する場合に、最も中心側方向に近い位置に存在する直線を選択する選択機能を具備することが望ましい。このような選択機能を具備していれば、ホワイトボードの枠板に模様線が描かれているような場合等であって、その線分が直線候補として抽出されているような場合でも、最も中心側方向に近い位置に存在する直線が選択されることから前記直線候補は篩い落とされ、ホワイトボード枠部を含まずに領域特定できる確率をより向上させることができるようになる。

以上説明したような直線候補の検出が、ホワイトボードの場合はその４辺について行われる。図１１は、その直線候補検出の状態を模式的に示す図である。例えば図１１（ａ）に示すように、ホワイトボード枠部９０の上辺９０−ｈ１と下辺９０−ｈ２については、図６（ａ）に示す第１領域９ａ及び第２領域９ｂのそれぞれにおいて直線検出部２１０で検出された直線に対し、前記度数／傾き判定部２１１及び度数判定部２１２による処理を与えることで、上辺９０−ｈ１の外側辺及び内側辺に対応する直線ｈ１１及びｈ１２と、下辺９０−ｈ２の外側辺及び内側辺に対応する直線ｈ２１及びｈ２２とが検出される。

また、図１１（ｂ）に示すように、ホワイトボード枠部９０の左辺９０−ｖ１と右辺９０−ｖ２については、図６（ｂ）に示す第３領域９ｃ及び第４領域９ｄのそれぞれにおいて直線検出部２１０で検出された直線に対し、前記度数／傾き判定部２１１及び度数判定部２１２による処理を与えることで、左辺９０−ｖ１の外側辺及び内側辺に対応する直線ｖ１１及びｖ１２と、右辺９０−ｖ２の外側辺及び内側辺に対応する直線ｖ２１及びｖ２２とが検出される。図１２は、このようにして検出された直線を合成した図である。

そして辺選定部２１３により、累積度数最大直線より画面内側にある所定の直線が選定されることから、結果的にホワイトボードにおいて特定領域を検出する場合に最も望ましいホワイトボード枠部９０の「内側辺」に対応する直線候補である直線ｈ１２、ｈ２２、ｖ１２、ｖ２２（第１辺〜第４辺）が選定されるようになる。なお、前記累積度数最大直線よりも画像の中心側に該当する直線候補が存在しない場合は、この累積度数最大直線がホワイトボード枠部の「内側辺」として検出されている可能性が高いので、これを第１辺〜第４辺として特定すればよい。このような直線検出処理の中間結果並びに最終結果は、例えばＲＡＭ３２等に一時的に格納される。

領域検出部２１４は、辺選定部２１３により検出された上記直線ｈ１２、ｈ２２、ｖ１２、ｖ２２（第１辺〜第４辺）により区画される領域（図１２に示す矩形領域Ｒ）を、特定領域として検出する。このような矩形領域Ｒは、ホワイトボード枠部の４つの「内側辺」を結んで画定される領域であることから、あおり補正や下地とばし処理等の画像処理に最適な矩形の特定領域となるものである。

以上の通り構成された制御部２を備える画像解析装置１０によれば、枠板を有するホワイトボードやページ厚さがある文書を被写体画像として含む画像を解析する場合でも、ホワイトボード枠部やページ厚さ部分を除外して特定領域を検出することが可能となり、正確に画像処理に適した矩形画像を特定領域として検出できるようになる。

このようにして画像解析装置１０により検出された特定領域（ホワイトボードの白板面）に対応する画像情報は、画像処理装置４０にて抽出される。そして、前記あおり補正部４１により画像のゆがみを補正され、また下地とばし処理部４２によりホワイトボードの白地部分への色かぶりを補正される等、ホワイトボードに描かれた文字・図形情報を明瞭化するための画像処理が行われる。

画像処理装置４０にて画像処理された画像情報は、画像解析装置１０に備えられているＲＯＭ３１やＨＤ３３に格納されたり、モニタ６０上に表示されたり、或いはプリンタ７０により紙出力されたりして、ユーザの利用に供されることとなるものである。

次に、本実施形態にかかる画像処理システム１による画像処理（画像解析処理）の手順について説明する。図１３は、画像処理方法の全体的な手順を示すフローチャートであり、以下図２に示すように枠板を有する矩形状のホワイトボードを被写体画像として含む解析対象画像を処理する場合について説明する。

この画像処理は、画像処理システム１がパーソナルコンピュータ等を用いて構築されている場合、ユーザがマウス（操作部）で画像解析処理の開始指令を与え、かかる開始指令信号を制御部２の操作信号受信部２０１が受信し、ＲＯＭ３１若しくはＨＤ３３に格納されている本実施形態にかかる画像解析処理（画像処理）プログラムを起動されることで開始される。

先ず、解析対象となる画像が、画像解析装置１０に入力される（ステップＳ１１）。本実施形態では、画像入力装置として機能するデジタルスチルカメラ５０から、ホワイトボードを被写体画像として含む記録画像が、Ｉ／Ｏ３４を介して制御部２（ＲＡＭ３２）へ取り込まれる。なお、この画像入力の手法は任意であり、例えば予めデジタルスチルカメラ５０からＲＯＭ３１へ画像を転送しておいたものを読み出したり、記録メディアに格納されている画像ファイルを読み出したりするようにしても良い。

次に、入力された画像に対して、諧調データ変換部２０２により、Ｒ、Ｇ、Ｂの各デジタル信号を輝度データに変換する処理が実行される（ステップＳ１２）。これに続き、処理速度を向上させるため、画像縮小処理部２０３により縮小画像が作成される（ステップＳ１３）。

さらに、諧調補正処理部２０３により、ステップＳ３で作成された縮小画像に対して諧調の正規化処理が行われる（ステップＳ１４）。すなわち、前記縮小画像中における最大輝度及び最低輝度が、諧調レベルでそれぞれ（２５５，０）となるように、全画素に対して諧調補正が行われる。そして、ノイズ除去部２０５により、諧調補正後の画像に対してノイズ除去処理が実行される（ステップＳ１５）。

以上のような前処理が解析対象画像に施された後、エッジ画像生成部２０６により、当該解析対象画像から抽出対象とされる被写体画像（ホワイトボードの輪郭である四角形的な被写体画像）に由来するエッジ画像が生成される（ステップＳ１６）。対象となる被写体画像がホワイトボードであるので、ソーベルフィルタによりフィルタリング処理により、ホワイトボードの外枠の四辺が強調された四角形的なエッジ画像が生成されることとなる。ただ、この時点では検出すべき本来的なエッジ以外の画素もエッジとして抽出されている場合がある。しかる後、ヒストグラム生成部２０７により、解析対象となる画像を構成する画素における輝度Ｙのヒストグラムが作成される（ステップＳ１７）。

これに続き、解析対象画像に含まれる本来的なエッジのみを抽出できるように、２値化処理部２０８により、例えばヒストグラム生成部２０７にて作成されたヒストグラムに基づき定められた所定の閾値Ｙｔｈを設定して、Ｙ＜ＹｔｈであればＹ＝０とし、Ｙ≧ＹｔｈであればＹ＝２５５として、輝度Ｙのデータを２値化する処理が実行される（ステップＳ１８）。ここまでの処理により、例えば図２（ａ）に示すように、画像中におけるホワイトボード領域９の枠部９０（輝度が画像中の他の部分と比べて水平方向及び垂直方向に異なるためエッジとして抽出された部分）に対応する画素（Ｙ＝２５５の画素）のみが強調された四角形的なエッジ画像が生成されることとなる。

次に、分割画像設定部２０９により、例えば図６に示すように、分割された画像情報取得エリア（第１領域〜第４領域９ａ〜９ｄ）が設定され、直線検出部２１０により、各画像情報取得エリアの分割エッジ画像それぞれにおいて、２値化処理部２０８にてＹ＝２５５の画素に変換されている全ての画素についてハフ変換投票処理が実行され、エッジ画像に基づく直線情報が検出される（ステップＳ１９）。そして、後述の図１４に示すフローチャートで詳述する通り、度数／傾き検出部２１１、度数判定部２１２及び辺選定部２１３により、検出すべき特定領域を区画する直線（第１辺〜第４辺）が検出される。つまり、例えば図１２に示す直線ｈ１２、ｈ２２、ｖ１２、ｖ２２のような、特定領域端のエッジが決定される（ステップＳ２０）。

図１４は、特定領域端のエッジを決定する処理（図１３のフローチャートにおけるステップＳ２０）の詳細手順を示すフローチャートである。先ず、度数判定部２１２により、直線検出部２１０にて検出された直線情報（上述のステップＳ１８）の中から、解析対象画像の領域毎に、前記傾き−切片座標における累積度数が最大となる累積度数最大直線（傾きＬｍ、切片Ｃｍ、累積度数Ｖｍ）が求められる（ステップＳ２１）。

続いて、直線検出部２１０により検出された直線情報について、前記累積度数最大直線の傾きＬｍ、切片Ｃｍ、累積度数Ｖｍを基準として、検出すべき特定領域を区画する直線候補の抽出、選定が実行される。先ず、傾き−切片座標において周辺よりも所定量累積度数の高い直線情報かが確認される（ステップＳ２２）。なお、前記ステップＳ２２は、直線検出部２１０にて直線情報として検出する際に、予め実行しておいても良い。

累積度数の高い直線情報であれば（ステップＳ２２でＹｅｓ）、度数／傾き検出部２１１により、その直線情報の累積度数Ｖｉが所定の度数閾値Ｖｔｈ以上であるかが確認される（ステップＳ２３）。該直線情報が度数閾値Ｖｔｈ以上の累積度数Ｖｉを有している場合（ステップＳ２３でＹｅｓ）、度数／傾き検出部２１１により、その直線情報の傾きＬｉが所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２の範囲内であるかが確認される（ステップＳ２４）。

そして該直線情報の傾きＬｉが、所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２の範囲内である場合（ステップＳ２４でＹｅｓ）、辺選定部２１３により、その直線情報の切片Ｃｉが所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２の範囲内であるかが確認される（ステップＳ２５）。直線情報の切片Ｃｉが所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２の範囲内である場合（ステップＳ２５でＹｅｓ）、このような傾きＬｉ及び切片Ｃｉを備える直線情報は、特定領域を区画する直線の候補として選定され、ＲＡＭ３２等に一時的に格納される（ステップＳ２６）。

しかる後、全てのエッジ画素について判定が完了したかが確認され（ステップＳ２７）、未確認の場合（ステップＳ２７でＮｏ）は、ステップＳ２２に戻って同様な処理が繰り返される。なお、上記各ステップにおいて、累積度数、傾き及び切片の条件のいずれかを満たさなかった場合（ステップＳ２２〜ステップ２５のいずれか１つでＮｏ）、このステップＳ２７へ移行する。

全てのエッジ画素について判定が完了したら（ステップＳ２４でＹｅｓ）、辺選定部２１３は、ＲＡＭ３２等に一時的に格納した全ての直線候補（傾きＬｉ、切片Ｃｉ、累積度数Ｖｉ）及び累積度数最大直線（傾きＬｍ、切片Ｃｍ、累積度数Ｖｍ）の中から、最も画面の内側の直線（解析対象画像の中心側に近い直線）を選定し、その要件を満たす直線をホワイトボード領域９のエッジを構成する辺（第１辺〜第４辺）として決定する（ステップＳ２８）。例えば図１２に示す例の場合は、直線ｈ１２、ｈ２２、ｖ１２、ｖ２２を第１辺〜第４辺として決定するものである。

図１３のフローチャートに戻って、その後、領域検出部２１４により、前記直線ｈ１２、ｈ２２、ｖ１２、ｖ２２で区画される矩形領域Ｒを作出し、当該矩形領域Ｒが特定領域として検出される（ステップＳ３１）。前記矩形領域Ｒは、累積度数、傾き及び切片について所定の選定処理がなされた上で抽出された直線に基づき画定されたものであることから、ホワイトボードの枠板が含まれている状態で画像記録されていても、その画像において枠部９０を含むことのない最適な矩形画像として特定領域を検出できるものである。

このようにして画像解析装置１０により検出された特定領域（ホワイトボードの白板面）に対応する画像情報は、画像処理装置４０にて抽出され、所定の画像処理が施される（ステップＳ３２）。すなわち、あおり補正部４１により画像のゆがみを補正され、また下地とばし処理部４２によりホワイトボードの白地部分への色かぶりを補正される等、ホワイトボードに描かれた文字・図形情報を明瞭化するための画像処理が行われ、処理が終了する。この画像処理にあたり、領域検出部２１４にて抽出された特定領域にはホワイトボードの枠部や背景などは含まれていないことから、画像処理の品質を高めることができ、ホワイトボードに描かれた文字や図形を明瞭に再生することができる。

以上、本発明の一実施形態にかかる画像処理システム１につき説明したが、本発明はこれに限定されるものではなく、様々な変形実施形態を採ることができる。例えば、本実施形態では四角形状のホワイトボードを被写体画像とした場合について説明したが、三角形、五角形若しくはそれ以上の多角形を対象とすることもできる。また、ページ厚さを要する文字等が記載された原稿、図形や写真が描かれた用紙、或いは見開いた書籍なども被写体画像とすることもできる。この場合、それぞれの辺を別々に含むよう、複数の画像情報取得エリアを設定し、各々の分割エッジ画像から直線候補を抽出し、上記と同様な方法で辺を特定するようにすれば良い。

また、上記実施形態では、累積度数最大直線を求め、該直線を基準として度数閾値Ｖｔｈ、所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２及び所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２を設定し、直線を選出する方法について説明したが、これらを予め固定値として設定する方式としても良い。

さらに、累積度数最大直線を求めずに特定領域を求めるようにしても良い。すなわち、解析対象画像からエッジを抽出してエッジ画像を作成すると共に、該エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求め、前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を複数抽出し、この抽出された直線情報群の中から、解析対象画像の第１領域内において解析対象画像の最も中心側方向に近い位置に存在する直線を検出して第１辺を求め、前記第１領域とは異なる第２領域内において同様にして第２辺を求め、少なくとも前記第１辺及び第２辺で区画される領域を特定領域として検出する構成とすることもできる。

具体的には、度数閾値Ｖｔｈ、所定の傾き範囲Ｌｔｈ１〜Ｌｔｈ２及び所定の切片範囲Ｃｔｈ１〜Ｃｔｈ２を所定の条件範囲に予め定めておき、例えば図６に示した第１領域〜第４領域９ａ〜９ｄにおいて前記条件を満たす直線候補を全て抽出する。各領域で抽出された直線群を合成すると、例えば図１２に示すような直線候補区画が得られることとなる。そして、これら直線群のうち、解析対象画像の最も中心側方向に近い位置に存在する直線（図１２の場合は、直線ｈ１２、ｈ２２、ｖ１２、ｖ２２）を４辺それぞれにおいて選出することにより、特定領域を画定するものである。

この方法によれば、所定の直線候補を抽出した後、上述のように累積度数最大直線を求めることなく、第１領域内及び第２領域内において最も中心側方向に近い位置に存在する直線を第１辺〜第４辺として抽出するので、簡略化した処理により特定領域を画定する前記第１辺〜第４辺を検出することができる。

さらに、上述の画像解析装置１０が行う画像解析方法（或いは画像処理システム１が行う画像処理方法）を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。若しくは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

本実施形態にかかる画像処理システムの構成を示すブロック図である。 （ａ）は上記画像処理システムにより画像処理される解析対象画像、（ｂ）は特定領域検出処理が行われた状態を示す画像、（ｃ）は画像処理後の画像の例をそれぞれ示す平面図である。 画像解析装置が備える制御部の機能ブロック図である。 ソーベルフィルタの一例を示す説明図であって、（ａ）は水平方向重み付けフィルタの例を、（ｂ）垂直方向重み付けフィルタの例をそれぞれ示している。 エッジ抽出のために作成される輝度ヒストグラムの一例を示すグラフ図である。 抽出されたエッジ画像の分割状態を示す平面図であり、（ａ）は上下半分に分割した例、（ｂ）は左右半分に分割した例をそれぞれ示す図である。 ハフ変換投票処理を説明するためのグラフ図である。 ハフ変換投票処理によって傾き及び切片を求め、直線を検出する処理を説明するためのグラフ図である。 度数／傾き検出部による直線候補選定結果を模式的に示す説明図である。 度数／傾き検出部による直線候補選定結果を模式的に示す説明図である。 辺選定部による直線候補選定の処理を説明するための説明図である。 辺選定部により直線候補選定の処理を説明するための説明図である。 本実施形態にかかる画像処理システムの動作を説明するためのフローチャートである。 本実施形態にかかるエッジ決定処理を説明するためのフローチャートである。 ページ厚さのある文書を撮影した画像から特定領域を抽出する処理を説明するための平面図である。 ホワイトボードを撮影した画像から特定領域を抽出する処理を説明するための平面図である。

符号の説明

１ 画像処理システム
１０ 画像解析装置
２ 制御部
２０６ エッジ画像生成部（エッジ画像作成手段）
２０７ ヒストグラム生成部
２０９ 分割画像設定部
２１０ 直線検出部（直線検出手段）
２１１ 度数／傾き検出部（度数／傾き検出手段）
２１２ 度数判定部（累積度数最大直線抽出手段）
２１３ 辺選定部（辺選定手段）
２１４ 領域検出部（領域検出手段）
４０ 画像処理装置
４１ あおり補正部
４２ 下地とばし処理部
５０ デジタルスチルカメラ（画像入力手段）
９ （解析対象画像中の）ホワイトボード領域
９ａ〜９ｄ 第１領域〜第４領域
９０ 枠部
９０ａ〜９０ｄ 第１〜第４の画像情報取得エリア
ｖ１１〜ｖ２２ 垂直方向の直線
ｈ１１〜ｈ２２ 水平方向の直線
Ｒ 矩形領域（特定領域）
Ｓ 解析対象画像

Claims (11)

1. 解析対象画像からエッジを抽出してエッジ画像を作成すると共に、該エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求め、
   前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出すると共に、
   この抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求め、
   前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出して第１辺を求め、
   前記第１領域とは異なる第２領域内において同様にして第２辺を求め、
   少なくとも前記第１辺及び第２辺で区画される領域を特定領域として検出することを特徴とする画像解析方法。
2. 前記累積度数最大直線よりも解析対象画像の中心側方向の所定距離以内に存在する直線が複数存在する場合に、最も中心側方向に近い位置に存在する直線を選択して前記第１辺若しくは第２辺として定めることを特徴とする請求項１記載の画像解析方法。
3. 前記解析対象画像の中心側方向の所定値Ｋｃが、０≦Ｋｃ≦０．１５（但し、この数値は解析対象画像の辺方向の長さを１に正規化した値）の範囲に設定されることを特徴とする請求項１記載の画像解析方法。
4. 前記第１領域及び第２領域は、解析対象画像を上下半分若しくは左右半分に分割して設定されることを特徴とする請求項１記載の画像解析方法。
5. 前記累積度数最大直線により四方形の領域を画定し、
   該四方形領域の内側であって、各々の累積度数最大直線よりも所定値Ｋｃ以内に存在する４つの直線を第１辺〜第４辺として定めた四方形領域を特定領域として検出することを特徴とする請求項１〜４のいずれかに記載の画像解析方法。
6. 解析対象画像からエッジを抽出してエッジ画像を作成すると共に、該エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求め、
   前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を複数抽出し、
   この抽出された直線情報群の中から、解析対象画像の第１領域内において解析対象画像の最も中心側方向に近い位置に存在する直線を検出して第１辺を求め、
   前記第１領域とは異なる第２領域内において同様にして第２辺を求め、
   少なくとも前記第１辺及び第２辺で区画される領域を特定領域として検出することを特徴とする画像解析方法。
7. 処理対象となる画像情報を取得し、
   前記画像情報に対して請求項１〜６のいずれかの画像解析方法に基づいて特定領域を検出して抽出する処理を行い、
   当該抽出された特定領域に対応する画像情報に対して、所定の画像処理を実行することを特徴とする画像処理方法。
8. 解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成手段と、
   前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出手段と、
   前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出手段と、
   抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出手段と、
   前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定手段と、
   前記辺選定手段により検出された２以上の辺により区画される領域を特定領域として検出する領域検出手段と
   を具備することを特徴とする画像解析装置。
9. 請求項８に記載の画像解析装置と、
   前記画像解析装置に対して被解析対象画像を入力する画像入力装置と、
   前記画像解析装置の領域検出手段により検出された特定領域に対応する画像情報に対して、所定の画像処理を行う画像処理装置と
   を具備することを特徴とする画像処理システム。
10. コンピュータに画像解析処理を実行させるプログラムであって、
    解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成ステップと、
    前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出ステップと、
    前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出ステップと、
    前記直線検出ステップで抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出ステップと、
    前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定ステップと、
    前記辺選定ステップにより検出された２以上の辺により区画される領域を特定領域として検出する領域検出ステップと
    を含むステップを実行させるための画像解析プログラム。
11. コンピュータに画像処理を実行させるプログラムであって、
    所定の画像入力装置から被解析対象画像を取得する画像取得ステップと、
    解析対象画像からエッジを抽出してエッジ画像を作成するエッジ画像作成ステップと、
    前記エッジ画像を構成する画素についてハフ変換投票処理を行って傾き−切片座標データを求める直線検出ステップと、
    前記傾き−切片座標データから、少なくとも傾き−切片座標における累積度数が所定値以上であって、且つ傾きが所定値以内であるとの条件を満たす直線情報を抽出する度数／傾き検出ステップと、
    前記直線検出ステップで抽出された直線情報の中から、解析対象画像の第１領域内において前記傾き−切片座標における累積度数が最大となる直線情報を求める累積度数最大直線抽出ステップと、
    前記累積度数最大直線よりも解析対象画像の中心側方向の所定値Ｋｃ以内に存在する直線を検出する辺選定ステップと、
    前記辺選定ステップにより検出された２以上の辺により区画される領域を特定領域として検出する領域検出ステップと
    検出された特定領域に対応する画像情報に対して、所定の画像処理を行う画像処理ステップと
    を含むステップを実行させるための画像処理プログラム。

Images