JP2017168079A - 書き込みボード検出及び補正 - Google Patents

Abstract

【課題】ホワイトボード、黒板など、書き込みボードの遠近感を補正する画像処理方法を提供する。【解決手段】書き込みボードと、書き込みボードの外側の背景と、を含む画像を取得する工程と、画像内の複数の線を検出する工程と、複数の線に基づいて、画像内の書き込みボードの複数のコーナーを決定する工程と、複数のコーナーに基づく変換を画像に適用して書き込みボードの遠近感を補正する工程と、を備える。【選択図】図２

Description

本発明は、書き込みボード検出及び補正に関する。

書き込みボード（例えば、ホワイトボード、黒板など）は、様々な環境（例えば、学校、会社、非営利組織、住宅など）で頻繁に使用される。例えば、講義、トレーニング、ブレインストーミングセッション中などに、書き込みボード上に、文章、図、チャート、グラフなどを配置して、アイディアを伝える。これらアイディアを電子的に記憶するため、書き込みボードを撮影し、画像処理（例えば、光学式文字認識（ＯＣＲ））を行って、画像から書き込みボードの内容を抽出する。

（例えば、カメラ付きスマートフォンを用いて）前述の撮影を行うと、画像に、書き込みボードの外側の背景が含まれている場合がある。また、画像に、書き込みボードが歪んだ遠近感で写っている場合がある。これら背景と遠近感の歪みによって画像処理が複雑になり、書き込みボードの内容をうまく抽出できないことが多い。それでもなお、ユーザーは、書き込みボードを撮影して、書き込みボード上のアイディアを記憶することを望んでいる。

主として、一側面において、本発明は、画像処理方法に関する。該方法は、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する工程と、前記画像内の複数の線を検出する工程と、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する工程と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する工程と、を備える。

主として、一側面において、本発明は、画像処理プログラムに関する。該プログラムは、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する処理と、前記画像内の複数の線を検出する処理と、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する処理と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する処理と、をコンピューターに実行させる。

主として、一側面において、本発明は、画像処理システムに関する。該システムは、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を記憶するバッファーと、前記画像内の複数の線を検出するラインプロセッサーと、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定するコーナー検出器と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する補正エンジンと、を備える。

本発明のその他の側面は、以下の説明及び添付の特許請求の範囲から明らかである。

本発明の一以上の実施形態に係るシステムを示す。 本発明の一以上の実施形態に係るフローチャートを示す。 本発明の一以上の実施形態に係るフローチャートを示す。 本発明の一以上の実施形態に係るフローチャートを示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係る実施例を示す。 本発明の一以上の実施形態に係るコンピューターシステムを示す。

本発明の具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図に示される同様の構成要素は、一貫性を保つため、同様の参照符号で示す。

以下の本発明の実施形態の詳細な説明には、本発明がより完璧に理解されるよう、数多くの具体的な詳細を記す。しかし、当業者にとっては、これら具体的な詳細がなくとも本発明が実施可能であることは明らかであろう。また、不必要に複雑な説明となるのを避けるため、周知の特徴に関しては詳細な説明は省略する。

主として、本発明の実施形態は、画像処理方法、画像処理プログラム及び画像処理システムを提供する。まず、書き込みボードと、書き込みボードの外側の背景の少なくとも一部と、を含む画像を取得する。そして、画像内の線（例えば、エッジ）を検出する。そして、画像内の書き込みボード上に位置する線と画像の背景内に位置する線を特定し、除去する（すなわち、更なる検討から除外する）。残りの線のうちのいくつかを用いて、書き込みボードのコーナーを決定し、書き込みボードの遠近感の歪みをオフセットする変換を算出する。算出された変換を画像に適用して書き込みボードの遠近感の歪みを補正した後、更なる画像処理（例えば、ＯＣＲ）を行って、書き込みボードの内容を抽出する。書き込みボードの遠近感の歪みを少なくとも部分的に先に補正することで、その後の画像処理（例えば、ＯＣＲ）の成功する確率が高くなる。

図１は、本発明の一以上の実施形態に係るシステム（１００）を示す。図１に示すように、システム（１００）は複数の構成要素（例えば、バッファー（１０４）、ラインプロセッサー（１１４）、コーナー検出器（１１０）、補正エンジン（１０８））を有する。これら構成要素（１０４、１０８、１１０、１１４）は、同一のコンピューティングデバイス（例えば、パーソナルコンピューター（ＰＣ）、ラップトップ、タブレットＰＣ、スマートフォン、サーバー、メインフレーム、ケーブルボックス、キオスクなど）に配置されても、任意のサイズ、及び有線及び／又は無線セグメントを有する任意のトポロジーのネットワークにより接続された複数の異なるコンピューティングデバイスに配置されてもよい。

本発明の一以上の実施形態において、システム（１００）はバッファー（１０４）を備える。バッファー（１０４）は、ハードウェア（例えば、回路）、ソフトウェア、又はこれらの組み合わせとして実装される。バッファー（１０４）は、画像（１０６）を記憶する。画像（１０６）は、書き込みボードと背景を含む。画像（１０６）の背景は、事実上、画像（１０６）内の書き込みボードに占領されていないエリアである。画像（１０６）には、書き込みボードが歪んだ遠近感で写っている。画像（１０６）は、任意のソースから得られる。例えば、画像（１０６）は、スマートフォンのデジタルカメラ（図示せず）から得られる。あるいは、画像（１０６）は、ネットワーク（例えば、インターネット）（図示せず）を介して得られる。あるいは、画像（１０６）は、ハードドライブ（図示せず）から得られる。画像（１０６）のサイズ及び解像度は任意である。本発明の一以上の実施形態において、バッファー（１０４）は、画像（１０６）をダウンサンプリングする。具体的には、バッファー（１０４）は、画像の解像度が所定の閾値を超える場合（例えば、画像（１０６）が高解像度画像である場合）に、画像（１０６）をダウンサンプリングする。バッファー（１０４）は、他の構成要素（例えば、１０８、１１０、１１４）が画像（１０６）を処理する間に、画像（１０６）を記憶する。

本発明の一以上の実施形態において、システム（１００）はラインプロセッサー（１１４）を備える。ラインプロセッサー（１１４）は、ハードウェア（例えば、回路）、ソフトウェア、又はこれらの組み合わせとして実装される。ラインプロセッサー（１１４）は、画像（１０６）に対してエッジ検出を行うように構成されている。すなわち、ラインプロセッサー（１１４）は、画像（１０６）内の線を検出するように構成されている。例えば、ラインプロセッサー（１１４）は、キャニー（Ｃａｎｎｙ）アルゴリズム及び／又はハフ（Ｈｏｕｇｈ）変換を利用して画像（１０６）内の線を検出する。また、ラインプロセッサー（１１４）は、長さが不十分な線（すなわち、長さ閾値を超えない線）を除去する（すなわち、更なる検討から除外する）。また、ラインプロセッサー（１１４）は、各線を、略垂直又は略水平として分類する。

本詳細な説明の恩恵に浴する当業者であれば、一以上の検出された線は画像内の書き込みボード上に位置し、一以上の検出された線は画像内の書き込みボードの外側の背景内に位置し、一以上の検出された線は画像（１０６）内の書き込みボードの輪郭（例えば、境界、周辺など）に相当し得ることを理解するであろう。

本発明の一以上の実施形態において、ラインプロセッサー（１１４）は、画像（１０６）内の書き込みボード上に位置する線を特定し、除去する（すなわち、更なる検討から除外する）。本詳細な説明の恩恵に浴する当業者であれば、線が書き込みボード上に位置する場合、線の両側の画素が相似の強度値を有することを理解するであろう。したがって、ラインプロセッサー（１１４）は、選択された線が書き込みボード上にあると判定するために、線の両側の画素の強度値を比較する。この処理は、細長片の使用を含む（後述）。

本発明の一以上の実施形態において、ラインプロセッサー（１１４）は、画像の背景内に位置する線を特定し、除去する（すなわち、更なる検討から除外する）。具体的には、ラインプロセッサー（１１４）は、選択された線上の複数のサンプル点を算出し、基準点（例えば、画像の中心）から各サンプル点までのリンクを生成する。リンクがサンプル点に到達する前に他の線と交差する場合、選択された線は画像（１０６）の背景内に位置すると判定する（後述）。

一以上の実施形態において、システム（１００）はコーナー検出器（１１０）を備える。コーナー検出器（１１０）は、ハードウェア（例えば、回路）、ソフトウェア、又はこれらの組み合わせとして実装される。コーナー検出器（１１０）は、画像（１０６）内の書き込みボードのコーナーを決定するように構成されている。これは、画像中心からの一般的な方位に基づいて、残りの線を４つの群に分ける工程を含む。各群において、線は、長さや画像（１０６）の中心までの近接度など様々な要素に基づいてランク付けされる。各群から１本、計４本の線を、ランクに基づいて選択し、これら４本の線の交点を算出する。算出された交点が四角形の原理（後述）に反しなければ、これら４つの交点は、画像（１０６）内の書き込みボードのコーナーと見なされる。

本発明の一以上の実施形態において、システム（１００）は補正エンジン（１０８）を備える。補正エンジン（１０８）は、ハードウェア（例えば、回路）、ソフトウェア、又はこれらの組み合わせとして実装される。補正エンジン（１０８）は、算出された交点及び４本の線の間の距離に基づいて、変換を算出するように構成されている（後述）。また、補正エンジン（１０８）は、算出された変換を画像（１０６）に適用して、画像（１０６）内の書き込みボードの遠近感の歪みをオフセット（すなわち、少なくとも部分的に補正）するように構成されている（後述）。本詳細な説明の恩恵に浴する当業者であれば、遠近感の歪みをオフセットすることで、画像（１０６）内の書き込みボードの内容を抽出するために画像（１０６）に対して行われる更なる処理（例えば、ＯＣＲ）の成功する確率が高くなることを理解するであろう。

図１は４つの構成要素（１０４、１０８、１１０、１１４）を有するシステム（１００）を示しているが、システム（１００）は、他の実施形態において、より多く又はより少ない構成要素を有し得る。例えば、システム（１００）は、画像（１０６）を撮影するためのデジタルカメラ付きスマートフォンを備える。他の例では、システム（１００）は、画像（１０６）に更なる処理（例えば、ＯＣＲ）を行って画像（１０６）内の書き込みボードの内容を抽出するための追加のエンジンを備える。

図２は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像処理のプロセスを示す。図２に示す一以上のステップは、図１を参照して説明したシステム（１００）の構成要素により実行される。本発明の一以上の実施形態において、図２に示す一以上のステップは、省略、繰り返し及び／又は図２に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、図２に示すステップの具体的な配列に限定されるものではない。

まず、画像を取得する（ステップ２０５）。画像は、デジタルカメラから得られてもよい。あるいは、画像は、サーバーからダウンロードされてもよい。画像は、書き込みボード（例えば、ホワイトボード、黒板など）を含む。書き込みボードは、画像の中心を占める。画像は、書き込みボードの外側の背景も含む。背景は、書き込みボードの４辺全て又はいくつかに見られる。

ステップ２１０において、画像をダウンサンプリングして、エッジの線状性を高める。本詳細な説明の恩恵に浴する当業者であれば、ステップ２１０がオプションであることを理解するであろう。

ステップ２１５において、画像内の線を検出する。線は、線検出アルゴリズムを適用して検出される。例えば、キャニーアルゴリズム及び／又はハフ変換を画像に適用することにより、画像の線を検出する。線検出のための他のアルゴリズムを適用してもよい。検出された線のうち、長さ閾値を超えない線（すなわち、短い線）を、全て除去する（すなわち、更なる検討から除外する）。

本詳細な説明の恩恵に浴する当業者であれば、一以上の検出された線は画像内の書き込みボード上に位置し、一以上の検出された線は画像内の書き込みボードの外側の背景内に位置し、一以上の検出された線は書き込みボードの境界に相当し得ることを理解するであろう。

ステップ２２０において、画像内の書き込みボード上に位置する線を特定し、除去する（すなわち、更なる検討から除外する）。ステップ２２０の更なる詳細については、例えば、図３及び図５Ｃに示す。

ステップ２２５において、画像の背景に位置する線を特定し、除去する（すなわち、更なる検討から除外する）。ステップ２２５の更なる詳細については、例えば、図４及び図５Ｄに示す。

ステップ２３０において、残りの線を、画像の中心からの一般的な方位に基づいて、４つの群に分ける。各群において、線はランク付けされる。線は、例えば、長さ及び／又は画像中心までの近接度によってランク付けされる。１つの群に１本の線しか属さない場合もある。

ステップ２３５において、４つの群各々から線を１本選択して、４本の線からなるセットを形成する。この選択はランダムに行われる。すなわち、各群から１本、ランダムに選択する。さらに又はあるいは、各群から１本、各群内における線のランクに基づいて選択する。例えば、各群の最高ランクの線を選択する。あるいは、各群の最低ランクの線を選択する。

ステップ２４０において、４本の線の交点を算出する。本詳細な説明の恩恵に浴する当業者であれば、４本の線の交点を算出する工程は、４本のうち１本以上の線を、他の線と交差するまで延長する工程を含み得ることを理解するであろう。また、本詳細な説明の恩恵に浴する当業者であれば、交点は４つ存在し、各交点は座標で表現可能なことを理解するであろう。

ステップ２４５において、算出された交点は四角形の原理に反するか否か判定する。算出された交点のうち１つ以上の交点が線分の中心の近く（すなわち、所定距離内）に位置する場合、算出された交点は四角形の原理に反する。さらに又はあるいは、１本の線上の２つの交点が線の片側に位置する場合、算出された交点は四角形の原理に反する。別の言い方をすると、上述したように、交点を算出するため、１本の線を両方向に延長（方向Ａへの延長線及び方向Ｂへの延長線）して、他の線と交差させる場合がある。１本の線上の２つの交点が両方とも線の同一延長線上に位置する（すなわち、両方とも方向Ａへの延長線上に位置する、又は両方とも方向Ｂへの延長線上に位置する）場合、算出された交点は四角形の原理に反する。算出された交点は四角形の原理に反しないと判定された場合、処理はステップ２５０に進む。一方、算出された交点は四角形の原理に反すると判定された場合、処理はステップ２３５に戻り、線のセット内の少なくとも１本の線を、同じ群の他の線に替える。

ステップ２５０において、交点及び４本の線の間の距離に基づいて、変換を算出する。例えば、４本の線のセット内の一方の垂直な線の中点と他方の垂直な線の中点との距離をｗとする。更に、４本の線のセット内の一方の水平な線の中点と他方の水平な線の中点との距離をｈとする。算出される変換は、交点の座標を以下の座標に写像するアフィン変換である：（０，０）、（ｗ，０）、（０，ｈ）、（ｗ，ｈ）。本詳細な説明の恩恵に浴する当業者であれば、ｗ／ｈがアスペクト比として用いられることを理解するであろう。

ステップ２５５において、算出された変換を画像に適用して、遠近感の歪みを少なくとも部分的に補正する。変換適用後、画像内の書き込みボードの内容を抽出するために当該画像に対して行われる任意の処理（例えば、ＯＣＲ）（ステップ２６０）の成功する確率は高くなる。本詳細な説明の恩恵に浴する当業者であれば、ステップ２６０がオプションであることを理解するであろう。

図３は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像内の書き込みボード上に位置する線を特定する処理を示す。図３に示す一以上のステップは、図１を参照して説明したシステム（１００）の構成要素により実行される。本発明の一以上の実施形態において、図３に示す一以上のステップは、省略、繰り返し及び／又は図３に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、図３に示すステップの具体的な配列に限定されるものではない。なお、図３に示す処理は、図２を参照して説明したステップ２２０に相当する。

まず、画像内で検出された線から線を１本選択する（ステップ３０５）。線は、検出された全ての線の中からランダムに選択される。さらに又はあるいは、線は、最も長い線であるため、最も短い線であるため、画像の中心に最も近いため、画像の中心から最も遠いためなど、任意の理由により選択されてもよい。

ステップ３１０において、選択された線について、複数の細長片を生成する。選択された線が垂直として分類される場合、細長片は水平である。一方、選択された線が水平として分類される場合、細長片は垂直である。細長片は、線の一方側から他方側に渡る。各細長片は、線の各側の複数の（例えば、２、３、１０など）画素を有する。例えば、選択された線が垂直として分類される場合、各細長片は水平であり、線の左側の３画素と右側の３画素を有する。他の例としては、選択された線が水平として分類される場合、各細長片は垂直であり、線の下側の３画素と上側の３画素を有する。

ステップ３１５において、細長片ごとに、線の両側の画素の強度値を特定する。１つの細長片について、強度値は、線の側ごとにソートされる。例えば、水平な細長片において、線の左側の画素の強度値は、当該強度値間でソートされ、線の右側の画素の強度値は、当該強度値間でソートされる。

ステップ３２０において、細長片ごとに、細長片における線の両側の統計的強度値を算出する。例えば、統計的強度値は、細長片における線の片側に位置する画素の平均強度値又は中央強度値に相当する。さらに又はあるいは、統計的強度値は、細長片における線の片側に位置する画素の４０％強度値（Ｉ_４０）及び６０％強度値（Ｉ_６０）に相当する。

ステップ３２５において、均一強度細長片（ＵＩＳ）を特定する。ＵＩＳは、線の一方側の統計的強度値と線の他方側の統計的強度値が一致する（すなわち、等しい又は略等しい）細長片である。例えば、水平な細長片の場合、線の左側の画素のＩ_４０値、Ｉ_６０値と、線の右側の画素のＩ_４０値、Ｉ_６０値が各々一致する場合、当該細長片はＵＩＳと見なされる。他の例としては、垂直な細長片の場合、細長片における線の上側の画素の中央強度値と、細長片における線の下側の画素の中央強度値が一致する場合、当該細長片はＵＩＳと見なされる。

ステップ３３０において、特定されたＵＩＳの数（すなわち、特定されたＵＩＳの濃度）は閾値を超えるか否か判定する。例えば、閾値は、選択された線の全細長片の１／３である。特定されたＵＩＳの数は閾値を超えると判定された場合、選択された線は、画像内の書き込みボード上に位置すると見なされる（ステップ３３５）。一方、特定されたＵＩＳの数は閾値を超えないと判定された場合、選択された線は、画像内の書き込みボード上に位置しないと見なされる（ステップ３４０）。

本詳細な説明の恩恵に浴する当業者であれば、図３に示す処理は、画像内で検出され、除去されていない（すなわち、更なる検討から除外されていない）線ごとに繰り返されることを理解するであろう。すなわち、図３に示す処理は、複数回繰り返される。

図４は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像内の書き込みボードの外側の背景内に位置する線を特定する処理を示す。図４に示す一以上のステップは、図１を参照して説明したシステム（１００）の構成要素により実行される。本発明の一以上の実施形態において、図４に示す一以上のステップは、省略、繰り返し及び／又は図４に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、図４に示すステップの具体的な配列に限定されるものではない。なお、図４に示す処理は、図２を参照して説明したステップ２２５に相当する。

まず、画像内で検出された線から線を１本選択する（ステップ４０５）。線は、検出された全ての線の中からランダムに選択される。さらに又はあるいは、線は、最も長い線であるため、最も短い線であるため、画像の中心に最も近いため、画像の中心から最も遠いためなど、任意の理由により選択されてもよい。

ステップ４１０において、選択された線について、複数のサンプル点を算出する。一以上の実施形態において、サンプル点の数は、選択された線の長さに基づく。選択された線が長さＬを有する場合、サンプル点は、選択された線上にＬ／１０間隔（又はＬ／２間隔、Ｌ／４間隔、Ｌ／５間隔、Ｌ／８間隔、Ｌ／１６間隔など）で配置される。さらに又はあるいは、選択された線の長さに拘わらず、一定数のサンプル点を用いてもよい。サンプル点は、選択された線に沿ってランダムな距離で配置されてもよい。さらに又はあるいは、サンプル点は、選択された線の両端にのみ配置されてもよい。

ステップ４１５において、基準点から選択された線上の各サンプル点までのリンクを生成する。事実上、リンク自体が線分である。基準点は、画像の中心に相当する。さらに又はあるいは、基準点は、画像の中心の近辺（例えば、画像の中心を含む小領域内）に位置してもよい。

ステップ４２０において、他の線とのリンク交点を特定する。事実上、リンク交点は、リンクと、当該リンクが選択されたリンクのサンプル点に到達する前に交差する他の線との交点である。リンク交点を有しないリンクや、複数のリンク交点を有するリンクもある。

ステップ４２５において、リンク交点の総数（すなわち、基準点から選択された線までの全てのリンクのリンク交点）は閾値（例えば、１、５、６、１０、１１など）を超えるか否か判定する。リンク交点の総数は閾値を超えると判定された場合、選択された線は、画像内の書き込みボードの外側の背景内に位置すると見なされる（ステップ４３０）。一方、リンク交点の総数は閾値を超えないと判定された場合、選択された線は、背景内に位置しないと見なされる（ステップ４３５）。

本詳細な説明の恩恵に浴する当業者であれば、図４に示す処理は、画像内で検出され、除去されていない（すなわち、更なる検討から除外されていない）線ごとに繰り返されることを理解するであろう。すなわち、図４に示す処理は、複数回繰り返される。

図５Ａ〜図５Ｆは、本発明の一以上の実施形態に係る実施例を示す。図５Ａに示すように、ホワイトボード（５０８）を含む画像（５０６）がある。画像（５０６）内のホワイトボード（５０８）の遠近感は歪んでいる。この画像（５０６）にＯＣＲや他の種類の画像処理を行ったとしても、良い結果を得られない確率が高い。すなわち、画像処理を行っても、遠近感の歪みのため、画像（５０６）からホワイトボード（５０６）の内容を正しく抽出できないことが多い。

図５Ｂは、線検出後の画像（５１０）を示す。図５Ｂに示すように、検出された線は、ホワイトボード（５０８）上に位置する線と、ホワイトボード（５０８）の輪郭（例えば、周辺、境界）に相当する線と、ホワイトボード（５０８）の外側の背景内に位置する線と、を含む。

図５Ｃは、検出された線のうちの１本の線（５１４）と、生成された複数の細長片（すなわち、細長片Ａ（５１６Ａ）、細長片Ｃ（５１６Ｃ）、細長片Ｅ（５１６Ｅ））を示す。線（５１４）が略垂直であるため、生成された細長片は水平であり、線（５１４）の左側から右側へと延びている。各細長片（５１６Ａ、５１６Ｃ、５１６Ｅ）は、線（５１４）の左側に位置する複数の画素（５１２）と右側に位置する複数の画素を有する。ここで、細長片Ｃ（５１６Ｃ）について検討する。細長片Ｃ（５１６Ｃ）の線（５１４）の左側に位置する画素について、１つ以上の統計的強度値（例えば、Ｉ_４０、Ｉ_６０）が算出される。また、細長片Ｃ（５１６Ｃ）の線（５１４）の右側に位置する画素について、１つ以上の統計的強度値（例えば、Ｉ_４０、Ｉ_６０）が算出される。線（５１４）の両側の統計的強度値が一致する場合、細長片Ｃ（５１６Ｃ）はＵＩＳと見なされる。そして、全細長片（５１６Ａ、５１６Ｃ、５１６Ｅなど）のうち少なくとも１／３がＵＩＳである場合、線（５１４）は、画像内のホワイトボード（５０８）上に位置すると見なされる。

図５Ｄは、検出された線（５２４）と、画像の中心付近に位置する基準点（５２０）を示す。更に図５Ｄに示すように、検出された線（５２４）について、複数のサンプル点（５２２）が算出される。そして、基準点（５２０）から各サンプル点（５２２）までのリンク（５２５）が生成される。基準点（５２０）と検出された線（５２４）の間に、他の検出された線（すなわち、他の線Ａ（５２６）、他の線Ｂ（５２８））がある。したがって、いくつかのリンクは、他の線（５２６、５２８）と交差する。リンク交点の数が閾値（例えば、５）を超える場合、検出された線（５２４）は、画像内のホワイトボード（５０８）の外側の背景内に位置すると見なされる。

図５Ｅは、複数の群（すなわち、群Ａ（５３０Ａ）、群Ｂ（５３０Ｂ）、群Ｃ（５３０Ｃ）、群Ｄ（５３０Ｄ））を示す。群（５３０Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄ）は、水平な線の群２つ（５３０Ｂ、５３０Ｄ）と、垂直な線の群２つ（５３０Ａ、５３０Ｃ）を含む。各群（５３０Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄ）において、線は、長さや画像の中心からの距離などによりランク付けされる。各群（５３０Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄ）から１本の線を選択することにより、４本の線のセットが形成される。

図５Ｆは、４本の線のセットについての交点の算出結果を示す。これら交点は四角形の原理に反しないため、画像内のホワイトボード（５０８）のコーナーと見なされる。したがって、交点の座標及び４本の線の間の距離（ｗ、ｈ）に基づいて、アフィン変換が算出される。この変換を画像に適用することにより、書き込みボードの遠近感の歪みが少なくとも部分的に補正される。変換を適用後の画像は、ホワイトボード（５０８）の内容を抽出するための更なる画像処理（例えば、ＯＣＲ）に、より適している。

本発明の一以上の実施形態は、以下の効果を有する：画像内の書き込みボードの遠近感の歪みを少なくとも部分的に補正することができる；画像内の書き込みボード上に位置する線を特定し除去することができる；画像内の書き込みボードの外側の背景内に位置する線を特定し除去することができる；リンク交点に基づいて、線は背景内に位置すると判定することができる；統計的強度値及びＵＩＳを用いて、線は書き込みボード上に位置すると判定することができる；など。

本発明の実施形態は、用いられているプラットフォームに拘わらず、事実上、あらゆる種類のコンピューティングシステムに実装できる。例えば、当該コンピューティングシステムは、一以上のモバイルデバイス（例えば、ラップトップコンピューター、スマートフォン、携帯情報端末、タブレットコンピューター又は他のモバイルデバイス）、デスクトップコンピューター、サーバー、サーバーシャーシにおけるブレード、又は本発明の一以上の実施形態を実施するための最低限の処理能力、メモリー、入力及び出力装置を少なくとも備える他の種類のコンピューティングデバイス又はデバイスである。例えば、図６に示すように、コンピューティングシステム（６００）は、一以上のコンピュータープロセッサー（６０２）、関連するメモリー（６０４）（例えば、ランダムアクセスメモリー（ＲＡＭ）、キャッシュメモリー、フラッシュメモリーなど）、一以上の記憶装置（６０６）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多目的ディスク（ＤＶＤ）ドライブなどの光学ドライブ、フラッシュメモリースティックなど）、及びその他多くの構成要素や機能を備える。コンピュータープロセッサー（６０２）は、例えば、指示を処理する集積回路である。コンピュータープロセッサーは、例えば、一以上のコア又はプロセッサーのマイクロコアである。コンピューティングシステム（６００）は、一以上の入力装置（６１０）を備えてもよく、当該入力装置は、タッチパネル、キーボード、マウス、マイクロフォン、タッチパッド、電子ペン又はその他の種類の入力装置である。また、コンピューティングシステム（６００）は、一以上の出力装置（６０８）を備えてもよく、当該出力装置は、スクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチパネル、ブラウン管（ＣＲＴ）モニター、プロジェクター又はその他の表示装置）、プリンター、外部記憶装置又はその他の出力装置である。一以上の出力装置は、入力装置と同じであっても異なっていてもよい。コンピューティングシステム（６００）は、ネットワークインターフェース接続（図示せず）を介して、ネットワーク（６１２）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、モバイルネットワーク又はその他の種類のネットワーク）に接続される。入力及び出力装置は、局所的に又は遠隔的に（例えば、ネットワーク（６１２）を介して）コンピュータープロセッサー（６０２）、メモリー（６０４）及び記憶装置（６０６）に接続される。コンピューティングシステムには多くの異なる種類があり、前述の入力及び出力装置は他の形態を取ってもよい。

本発明の実施形態を実施するためのコンピューター読取可能プログラムコードの形態のソフトウェア指示は、全て又は一部、一時的に又は恒久的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリー、物理メモリー、他のコンピューター読取可能記憶媒体など、非一時的コンピューター読取可能媒体に記憶される。具体的には、ソフトウェア指示は、プロセッサーによって実行された際に本発明の実施形態を実施するように構成されたコンピューター読取可能プログラムコードに相当する。

また、前述したコンピューティングシステム（６００）の一以上の構成要素は、遠隔に位置し、ネットワーク（６１２）を介して、その他の構成要素と接続されてもよい。また、本発明の一以上の実施形態は、複数のノードを有する分散システムに実装されてもよく、本発明の各部は、分散システム内の異なるノードに位置してもよい。本発明の一実施形態において、ノードは別のコンピューティングデバイスに相当する。あるいは、ノードは関連する物理メモリーを有するコンピュータープロセッサーに相当する。あるいは、ノードは共有メモリー及び／又はリソースを有するコンピュータープロセッサー又はコンピュータープロセッサーのマイクロコアに相当する。

限られた数の実施形態に関連して本発明を説明したが、本開示の恩恵に浴する当業者であれば、ここに開示された本発明の範囲から逸脱しない他の実施形態が考案可能であることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。

Claims (20)

1. 書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する工程と、
   前記画像内の複数の線を検出する工程と、
   前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する工程と、
   前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する工程と、
   を備える画像処理方法。
2. 前記複数の線から線を選択する工程と、
   前記線の第１側の第１の複数の画素の第１の複数の強度値を特定する工程と、
   前記線の第２側の第２の複数の画素の第２の複数の強度値を特定する工程と、
   前記第１の複数の画素の値と前記第２の複数の画素の値に基づいて、前記線は前記書き込みボード上に位置すると判定する工程と、
   前記複数のコーナーを決定する前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除く工程と、
   を更に備えることを特徴とする請求項１に記載の方法。
3. 前記線の前記第１側から前記第２側に渡る複数の細長片を生成する工程を更に備え、
   前記複数の細長片は、前記第１の複数の画素のサブセットと、前記第２の複数の画素のサブセットと、を有する細長片を含み、
   前記第１の複数の画素の前記サブセットについて、第１の統計的強度値を算出する工程と、
   前記第２の複数の画素の前記サブセットについて、第２の統計的強度値を算出する工程と、
   前記第１の統計的強度値と前記第２の統計的強度値の比較結果を生成する工程と、
   前記比較結果に基づいて、前記細長片は均一強度細長片であると判定する工程と、を更に備え、
   前記線は前記書き込みボード上に位置すると判定する工程は、前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較する工程を備えることを特徴とする請求項２に記載の方法。
4. 前記第１側は前記線の上側であり、
   前記第２側は前記線の下側であり、
   前記閾値は前記複数の細長片の１／３であることを特徴とする請求項３に記載の方法。
5. 前記複数の線から線を選択する工程と、
   前記線上の複数のサンプル点を算出する工程と、
   前記画像内で基準点を選択する工程と、
   前記基準点から前記複数のサンプル点までの複数のリンクを生成する工程と、
   前記複数のリンクについて、複数のリンク交点を特定する工程と、
   前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定する工程と、
   前記複数のコーナーを決定する前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除く工程と、
   を更に備えることを特徴とする請求項１に記載の方法。
6. 前記基準点は前記画像の中心であることを特徴とする請求項５に記載の方法。
7. 前記線は長さを有し、
   前記複数のサンプル点は複数の間隔で隔てられ、
   前記複数の間隔は、前記線の前記長さの１／１０、１／５、１／４及び１／１６からなる群から選択される少なくとも１つであることを特徴とする請求項５又は６に記載の方法。
8. 前記複数のコーナーを決定する工程は、
   前記複数の線を濃度が４の複数の群に分ける工程と、
   前記複数の群から第１の４本の線のセットを選択する工程と、
   前記第１の４本の線のセットについて、第１の複数の交点を算出する工程と、
   を更に備えることを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記複数のコーナーを決定する工程は、
   前記複数の群から第２の４本の線のセットを選択する工程と、
   前記第２の４本の線のセットについて、第２の複数の交点を算出する工程と、
   前記第１の４本の線のセットを選択する前に、前記第２の複数の交点は四角形の原理に反すると判定する工程と、
   を更に備えることを特徴とする請求項８に記載の方法。
10. 前記第１の複数の交点及び前記第１の４本の線のセットの線間の複数の距離に基づいて、前記変換を算出する工程を更に備えることを特徴とする請求項８又は９に記載の方法。
11. 前記複数の線を検出する前に、前記画像をダウンサンプリングする工程を更に備え、
    前記書き込みボードはホワイトボードであることを特徴とする請求項１から１０のいずれか一項に記載の方法。
12. 書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する処理と、
    前記画像内の複数の線を検出する処理と、
    前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する処理と、
    前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する処理と、
    をコンピューターに実行させるプログラム。
13. 前記複数の線から線を選択する処理と、
    前記線の第１側から第２側に渡る複数の細長片を生成する処理と、
    細長片内に位置する、前記線の前記第１側の第１の複数の画素について、第１の統計的強度値を算出する処理と、
    前記細長片内に位置する、前記線の前記第２側の第２の複数の画素について、第２の統計的強度値を算出する処理と、
    前記第１の統計的強度値と前記第２の統計的強度値の比較結果を生成する処理と、
    前記比較結果に基づいて、前記細長片は均一強度細長片であると判定する処理と、
    前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較して、前記線は前記書き込みボード上に位置すると判定する処理と、
    前記複数のコーナーを決定する前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除く処理と、
    を更に前記コンピューターに実行させることを特徴とする請求項１２に記載のプログラム。
14. 前記複数の線から線を選択する処理と、
    前記線上の複数のサンプル点を算出する処理と、
    前記画像内で基準点を選択する処理と、
    前記基準点から前記複数のサンプル点までの複数のリンクを生成する処理と、
    前記複数のリンクについて、複数のリンク交点を特定する処理と、
    前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定する処理と、
    前記複数のコーナーを決定する前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除く処理と、
    を更に前記コンピューターに実行させることを特徴とする請求項１２に記載のプログラム。
15. 前記複数の線を濃度が４の複数の群に分ける処理と、
    前記複数の群から第１の４本の線のセットを選択する処理と、
    前記第１の４本の線のセットについて、第１の複数の交点を算出する処理と、
    前記第１の複数の交点は四角形の原理に反すると判定する処理と、
    前記第１の複数の交点は四角形の原理に反すると判定した後に、前記複数の群から第２の４本の線のセットを選択する処理と、
    前記第２の４本の線のセットについて、第２の複数の交点を算出する処理と、
    前記第２の複数の交点及び前記第２の４本の線のセットの線間の複数の距離に基づいて、前記変換を算出する処理と、
    を更に前記コンピューターに実行させることを特徴とする請求項１２から１４のいずれか一項に記載のプログラム。
16. 書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を記憶するバッファーと、
    前記画像内の複数の線を検出するラインプロセッサーと、
    前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定するコーナー検出器と、
    前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する補正エンジンと、
    を備える画像処理システム。
17. 前記ラインプロセッサーは、更に
    前記複数の線から線を選択し、
    前記線の第１側から第２側に渡る複数の細長片を生成し、
    細長片内に位置する、前記線の前記第１側の第１の複数の画素について、第１の統計的強度値を算出し、
    前記細長片内に位置する、前記線の前記第２側の第２の複数の画素について、第２の統計的強度値を算出し、
    前記第１の統計的強度値と前記第２の統計的強度値の比較結果を生成し、
    前記比較結果に基づいて、前記細長片は均一強度細長片であると判定し、
    前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較して、前記線は前記書き込みボード上に位置すると判定し、
    前記複数のコーナーが決定される前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除くことを特徴とする請求項１６に記載のシステム。
18. 前記ラインプロセッサーは、更に、
    前記複数の線から線を選択し、
    前記線上の複数のサンプル点を算出し、
    前記画像内で基準点を選択し、
    前記基準点から前記複数のサンプル点までの複数のリンクを生成し、
    前記複数のリンクについて、複数のリンク交点を特定し、
    前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定し、
    前記複数のコーナーが決定される前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除くことを特徴とする請求項１６に記載のシステム。
19. 前記コーナー検出器は、
    前記複数の線を濃度が４の複数の群に分け、
    前記複数の群から第１の４本の線のセットを選択し、
    前記第１の４本の線のセットについて、第１の複数の交点を算出し、
    前記第１の複数の交点は四角形の原理に反すると判定し、
    前記第１の複数の交点は四角形の原理に反すると判定した後に、前記複数の群から第２の４本の線のセットを選択し、
    前記第２の４本の線のセットについて、第２の複数の交点を算出することを特徴とする請求項１６から１８のいずれか一項に記載のシステム。
20. 前記補正エンジンは、前記第２の複数の交点及び前記第２の４本の線のセットの線間の複数の距離に基づいて、前記変換を算出することを特徴とする請求項１９に記載のシステム。