JP2015135632A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】用紙を表す画像データにおいて、当該用紙に重畳された重畳用紙の領域を特定する。【解決手段】画像読取部１２は、未記入又は記入済みの用紙の画像を読み取ることで第１画像データを生成し、当該用紙と同じ形式であり重畳用紙が重畳された用紙の画像を読み取ることで第２画像データを生成する。削除差分画像生成部１８は、第１画像データと第２画像データとの差分を検出することで、第２画像データには表されていない画像であって第１画像データに表されている画像を表す削除差分画像データを生成する。領域特定部２２は、削除差分画像データに基づき、第２画像データにおいて重畳用紙が表されている領域を特定する。【選択図】図１

Description

本発明は、画像処理装置及びプログラムに関する。

紙の文書を電子化して、パーソナルコンピュータ等によって閲覧するシステムがある。例えば、紙の文書をスキャナ等の読み取り装置によって読み取ることで、電子的な画像データを生成する。このように紙の文書を電子化することで、共有性、可搬性及び検索性に優れたシステムが構築され、ユーザの利便性が向上する。

特許文献１には、複数の原本画像データと入力画像データとの差分画像をそれぞれ抽出し、差分画像の分布に基づいて、入録画像データの原本に相当する原本画像データを特定する装置が開示されている。

特許文献２には、用紙の画像データから、用紙に添付された紙付箋の輪郭を示す付箋領域を抽出し、付箋領域内の画像データに文字認識処理を施し、付箋領域内のテキストデータを抽出する装置が開示されている。

特開２０１０−１０２７３４号公報 特開２００７−４６２１号公報

ところで、医療分野においては、距離の離れた施設間や関連業種内（例えば、病院、診療所、調剤薬局、訪問看護ステーション、介護福祉施設等）において情報を共有するために、電子カルテ等の電子データが用いられる場合がある。一方で、比較的小規模の病院や診療所では、電子カルテが採用されていないことがある。また、電子カルテが採用されている医療機関であっても、すべての情報が電子化されているわけではなく、診療に必要な重要な情報が紙の文書でやり取りされていることがある。さらに、紙のままのカルテ等を利用したいニーズもある。このように、紙の文書が用いられている場合、情報共有するためには、ＦＡＸやコピーで相手方に紙の文書を送る必要があり、手間がかかる。そのため、紙の原本（例えばカルテ）を電子化し、電子化された画像データを共有サーバ等に格納することで、情報共有を図ることがある。なお、カルテ以外の情報（例えば、検査情報、看護記録、介護のメモ、処方薬情報等）についても、電子化して共有サーバ等に格納し、情報共有を図ることがある。

また、カルテには、患者の診療記録が記入されるとともに、例えば血液検査、尿検査又は生化学検査等の検査に関する検査伝票が添付されることがある。これは、例えば、検査伝票の紛失や別の場所への混入を防止しして、カルテの時系列順の記録に合わせて検査伝票を閲覧するために行われる。例えば、紙のカルテに検査伝票が貼り付けられている場合において、ある患者の、ある診察時の検査結果と過去の検査結果とを見比べる場合、過去の紙カルテを探し出して比較閲覧することになり、手間がかかる。

紙のカルテを画像データに電子化した場合には、比較対象の複数のカルテの画像を交互にディスプレイに表示して閲覧することが考えられる。この場合、交互に画像を切り替える必要があるため、紙のカルテと同様に手間がかかる。また、ディスプレイの画面を複数に分割し、複数のカルテの画像をページ単位で並べて閲覧することが考えられる。この場合、ページ単位でカルテの画像が表示されるように分割後の画面の大きさを確保する必要があるため、画面の分割数が制限されて、並べて表示されるカルテの数が制限される。このように、画面の分割数はカルテの大きさに依存して制限されるため、カルテに添付された検査伝票が比較的小型であっても、並べて表示される検査伝票の数が制限され、検査結果を比較閲覧する際の利便性が低下する。例えば、ページ単位でカルテの画像を表示するために、画面の分割数が２つに制限された場合、２つのカルテの画像のみがディスプレイに並べて表示されることになる。この場合、各カルテに添付された検査伝票がディスプレイに表示されることになるが、２つのカルテのみが表示されるので、並べて表示される検査伝票の数も２つに制限される。このように、検査伝票はカルテに比べて小型にもかかわらず、並べて表示される検査伝票の数が制限されるため、検査伝票の比較閲覧の利便性が低下する。なお、検査伝票に限らず、カルテに添付された他のメモ等についても、検査伝票と同様の問題が生じる。

本発明の目的は、用紙を表す画像データにおいて、当該用紙に重畳された重畳用紙の領域を特定することである。

請求項１に係る発明は、未記入又は記入済みの用紙の画像を読み取って生成した第１画像データと、前記用紙と同じ形式であり重畳用紙が重畳された用紙の画像を読み取って生成した第２画像データと、の差分を検出することで、前記第２画像データには表されていない画像であって前記第１画像データに表されている画像を表す削除差分画像データを生成する削除差分画像生成手段と、前記削除差分画像データに基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する領域特定手段と、を有する画像処理装置である。

請求項２に係る発明は、前記未記入の用紙及び前記記入済みの用紙には、罫線が記載されており、前記領域特定手段は、前記削除差分画像データに表されている罫線に基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する、請求項１に記載の画像処理装置である。

請求項３に係る発明は、前記未記入の用紙及び前記記入済みの用紙には、第１の方向に延在し、前記第１の方向に交差する第２の方向に沿って互いに間隔をあけて配置された複数の第１罫線と、前記第２の方向に延在して前記複数の第１罫線と交差する第２罫線と、が前記罫線として記載されており、前記領域特定手段は、前記削除差分画像データに表されている第１罫線及び第２罫線の端部を基準にして、前記第２画像データに表されている前記重畳用紙の境界を特定する、請求項２に記載の画像処理装置である。

請求項４に係る発明は、前記削除差分画像データに第１罫線が表されて第２罫線が表されていない場合、前記領域特定手段は、前記削除差分画像データに表されている第１罫線の位置から、各第１罫線の間隔の長さ分、離れた位置を、前記第２画像データにおいて前記重畳用紙が表されている領域の境界として特定する、請求項３に記載の画像処理装置である。

請求項５に係る発明は、前記第２画像データから、前記領域特定手段によって特定された前記重畳用紙の領域における画像データを抽出する抽出手段を更に有する、請求項１から請求項４のいずれか一項に記載の画像処理装置である。

請求項６に係る発明は、前記第１画像データと前記第２画像データとの差分を検出することで、前記第１画像データには表されていない画像であって前記第２画像データに表されている画像を表す追加差分画像データを生成する追加差分画像生成手段と、前記追加差分画像データから、前記領域特定手段によって特定された前記重畳用紙の領域における画像データを抽出する抽出手段と、を更に有する、請求項１から請求項４のいずれか一項に記載の画像処理装置である。

請求項７に係る発明は、前記抽出された画像データに表されている前記重畳用紙の種類を特定し、前記特定された種類に基づき、前記抽出された画像データを分類する画像分類手段を更に有する、請求項５又は請求項６に記載の画像処理装置である。

請求項８に係る発明は、前記未記入の用紙及び前記記入済みの用紙は、診療の記録を記載するための診療記録用紙であり、前記重畳用紙は、前記診療に関連する関連情報が記載された用紙である、請求項１から請求項７のいずれか一項に記載の画像処理装置である。

請求項９に係る発明は、コンピュータを、未記入又は記入済みの用紙の画像を読み取って生成した第１画像データと、前記用紙と同じ形式であり重畳用紙が重畳された用紙の画像を読み取って生成した第２画像データと、の差分を検出することで、前記第２画像データには表されていない画像であって前記第１画像データに表されている画像を表す削除差分画像データを生成する削除差分画像生成手段と、前記削除差分画像データに基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する領域特定手段と、として機能させるプログラムである。

請求項１，９に係る発明によると、用紙に重畳された重畳用紙の領域が特定される。

請求項２に係る発明によると、重畳用紙によって覆われた罫線を利用して、用紙に重畳された重畳用紙の領域が特定される。

請求項３に係る発明によると、罫線の特徴を利用して、用紙に重畳された重畳用紙の領域が特定される。

請求項４に係る発明によると、用紙に重畳された重畳用紙の領域が推定される。

請求項５，６に係る発明によると、記入済みの用紙に重畳された重畳用紙を表す画像データが得られる。

請求項７に係る発明によると、重畳用紙を表す画像データが、重畳用紙の種類毎に分類される。

請求項８に係る発明によると、診療の記録が記載された診療記録用紙から、当該診療に関連する関連情報が記載された領域が特定され、当該関連情報を表す画像データが得られる。

本発明の実施形態に係る画像処理装置の一例を示すブロック図である。 カルテ及び重畳用紙の一例を示す模式図である。 画像の一例を示す模式図である。 画像の一例を示す模式図である。 画像の一例を示す模式図である。 カルテ及び画像の一例を示す模式図である。 画像の一例を示す模式図である。 本実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 本実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 本実施形態に係る処理の適用例を説明するための図である。

図１に、本発明の実施形態に係る画像処理装置の一例を示す。本実施形態に係る画像処理装置１０は、画像読取部１２、画像記憶部１４、差分画像生成部１６、領域特定部２２、画像抽出部２４、画像分類部２６及び出力部２８を含む。差分画像生成部１６は、削除差分画像生成部１８と追加差分画像生成部２０とを含む。なお、画像処理装置１０は、ネットワーク等の通信経路を介して、図示しないサーバや端末装置等の外部装置に接続されて、画像データ等の各種のデータを外部装置に送信したり、データを外部装置から受信したりする機能を備えていてもよい。

まず、図２を参照して、本実施形態で取り扱われる用紙の一例について説明する。図２には、病院等の医療機関にて用いられる紙のカルテの一例が模式的に示されている。

図２（ａ）には、未記入状態の紙のカルテ１００が示されている。このカルテ１００は、予め決定されたフォーマットに従って作成されており、カルテ１００には罫線１０２，１０４が予め印刷等によって記載されている。例えば、複数の罫線１０２が、カルテ１００の横方向（左右方向、第１の方向）に延在するとともに、カルテ１００の縦方向（上下方向、第２の方向）に沿って互いに間隔をあけて記載されている。また、罫線１０４が、複数の罫線１０２と交差して縦方向（上下方向、第２の方向）に延在して記載されている。このカルテ１００は、一例としてカルテ２号用紙に相当するが、他のフォーマットのカルテが用いられてもよい。例えば、複数の罫線１０４が、横方向（左右方向）に沿って互いに間隔をあけて記載されていてもよい。

図２（ｂ）には、記入済み状態の紙のカルテ１００が示されている。例えば医師によってカルテ１００に文字列（図中の「・・・・」）、図及び表等が記入されたり、医師や検査技師や看護師等によって、重畳用紙１１０がカルテ１００に貼り付けられたりする。この重畳用紙１１０はカルテ１００よりも小型であり、例えば、のり付け等によってカルテ１００に貼り付けられる。一例として、重畳用紙１１０の形状は矩形である。この重畳用紙１１０は、例えば、検査伝票、看護記録、介護メモ又は処方薬帳票等である。検査伝票には、例えば、血液検査や尿検査や生化学検査等の各種検査の結果が記されている。このように重畳用紙１１０がカルテ１００に貼り付けられると、カルテ１００において重畳用紙１１０が貼り付けられた箇所は、重畳用紙１１０によって覆われた状態となる。図２（ｂ）に示す例では、重畳用紙１１０によって、その重畳用紙１１０の下にある罫線１０２，１０４が覆われた状態となる。

図１に戻って説明すると、画像読取部１２は、スキャナやデジタルカメラ等の画像読取装置であり、用紙上の画像を読み取ることで、電子的な画像データを生成する。画像記憶部１４は、画像読取部１２によって生成された画像データを記憶する。

本実施形態では、画像読取部１２は、図２（ａ）に示す未記入状態のカルテ１００の画像を読み取ることで、未記入状態のカルテ１００を表す画像データ（以下、「カルテフォーマット画像データ」と称する）を生成する。また、画像読取部１２は、記入済み状態のカルテ１００の画像を読み取ることで、記入済み状態のカルテ１００を表す画像データ（以下、「カルテ画像データ」と称する）を生成する。画像読取部１２は、例えば図２（ｂ）に示すように重畳用紙１１０が添付された状態のカルテ１００の画像を読み取って、カルテ画像データを生成する。

なお、画像読取部１２によって生成されたカルテ画像データには、例えば図示しない制御部によって、患者の氏名や患者ＩＤ等の患者識別情報や、診察等のイベントの発生日時等を示す情報が付帯される。例えば、画像記憶部１４において、患者毎及びイベント毎にフォルダが作成され、各フォルダにカルテ画像データが格納される。また、カルテ画像データは、ネットワーク等の通信経路を介して画像処理装置１０からサーバ等の外部装置に送信され、その外部装置に格納されてもよい。カルテ画像データは、様々な職種のユーザによって閲覧される状態におかれてもよい。例えば、医師、看護師及び薬剤師等が、それぞれの権限に応じてカルテ画像データを閲覧してもよい。

削除差分画像生成部１８は、未記入状態のカルテ１００を表すカルテフォーマット画像データと、記入済み状態のカルテ１００を表すカルテ画像データと、の差分を検出し、カルテフォーマット画像データに表されている画像であってカルテ画像データには表されていない画像を表す削除差分画像データを生成する。すなわち、削除差分画像生成部１８は、カルテフォーマット画像データとカルテ画像データとを対比し、カルテ画像データにおいて、カルテフォーマット画像データから削除されている部分の画像データ（削除差分画像データ）を抽出する。本実施形態では、削除差分画像生成部１８は、重畳用紙１１０によって覆われた部分（罫線１０２，１０４）を表す削除差分画像データを生成する。

追加差分画像生成部２０は、未記入状態のカルテ１００を表すカルテフォーマット画像データと、記入済み状態のカルテ１００を表すカルテ画像データと、の差分を検出し、カルテフォーマット画像データには表されていない画像であってカルテ画像データには表されている画像を表す追加差分画像データを生成する。すなわち、追加差分画像生成部２０は、カルテフォーマット画像データに対して追加された部分の画像データ（追加差分画像データ）を抽出する。

領域特定部２２は、削除差分画像生成部１８によって生成された削除差分画像データに基づいて、記入済み状態のカルテ１００に添付された重畳用紙１１０の領域を特定する。すなわち、領域特定部２２は、カルテ画像データ又は追加差分画像データに表されている重畳用紙１１０の領域を特定する。

ここで、図３に示す具体例を挙げて、削除差分画像生成部１８、追加差分画像生成部２０及び領域特定部２２の処理について説明する。図３（ａ）には、画像読取部１２によって生成されたカルテフォーマット画像データ２００の一例が示されており、図３（ｂ）には、画像読取部１２によって生成されたカルテ画像データ２１０の一例が示されている。

追加差分画像生成部２０は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出し、図３（ｃ）に示すように、カルテフォーマット画像データ２００に対して追加された部分を表す追加差分画像データ２２０を生成する。この追加差分画像データ２２０は、カルテフォーマット画像データ２００に対して追加された部分を表す画像データであるため、追加差分画像データ２２０には、カルテフォーマット画像データ２００に表されている罫線１０２，１０４は表されておらず、カルテ１００に記入された文字列や添付された重畳用紙１１０が表されている。

削除差分画像生成部１８は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出し、図３（ｄ）に示すように、カルテ画像データ２１０において、カルテフォーマット画像データ２００から削除されている部分を表す削除差分画像データ２３０を生成する。例えば図２（ｂ）に示すように、カルテ１００に重畳用紙１１０が貼り付けられると、その重畳用紙１１０の下にある罫線１０２，１０４は覆われるため、図３（ｂ）に示すように、カルテ画像データ２１０には、重畳用紙１１０によって覆われた部分の罫線１０２，１０４は表されない。削除差分画像生成部１８は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出し、カルテフォーマット画像データ２００には表されている画像であってカルテ画像データ２１０には表されていない画像を検出することで、図３（ｄ）に示すように、重畳用紙１１０によって覆われた部分の罫線１０２ａ，１０４ａが表された削除差分画像データ２３０を生成する。

領域特定部２２は、削除差分画像データ２３０に表された罫線を利用することで、カルテ画像データ２１０において重畳用紙１１０が表されている領域（以下、「重畳用紙領域」と称する）の位置を特定する。すなわち、領域特定部２２は、カルテ１００において重畳用紙１１０が貼り付けられた位置を特定する。例えば、領域特定部２２は、削除差分画像データに表された罫線１０２ａ，１０４ａのそれぞれの端部を基準にして、重畳用紙領域の輪郭を特定する。一例として、領域特定部２２は、削除差分画像データ２３０において横方向（左右方向）に延在する各罫線１０２ａの左右の端部の位置を検出し、縦方向（上下方向）に延在する罫線１０４ａの上下の端部の位置を検出する。そして、領域特定部２２は、各罫線１０２ａの左端部を通り罫線１０４（又は罫線１０４ａ）に平行な線分を、重畳用紙領域の左側の辺として定義し、各罫線１０２ａの右端部を通り罫線１０４（又は罫線１０４ａ）に平行な線分を、重畳用紙領域の右側の辺として定義する。また、領域特定部２２は、罫線１０４ａの上端部を通り罫線１０２（又は罫線１０２ａ）に平行な線分を、重畳用紙領域の上側の辺として定義し、罫線１０４ａの下端部を通り罫線１０２（又は罫線１０２ａ）に平行な線分を、重畳用紙領域の下側の辺として定義する。そして、領域特定部２２は、左側の辺、右側の辺、上側の辺及び下側の辺を、重畳用紙領域の境界として定義し、左側の辺、右側の辺、上側の辺及び下側の辺によって囲まれた領域を、重畳用紙領域として定義する。図３（ｅ）に、領域特定部２２によって特定された重畳用紙領域２４０の一例を示す。一例として、重畳用紙１１０の形状は矩形であるため、重畳用紙領域２４０の形状は矩形となる。

ここで、図４を参照して、重畳用紙領域２４０を特定するための別の例について説明する。まず、領域特定部２２は、図４に示すように、カルテフォーマット画像データ２００に表された罫線１０２，１０４に、削除差分画像データ２３０に表された罫線１０２ａ，１０４ａ（図４中の太線）を重畳させる。そして、領域特定部２２は、カルテフォーマット画像データ２００に表された罫線１０２，１０４と、削除差分画像データ２３０に表された罫線１０２ａ，１０４ａと、の位置を比較し、罫線１０２ａ，１０４ａの端部に隣接する位置を、重畳用紙領域の辺（境界）の位置として特定する。例えば、領域特定部２２は、カルテフォーマット画像データ２００に表された罫線１０２において、削除差分画像データ２３０に表された横方向の罫線１０２ａの左端部２３２に隣接する位置を、重畳用紙領域の左側の辺の位置として特定する。図４に示す例では、罫線１０２ａの左端部２３２の位置が、重畳用紙領域の左側の辺の位置に該当する。また、領域特定部２２は、カルテフォーマット画像データ２００に表された罫線１０２において、削除差分画像データ２３０に表された横方向の罫線１０２ａの右端部２３４に隣接する位置を、重畳用紙領域の右側の辺の位置として特定する。図４に示す例では、罫線１０２ａの右端部２３４の位置が、重畳用紙領域の右側の辺の位置に該当する。また、領域特定部２２は、カルテフォーマット画像データ２００に表された罫線１０４において、削除差分画像データ２３０に表された縦方向の罫線１０４ａの上端部２３６に隣接する位置を、重畳用紙領域の上側の辺の位置として特定する。図４に示す例では、罫線１０４ａの上端部２３６の位置が、重畳用紙領域の上側の辺の位置に該当する。また、領域特定部２２は、カルテフォーマット画像データ２００に表された罫線１０４において、削除差分画像データ２３０に表された縦方向の罫線１０４ａの下端部２３８に隣接する位置を、重畳用紙領域の下側の辺の位置として特定する。図４に示す例では、罫線１０４ａの下端部２３８の位置が、重畳用紙領域の下側の辺の位置に該当する。領域特定部２２は、左側の辺、右側の辺、上側の辺及び下側の辺によって囲まれた領域を、重畳用紙領域として定義する。このように重畳用紙領域を特定することで、削除差分画像データ２３０に表された罫線１０２ａ，１０４ａのそれぞれの端部が、カルテ１００の罫線１０２，１０４のそれぞれの端部に対応するのか、それとも、罫線１０２，１０４の途中の位置に対応するのかが特定される。なお、重畳用紙領域２４０を特定するための例は、上記に説明したものに限られない。例えば、図３（ｄ）に示した削除差分画像データ２３０に外接する矩形領域を求め、その矩形領域を重畳用紙領域２４０として特定するようにしてもよい。

画像抽出部２４は、領域特定部２２によって特定された重畳用紙領域２４０の位置に基づいて、カルテ画像データ２１０又は追加差分画像データ２２０における重畳用紙領域２４０の位置を特定し、カルテ画像データ２１０又は追加差分画像データ２２０から、重畳用紙領域２４０における画像データを抽出する。例えば、画像抽出部２４は、図５（ａ）に示す追加差分画像データ２２０から、図５（ｂ）に示す重畳用紙領域２４０における画像データを抽出する。これにより、図５（ｃ）に示すように、重畳用紙１１０が表された重畳用紙画像データ３００が生成される。なお、画像抽出部２４は、重畳用紙画像データ３００に、カルテ画像データ２１０に付帯されている付帯情報（例えば患者情報やイベントに関する情報）を付帯させてもよい。

ここで、図６及び図７を参照して、削除差分画像データ２３０の別の例について説明する。例えば、図６（ａ）に示すように、カルテ１００における重畳用紙１１０の添付位置によっては、縦方向（上下方向）に延在する罫線１０４が重畳用紙１１０によって覆われない場合がある。この場合、例えば図６（ｂ）に示すように、削除差分画像データ２３０には、重畳用紙１１０によって覆われた部分の罫線１０２ａのみが表され、罫線１０４は表されない。このように、縦方向（上下方向）に延在する罫線１０４が削除差分画像データ２３０に表されていない場合、図６（ｃ）に示すように、複数の罫線１０２ａのうちの最上部の罫線１０２ａの位置を、重畳用紙領域２４０の上側の辺として定義し、複数の罫線１０２ａのうちの最下部の罫線１０２ａの位置を、重畳用紙領域２４０の下側の辺として定義すると、重畳用紙領域２４０が、カルテ１００に実際に添付された重畳用紙１１０よりも狭くなる場合がある。例えば図６（ａ）に示すように、重畳用紙１１０が罫線１０２を跨いでカルテ１００に貼り付けられると、重畳用紙領域２４０が、重畳用紙１１０よりも狭くなる。このようにして得られた重畳用紙領域２４０を用いて重畳用紙画像データを抽出すると、その重畳用紙画像データには、重畳用紙１１０の全体が表されないことになる。

そこで、本実施形態では、領域特定部２２は、削除差分画像データ２３０に表された複数の罫線１０２ａとカルテフォーマット画像データ２００に表された罫線１０２とを用いて、重畳用紙１１０の全体が含まれる大きさの重畳用紙領域２４０を定義する。この処理について図７を参照して説明する。例えば図７（ａ）に示すように、削除差分画像データ２３０に、横方向（左右方向）に延在する複数の罫線１０２ａが表されており、縦方向（上下方向）に延在する罫線１０４ａが表されていないものとする。なお、重畳用紙１１０を一点鎖線で示す。この場合、領域特定部２２は、図７（ｂ）に示すように、カルテフォーマット画像データ２００に表された罫線１０２，１０４に、削除差分画像データ２３０に表された罫線１０２ａを重畳させる。そして、領域特定部２２は、複数の罫線１０２ａのうちの最上部の罫線１０２ａよりも１つ上の罫線１０２の位置を、重畳用紙領域２４０の上側の辺として定義し、複数の罫線１０２ａのうちの最下部の罫線１０２ａよりも１つ下の罫線１０２の位置を、重畳用紙領域２４０の下側の辺として定義する。これにより、上下方向に拡大された重畳用紙領域２４０（図７（ｂ）中の破線）が定義される。この重畳用紙領域２４０は、カルテ１００に実際に添付された重畳用紙１１０よりも上下方向に広くなっており、この重畳用紙領域２４０を用いて抽出された重畳用紙画像データには、重畳用紙１１０の全体が表されることになる。また、拡大する範囲は、上下合わせても２本分の罫線１０２の間隔であるため、重畳用紙領域２４０の不要な拡大が防止される。従って、拡大された重畳用紙領域２４０を用いた場合であっても、重畳用紙１１０の周辺が除かれた重畳用紙画像データが抽出される。なお、重畳用紙領域２４０の左右の辺については、図３（ｅ）又は図４を参照して説明した方法によって特定すればよい。

なお、領域特定部２２は、削除差分画像データ２３０とカルテフォーマット画像データ２００とを重畳せずに、削除差分画像データ２３０に表された複数の罫線１０２ａのうちの最上部の罫線１０２ａから、各罫線１０２の間隔の長さ分、上側に離れた位置を、重畳用紙領域２４０の上側の辺として定義してもよい。同様に、領域特定部２２は、削除差分画像データ２３０に表された複数の罫線１０２ａのうちの最下部の罫線１０２ａから、各罫線１０２の間隔の長さ分、下側に離れた位置を、重畳用紙領域２４０の下側の辺として定義してもよい。

図１に戻って説明すると、画像分類部２６は、画像抽出部２４によって抽出された重畳用紙画像データ３００を、予め設定された基準に従って分類する。例えば、検査伝票、看護記録、介護メモ及び処方薬帳票によって、大きさ、色、形状及び特徴が異なるため、画像分類部２６は、重畳用紙画像データ３００に表された重畳用紙１１０の大きさ、色、形状及び特徴に基づいて、重畳用紙１１０の種類を特定し、重畳用紙画像データ３００を、同一種類の画像群に分類する。また、画像分類部２６は、複数の重畳用紙画像データ３００の類似度を求め、類似度が予め設定された閾値以上となる重畳用紙画像データ３００を同一種類に分類してもよい。また、画像分類部２６は、重畳用紙画像データ３００に付帯されている付帯情報に基づいて、重畳用紙画像データ３００を分類してもよい。例えば、画像分類部２６は、同一の患者情報が付帯されている重畳用紙画像データ３００を同一種類に分類してもよいし、イベント発生日時が同一の重畳用紙画像データ３００を同一種類に分類してもよい。

出力部２８は、画像データを出力する。例えば、出力部２８はディスプレイを備え、画像を表示する。一例として、出力部２８は、重畳用紙画像データ３００を表示する。また。出力部２８は、カルテ画像データ２１０を表示してもよいし、カルテ画像データ２１０に削除差分画像データ２３０を重畳させて表示してもよい。カルテ画像データ２１０に削除差分画像データ２３０を重畳させることで、重畳用紙１１０が添付されていない記入済みのカルテ１００の画像データが得られる。なお、出力部２８は、ネットワーク等の通信経路を介して、画像データを外部装置に送信してもよい。

次に、図８に示すフローチャートを参照して、重畳用紙領域を特定するための処理について説明する。まず、未記入状態のカルテ１００のフォーマットを登録する（Ｓ０１）。具体的には、画像読取部１２によって、図２（ａ）に示す未記入状態のカルテ１００の画像を読み取ることで、図３（ａ）に示すカルテフォーマット画像データ２００を生成する。このカルテフォーマット画像データ２００は、画像記憶部１４に記憶される。なお、同一フォーマットのカルテ１００が使用される場合には、カルテフォーマット画像データ２００を一度登録しておけばよく、差分処理を行う度に改めにカルテフォーマット画像データ２００を登録しなくてもよい。

次に、記入済み状態のカルテ１００を登録する（Ｓ０２）。具体的には、画像読取部１２によって、図２（ｂ）に示す記入済み状態のカルテ１００の画像を読み取ることで、図３（ｂ）に示すカルテ画像データ２１０を生成する。記入済み状態のカルテ１００には重畳用紙１１０が添付されているため、カルテ画像データ２１０には、その重畳用紙１１０が表されている。

そして、差分画像生成部１６は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出する（Ｓ０３）。具体的に、削除差分画像生成部１８は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出し、図３（ｄ）に示すように、重畳用紙１１０によって覆われた部分の罫線１０２ａ，１０４ａが表された削除差分画像データ２３０を生成する。また、追加差分画像生成部２０は、カルテフォーマット画像データ２００とカルテ画像データ２１０との差分を検出し、図３（ｃ）に示すように、カルテフォーマット画像データ２００に対して追加された部分を表す追加差分画像データ２２０を生成する。

そして、領域特定部２２は、図３（ｄ）及び（ｅ）に示すように、削除差分画像データ２３０に表された罫線１０２ａ，１０４ａを利用することで、カルテ画像データ２１０において重畳用紙１１０が表された領域（重畳用紙領域２４０）の位置を特定する（Ｓ０４）。

次に、図９に示すフローチャートを参照して、重畳用紙画像データを抽出するための処理について説明する。まず、画像抽出部２４は、図５（ａ）に示す追加差分画像データ２２０から、図５（ｂ）に示す重畳用紙領域２４０における画像データを抽出することで、図５（ｃ）に示す重畳用紙画像データ３００を生成する（Ｓ１０）。そして、画像分類部２６は、重畳用紙画像データ３００に表された重畳用紙の大きさ、色、形状及び特徴に基づいて、重畳用紙画像データ３００を分類する（Ｓ１１）。これにより、分類結果４００が得られる。

以上のように、重畳用紙１１０によって覆われた罫線１０２，１０４を利用することで、カルテ画像データ２１０に表された重畳用紙１１０の領域（重畳用紙領域）を特定することができる。この重畳用紙領域を用いて抽出された重畳用紙画像データ３００は、カルテ画像データ２１０から分離された画像データであり、重畳用紙１１０の周辺領域は表されていない。そのため、カルテ１００の全体を表すカルテ画像データ２１０と比較して、重畳用紙画像データ３００の方が、重畳用紙１１０を閲覧するのに適している。例えば、重畳用紙１１０はカルテ１００よりも小型であるため、カルテ画像データ２１０よりも、重畳用紙画像データ３００の方が、ディスプレイにおける表示領域が小さくて済む。そのため、カルテ画像データ２１０よりも、より多くの数の重畳用紙画像データ３００がディスプレイに並べて表示され得るため、カルテ画像データ２１０を用いるよりも、重畳用紙画像データ３００を用いる方が、複数の重畳用紙１１０の比較閲覧が容易となる。また、重畳用紙画像データ３００は、カルテ画像データ２１０から分離することができるため、カルテ１００の全体を表すカルテ画像データ２１０を用いる場合と比較して、重畳用紙の分類が容易となる。

次に、図１０を参照して、本実施形態の適用例について説明する。図１０に示すカルテ画像データ５１０〜５４０は、それぞれ異なる日に記入されたカルテ１００を表す画像データである。例えば、カルテ画像データ５１０は、１０月５日に記入されたカルテ１００を表す画像データである。１０月５日付けのカルテ１００には、検査伝票６１０が貼り付けられており、カルテ画像データ５１０には、検査伝票６１０が表されている。カルテ画像データ５２０は、１１月１１日に記入されたカルテ１００を表す画像データである。１１月１１日付けのカルテ１００には、検査伝票６２０と看護記録７２０とが貼り付けられており、カルテ画像データ５２０には、検査伝票６２０と看護記録７２０とが表されている。カルテ画像データ５３０は、１１月２０日に記入されたカルテ１００を表す画像データである。１１月２０日付けのカルテ１００には、検査伝票６３０と看護記録７３０とが貼り付けられており、カルテ画像データ５３０には、検査伝票６３０と看護記録７３０とが表されている。カルテ画像データ５４０は、１２月６日に記入されたカルテ１００を表す画像データである。１２月６日付けのカルテ１００には、検査伝票６４０が貼り付けられており、カルテ画像データ５４０には、検査伝票６４０が表されている。このように、各日付のカルテ１００には、検査伝票及び看護記録のうちの少なくとも一方が重畳用紙として添付されている。

上記のような一群のカルテ画像データ５１０〜５４０を対象にして本実施形態に係る処理を適用すると、カルテ画像データ５１０〜５４０のそれぞれから重畳用紙（検査伝票及び看護記録のうちの少なくとも一方）を表す重畳用紙画像データが抽出される。例えば、カルテ画像データ５１０から、検査伝票６１０を表す検査伝票画像データ（重畳用紙画像データの一例）が抽出される。また、カルテ画像データ５２０から、検査伝票６２０を表す検査伝票画像データと看護記録７２０を表す看護記録画像データ（重畳用紙画像データの一例）とが抽出される。また、カルテ画像データ５３０から、検査伝票６３０を表す検査伝票画像データと看護記録７３０を表す看護記録画像データとが抽出される。また、カルテ画像データ５４０から、検査伝票６４０を表す検査伝票画像データが抽出される。

そして、画像分類部２６は、各重畳用紙画像データの大きさ、色、形状及び特徴に基づいて、各重畳用紙画像データを分類する。例えば、検査伝票６１０〜６４０のそれぞれを表す検査伝票画像データは、検査伝票を表す画像データであるため、同一種類としてグループＡに分類され、看護記録７２０，７３０のそれぞれを表す看護記録画像データは、看護記録を表す画像データであるため、同一種類としてグループＢに分類される。

例えば、出力部２８は、同一グループに分類された画像データを表示する。図１０に示す例では、出力部２８は、グループＡに分類された検査伝票６１０〜６４０のそれぞれを表す検査伝票画像データを並べて表示し、グループＢに分類された看護記録７２０，７３０のそれぞれを表す看護記録画像データを並べて表示する。これにより、複数の検査伝票（検査伝票６１０〜６４０）を比較して閲覧し得る状態となる。同様に、複数の看護記録（看護記録７２０，７３０）を比較して閲覧し得る状態となる。

検査伝票６１０〜６４０は、カルテ１００と比べて小型であるため、カルテ画像データ５１０〜５４０を並べて表示する場合と比較して、より多くの検査伝票画像データが並べて表示され、検査伝票６１０〜６４０の比較閲覧が容易になる。看護記録７２０，７３０についても同様である。また、検査伝票６１０〜６４０及び看護記録７２０，７３０は、それぞれカルテ画像データ５１０〜５４０から分離されているため、同一種類の画像の分類が容易となる。すなわち、検査伝票６１０〜６４０をそれぞれ表す検査伝票画像データと、看護記録７２０，７３０をそれぞれ表す看護記録画像データと、の分類が容易となり、同一種類の重畳用紙の比較が容易となる。

以上、未記入状態のカルテに対応するカルテフォーマット画像データを基準に、カルテのカルテ画像データとの差分画像を求めて重畳用紙領域を特定することについて説明したが、重畳用紙が貼り付けられたことにより削除されるカルテの罫線が差分画像として抽出することができるのであれば、未記入状態のカルテ（カルテフォーマット画像データ）に限らず、他の画像データを、重畳用紙が貼り付けられたカルテのカルテ画像データから差分画像を求める際の基準として用いることができる。例えば、当該他の画像データとして、重畳用紙が貼り付けられるより前のカルテ画像データを用いることができる。すなわち、重畳用紙が貼り付けられる前のカルテ画像データと、重畳用紙が貼り付けられたカルテのカルテ画像データと、の差分画像を求め、その差分画像に基づいて、重畳用紙領域を特定することができる。

上述した画像処理装置１０は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、画像処理装置１０は、図示しないＣＰＵ等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、削除差分画像生成部１８、追加差分画像生成部２０、領域特定部２２、画像抽出部２４及び画像分類部２６のそれぞれの機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記憶媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。

１０ 画像処理装置、１２ 画像読取部、１４ 画像記憶部、１６ 差分画像生成部、１８ 削除差分画像生成部、２０ 追加差分画像生成部、２２ 領域特定部、２４ 画像抽出部、２６ 画像分類部、２８ 出力部。

Claims (9)

1. 未記入又は記入済みの用紙の画像を読み取って生成した第１画像データと、前記用紙と同じ形式であり重畳用紙が重畳された用紙の画像を読み取って生成した第２画像データと、の差分を検出することで、前記第２画像データには表されていない画像であって前記第１画像データに表されている画像を表す削除差分画像データを生成する削除差分画像生成手段と、
   前記削除差分画像データに基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する領域特定手段と、
   を有する画像処理装置。
2. 前記未記入の用紙及び前記記入済みの用紙には、罫線が記載されており、
   前記領域特定手段は、前記削除差分画像データに表されている罫線に基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する、
   請求項１に記載の画像処理装置。
3. 前記未記入の用紙及び前記記入済みの用紙には、第１の方向に延在し、前記第１の方向に交差する第２の方向に沿って互いに間隔をあけて配置された複数の第１罫線と、前記第２の方向に延在して前記複数の第１罫線と交差する第２罫線と、が前記罫線として記載されており、
   前記領域特定手段は、前記削除差分画像データに表されている第１罫線及び第２罫線の端部を基準にして、前記第２画像データに表されている前記重畳用紙の境界を特定する、
   請求項２に記載の画像処理装置。
4. 前記削除差分画像データに第１罫線が表されて第２罫線が表されていない場合、前記領域特定手段は、前記削除差分画像データに表されている第１罫線の位置から、各第１罫線の間隔の長さ分、離れた位置を、前記第２画像データにおいて前記重畳用紙が表されている領域の境界として特定する、
   請求項３に記載の画像処理装置。
5. 前記第２画像データから、前記領域特定手段によって特定された前記重畳用紙の領域における画像データを抽出する抽出手段を更に有する、
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記第１画像データと前記第２画像データとの差分を検出することで、前記第１画像データには表されていない画像であって前記第２画像データに表されている画像を表す追加差分画像データを生成する追加差分画像生成手段と、
   前記追加差分画像データから、前記領域特定手段によって特定された前記重畳用紙の領域における画像データを抽出する抽出手段と、を更に有する、
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
7. 前記抽出された画像データに表されている前記重畳用紙の種類を特定し、前記特定された種類に基づき、前記抽出された画像データを分類する画像分類手段を更に有する、
   請求項５又は請求項６に記載の画像処理装置。
8. 前記未記入の用紙及び前記記入済みの用紙は、診療の記録を記載するための診療記録用紙であり、
   前記重畳用紙は、前記診療に関連する関連情報が記載された用紙である、
   請求項１から請求項７のいずれか一項に記載の画像処理装置。
9. コンピュータを、
   未記入又は記入済みの用紙の画像を読み取って生成した第１画像データと、前記用紙と同じ形式であり重畳用紙が重畳された用紙の画像を読み取って生成した第２画像データと、の差分を検出することで、前記第２画像データには表されていない画像であって前記第１画像データに表されている画像を表す削除差分画像データを生成する削除差分画像生成手段と、
   前記削除差分画像データに基づき、前記第２画像データにおいて前記重畳用紙が表されている領域を特定する領域特定手段と、
   として機能させるプログラム。

Images