JP2019211811A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】表記規則となる注目画像を利用して抽出された画像部分を対象とする変換処理を実現する。【解決手段】参照領域特定部１２０は、画像データ内で表記規則として利用される注目画像を含む参照領域を特定する。注目画像決定部１３０は、特定された参照領域内で変換対象の注目画像を決定する。変換対象抽出部１４０は、画像データ内で変換対象の注目画像に対応した画像内容の画像部分を抽出する。そして、変換処理部１５０は、画像データに対して、変換対象抽出部１４０によって抽出された画像部分を対象とする変換処理を実行する。【選択図】図１

Description

本発明は、画像処理装置およびプログラムに関する。

特許文献１には、経路情報とランドマーク情報と色情報と特定情報を用いて地図を印刷する際、色覚障害を招く可能性のある色彩及び特定情報を、色覚障害の有無に係わりなく地図内容を認識可能な色彩及び特定情報に変換して印刷する印刷方法が記載されている。

また、特許文献２には、視覚障害内容を判定するための質問に対する使用者からの回答に基づいてその使用者が判読できる表示仕様を選定し、その表示仕様で表示情報を表示する視覚障害支援システムが記載されている。

そして、特許文献３には、２次元画像を構成するオブジェクトごとにその色に応じた奥行き位置を与えて３次元表示装置に表示させることにより、色覚異常者にとって見えにくい色の違いを強調して表現する情報強調表示方法が記載されている。

特開２００４−３６１８５７号公報 特許第５５７７２３４号公報 特開２００８−２８１５９９号公報

特許文献１から３に記載されるように、従来から例えば色覚障害などの支援を目的とした技術が提案されている。色覚障害に限らず人によって問題となる障害は様々であるが、例えば利用者の障害に応じた画像の変換処理などを実現することは容易ではない。また、障害の有無に関わらず、変換処理の対象となる所望の画像部分を容易に抽出できる技術の登場が期待される。

本発明の目的は、表記規則となる注目画像を利用して抽出された画像部分を対象とする変換処理を実現することにある。

請求項１に係る発明は、画像データ内で表記規則として利用される注目画像を含む参照領域を特定する特定手段と、前記参照領域内で変換対象の注目画像を決定する決定手段と、前記画像データ内で前記変換対象の注目画像に対応した画像内容の画像部分を抽出する抽出手段と、前記画像データに対して前記画像部分を対象とする変換処理を実行する変換手段と、を有する画像処理装置である。

請求項２に係る発明は、請求項１に記載の画像処理装置において、前記特定手段は、前記画像データ内において、予め定められた参照画像パターンに対応した画像パターンの注目画像を含む領域を前記参照領域とすることを特徴とする画像処理装置である。

請求項３に係る発明は、請求項１または２に記載の画像処理装置において、前記抽出手段は、前記変換対象の注目画像に対応した色を含む画像箇所を前記画像部分として抽出することを特徴とする画像処理装置である。

請求項４に係る発明は、請求項１から３のいずれか１項に記載の画像処理装置において、前記抽出手段は、前記変換対象の注目画像に対応した文字を含む画像箇所を前記画像部分として抽出することを特徴とする画像処理装置である。

請求項５に係る発明は、コンピュータに、画像データ内で表記規則として利用される注目画像を含む参照領域を特定する機能と、前記参照領域内で変換対象の注目画像を決定する機能と、前記画像データ内で前記変換対象の注目画像に対応した画像内容の画像部分を抽出する機能と、前記画像データに対して前記画像部分を対象とする変換処理を実行する機能と、を実現させるプログラムである。

請求項１に係る発明により、表記規則となる注目画像を利用して抽出された画像部分を対象とする変換処理が実現される。

請求項２に係る発明により、予め定められた画像パターンに対応した注目画像を含む参照領域が特定される。

請求項３に係る発明により、変換対象の注目画像に対応した色を含む画像部分が抽出される。

請求項４に係る発明により、変換対象の注目画像に対応した文字を含む画像部分が抽出される。

請求項５に係る発明により、表記規則となる注目画像を利用して抽出された画像部分を対象とする変換処理を実現するプログラムが提供される。

画像処理装置の具体例を示す図である。 画像処理装置が実行する処理の具体例を示す図である。 画像処理装置が処理対象とする画像データの具体例を示す図である。 凡例領域の指定から変換対象の決定までの処理の具体例を示す図である。 変換対象となる画像部分の具体例を示す図である。 変換処理の内容（変換内容）の具体例を示す図である。 変換処理部による変換処理の具体例を示す図である。 変換内容の指定に係る具体例を示す図である。

図１は、本発明の具体的な実施態様の一例を示す図である。図１には、画像処理装置１００の具体例が図示されている。図１に示す具体例において、画像処理装置１００は、画像データ取得部１１０と参照領域特定部１２０と注目画像決定部１３０と変換対象抽出部１４０と変換処理部１５０と表示部１６０を備えている。

画像データ取得部１１０は、画像処理装置１００が処理対象とする画像データ（文字や数字や記号のみの画像に関する画像データを含む）を取得する。画像データ取得部１１０は、例えばスキャナなどにより画像をスキャン処理することにより得られる画像データを取得する。そのスキャン処理は、画像処理装置１００が実行してもよいし、画像処理装置１００とは異なる外部装置が実行してもよい。

また、画像データ取得部１１０は、例えば通信回線（通信ネットワーク）等を介してコンピュータ等の外部の装置から画像データを取得してもよいし、光ディスクや半導体メモリやカードメモリ等の記憶媒体からデータを読み取るデバイスを介して画像データを取得してもよい。なお、画像処理装置１００に既に記憶されている画像データが利用されてもよい。

参照領域特定部１２０は、画像データ内で表記規則として利用される注目画像を含む参照領域を特定する。表記規則は、画像データ内における表記上の規則（ルール）である。例えば、画像データ内で同一（又は同種類）の情報に対応した複数の画像部分が同一態様（同一色、同一線種、同一フォント、同一記号など）で表記され、表記の態様とその表記が示す情報との対応関係などが表記規則として定められる。例えば、表記規則の具体例には、地図や路線図などに含まれる凡例などが含まれる。

注目画像決定部１３０は、参照領域特定部１２０によって特定された参照領域内で変換対象の注目画像を決定する。また、変換対象抽出部１４０は、画像データ内で変換対象の注目画像に対応した画像内容の画像部分を抽出する。さらに、変換処理部１５０は、画像データに対して、変換対象抽出部１４０によって抽出された画像部分を対象とする変換処理を実行する。そして、表示部１６０は、変換処理部１５０による変換処理後の画像データに対応した画像などを表示する。

図１に例示する画像処理装置１００の具体例の一つが印刷機能とスキャナ機能とコピー機能などの複数の画像出力機能を備えた複合型の装置である。例えば、画像処理装置１００が複合型の装置であれば、企業や学校などに設置されてその企業や学校の顧客に利用されてもよいし、コンビニエンスストアなどの店舗に設置されて不特定多数の顧客に利用されてもよい。

また、図１に例示する画像処理装置１００は、例えば、ユーザが利用するユーザ装置（ユーザ端末）であってもよい。ユーザ装置の具体例には、コンピュータやスマートフォンやタブレットなどの情報処理装置（情報処理端末）が含まれる。

なお、図１に例示する画像処理装置１００を例えばコンピュータ（スマートフォンやタブレットなどの情報処理装置でもよい）を利用して実現する場合には、そのコンピュータは、ＣＰＵ等の演算デバイス、メモリやハードディスク等の記憶デバイス、インターネット等の通信回線を利用する通信デバイス、光ディスクや半導体メモリやカードメモリ等の記憶媒体からデータを読み取りデータを書き込むデバイス、ディスプレイ等の表示デバイス、ユーザから操作を受け付ける操作デバイス等のハードウェア資源を備えている。

そして、例えば、図１に示す画像処理装置１００が備える符号を付した複数部分のうちの少なくとも一部の機能に対応したプログラム（ソフトウェア）がコンピュータに読み込まれ、そのコンピュータが備えるハードウェア資源と読み込まれたソフトウェアとの協働により、画像処理装置１００が備える少なくとも一部の機能がコンピュータにより実現される。そのプログラムは、例えば、インターネット等の通信回線を介してコンピュータ（画像処理装置１００）に提供されてもよいし、光ディスクや半導体メモリやカードメモリ等の記憶媒体に記憶されてコンピュータ（画像処理装置１００）に提供されてもよい。

図１に示す画像処理装置１００の全体構成は以上のとおりである。次に、図１の画像処理装置１００により実現される処理等について詳述する。なお、図１に示した構成（部分）については以下の説明において図１の符号を利用する。

図２は、画像処理装置１００が実行する処理の具体例を示す図（フローチャート）である。図２には、画像データ取得部１１０が取得した画像データを対象とした処理の具体例が図示されている。

図２に示す具体例では、まず、画像データ内で参照領域が特定される（Ｓ２０１）。参照領域特定部１２０は、画像データ内で表記規則として利用される注目画像を含む参照領域を特定する。次に、変換対象となる注目画像が決定される（Ｓ２０２）。注目画像決定部１３０は、参照領域特定部１２０によって特定された参照領域内で変換対象の注目画像を決定する。

さらに、図２に示す具体例では、注目画像に対応した画像部分が抽出される（Ｓ２０３）。変換対象抽出部１４０は、画像データ内で変換対象の注目画像に対応した画像内容の画像部分を抽出する。そして、抽出された画像部分を対象とする変換処理が実行される（Ｓ２０４）。変換処理部１５０は、画像データに対して、変換対象抽出部１４０によって抽出された画像部分を対象とする変換処理を実行する。

図３は、画像処理装置１００が処理対象とする画像データの具体例を示す図である。画像処理装置１００が処理対象とする画像データの具体例には、表記規則となる情報を含んだ様々な種類の画像データ（文字や数字や記号のみの画像に関する画像データを含む）が含まれる。図３には、その具体例の一つとして、マラソンのコース案内に関する地図の画像データが図示されている。

図３に例示する画像データ内には、「フルマラソン」「ハーフマラソン」「１０ｋｍマラソン」「ファミリーラン」の４つのコースに関する案内情報が含まれている。図３に例示する画像データは、「フルマラソン」に関する案内情報を赤色で示し、「ハーフマラソン」に関する案内情報を青色で示し、「１０ｋｍマラソン」に関する案内情報を黄色で示し、「ファミリーラン」に関する案内情報を桃色（ピンク）で示している。

また、図３に例示する画像データ内には、表記規則の具体例である「凡例」が示されている。その「凡例」の表示領域内には、「フルマラソン」に関する案内情報を赤色とし、「ハーフマラソン」に関する案内情報を青色とし、「１０ｋｍマラソン」に関する案内情報を黄色とし、「ファミリーラン」に関する案内情報を桃色（ピンク）とする表記上の規則（ルール）が示されている。

図４は、凡例領域の指定から変換対象の決定までの処理の具体例を示す図である。図４には、図３の画像データを対象とした処理の具体例が図示されている。

図４に示す具体例では、まず、凡例領域が指定される。凡例領域は、参照領域特定部１２０によって特定される参照領域の具体例である。参照領域特定部１２０は、図３に例示する画像データ内で「凡例」となる画像を含む領域を凡例領域に指定する。

参照領域特定部１２０は、例えば、画像データ内において、予め定められた参照画像パターンに対応した画像パターンの注目画像を含む領域を凡例領域（参照領域）とする。例えば、地図や路線図などでは、線の色や線の種類（線種）などにより、必要に応じて文字列を列挙するなどして、道路や路線などの表記上のルールを「凡例」として示す場合がある。

参照領域特定部１２０は、例えば公知の画像解析処理などを利用して、画像データ内において「凡例」となる画像パターン（縦線、横線、文字列の列挙などの予め定められた表現パターン）に対応した注目画像が含まれる領域を凡例領域として抽出する。また、参照領域特定部１２０は、例えば光学文字認識などの解析処理を利用して画像データから「凡例」の文字を抽出し、「凡例」の文字列を含む領域（矩形領域など）を凡例領域として抽出してもよい。

また、例えばユーザが操作デバイスなどを利用して画像データ内で「凡例」となる領域を指定し、ユーザによって指定された領域を参照領域特定部１２０が凡例領域としてもよい。例えば、画像処理装置１００は、図３に例示する画像データと共に、図４に例示するように「凡例領域を指定してください」などのメッセージを表示部１６０に表示して、ユーザによる凡例領域の指定を支援するようにしてもよい。

凡例領域（参照領域）が特定されると、注目画像決定部１３０は、特定された凡例領域内で変換対象の注目画像を決定する。例えばユーザが操作デバイスなどを利用して凡例領域内で変換対象となる注目画像を指定し、ユーザによって指定された注目画像を注目画像決定部１３０が変換対象に指定する。

また、例えば変換対象を指定する指定情報が予め設定されていれば、注目画像決定部１３０が、その指定情報に応じた注目画像を変換対象として抽出してもよい。例えば、図４に例示する具体例において、変換対象を指定する指定情報として「ハーフマラソン」が予め設定されている場合に、注目画像決定部１３０は、例えば光学文字認識などの解析処理を利用して凡例領域内で「ハーフマラソン」の文字を抽出し、「ハーフマラソン」の文字列を含む凡例画像を変換対象としてもよい。

また、画像処理装置１００は、図３に例示する画像データと共に、必要に応じて凡例領域の拡大画像と共に、図４に例示するように「変換対象を指定してください」などのメッセージを表示部１６０に表示して、ユーザによる変換対象の指定を支援するようにしてもよい。

さらに、画像処理装置１００は、図３に例示する画像データと共に、必要に応じて凡例領域の拡大画像と共に、図４に例示するように「変換対象は「ハーフマラソン（青色）」ですか？」などのメッセージを表示部１６０に表示して、ユーザに変換対象を確認するようにしてもよい。そして、例えば、ユーザから変換対象を確定する操作が成されることにより変換対象が決定される。

図４に示す具体例によれば、ユーザは、例えば表示部１６０に表示される凡例領域に含まれる凡例の中から変換対象を選択すればよい。これにより、変換対象の直感的な選択が実現される。なお、ユーザは、画像データを利用する利用者（ユーザ自身でもよい）の障害（色覚的な障害を含む）に応じて変換対象を選択してもよい。これにより、ユーザの意図に応じたバリアフリーのための変換が実現される。

変換対象が決定されると、変換対象抽出部１４０は、画像データ内で変換対象の注目画像に対応した画像内容の画像部分を抽出する。例えば、図３に例示する画像データを対象とした処理で、変換対象として「ハーフマラソン」が決定されると、変換対象抽出部１４０は、図３に例示する画像データ内で、凡例の「ハーフマラソン」に対応した規則で表現される画像部分を抽出する。例えば、画像データ内の青色で表現される画像部分や、「ハーフマラソン」に対応した文字（「ハーフ」など）を含む画像部分が抽出される。

図５は、変換対象となる画像部分の具体例を示す図である。図５には、図３に例示する画像データを対象とした処理で、変換対象として「ハーフマラソン」に対応した画像部分を抽出した結果が例示されている。そして、例えば、変換対象として抽出した画像部分を強調する表示画像が形成されて表示部１６０に表示される。

画像処理装置１００は、例えば図５に例示するように、画像データ内で抽出された「ハーフマラソン」に対応した画像部分をハイライトで強調した表示画像を表示部１６０に表示してもよい。なお、変換対象として抽出した画像部分を強調してユーザに提示する場合には、そのユーザの色覚障害などに応じた強調処理を実行してもよい。例えば、カラーユニバーサルデザインなどを考慮した強調処理が実行されてもよい。

さらに、画像処理装置１００は、変換対象として抽出した画像部分を強調した表示画像と共に、図５に例示するように「「ハーフマラソン（青色）」をハイライトしています。追加／削除したい領域があれば指定してください。」などのメッセージを表示部１６０に表示して、ユーザに変換対象を確認するようにしてもよい。さらに、例えば、ユーザからの追加指示に応じて変換対象となる画像部分が追加されてもよいし、ユーザからの削除指示に応じて、変換対象として抽出した画像部分の少なくとも一部が削除（変換対象から除外）されてもよい。そして、例えば、ユーザから画像部分を確定する操作が成されると変換対象となる画像部分が決定される。

図５を利用して説明した具体例によれば、ユーザが変換対象となる画像部分を確認し、必要に応じて変換対象となる画像部分の追加や削除が実行されため、ユーザが意図する変換処理が実現される。また、ユーザによる追加や削除の実行結果を蓄積しておき、その蓄積した情報を利用した機械学習などにより、変換対象となる画像部分の抽出精度を高めるようにしてもよい。

こうして、変換対象となる画像部分が決定されると、その画像部分に対する変換処理の内容が指定される。

図６は、変換処理の内容（変換内容）の具体例を示す図である。例えば、図６に例示する表示画像が表示部１６０に表示され、ユーザがその表示画像を参照しつつ操作デバイスなどを操作して変換内容を指定する。

図６に示す具体例で「変換対象の情報を残す」が選択されると、変換対象となる画像部分を残す画像処理が指定される。また、図６に示す具体例で「変換対象の情報を消す」が選択されると、変換対象となる画像部分を消す画像処理が指定される。なお、図６に示す具体例で「詳細条件を指定する」が選択されると、変換対象となる画像部分に対する画像処理の詳細な条件が指定される。

変換処理の内容が指定されると、変換処理部１５０は、画像データに対して、変換対象抽出部１４０によって抽出された画像部分を対象とする変換処理を実行する。

図７は、変換処理部１５０による変換処理の具体例を示す図である。図７には、図３に例示する画像データを対象とした処理で、「ハーフマラソン」に対応した画像部分を変換対象とし、変換対象となる画像部分を残す画像処理が指定された場合に得られる変換処理後の画像例が図示されている。

図３に例示する画像データを対象とした処理で、凡例の「ハーフマラソン」に対応した画像部分を残す画像処理が指定されると、変換処理部１５０は「ハーフマラソン」に対応した画像部分を残し、さらに「ハーフマラソン」以外の凡例である「フルマラソン」「１０ｋｍマラソン」「ファミリーラン」に対応した画像部分を消す画像処理を実行する。画像部分の消去には、例えばレタッチソフトなどの公知の処理が利用されてもよい。

これにより、例えば、図７に例示するように、図３の画像データ内で凡例に含まれていた「ハーフマラソン」に関する画像部分のみが残され、図３の画像データ内で凡例に含まれていた「フルマラソン」「１０ｋｍマラソン」「ファミリーラン」に対応した画像部分を消去した画像が形成される。

なお、図３に例示する画像データの背景に地図画像が描かれている場合には、その地図画像がそのまま図７に例示する画像の背景に描かれてもよい。また、例えば、画像処理装置１００が参照可能な地図データベースの中から、図３の画像データに含まれる地図画像に対応した情報（地図データ）を取得できる場合には、取得した情報（地図データ）を補完して、図７に例示する変換処理後の画像が形成されてもよい。取得した情報を補完することにより、補完しない場合よりも充実した情報を含む画像が形成される。

図８は、変換内容の指定に係る具体例を示す図である。例えば、図８に例示する表示画像が表示部１６０に表示され、ユーザがその表示画像を参照しつつ操作デバイスなどを操作して変換内容の詳細な条件を指定してもよい。

図８に示す具体例において、「翻訳（日本語→英語）」が指定されると画像データに含まれる日本語が英語に翻訳される。例えば、図７に例示する画像に対して「翻訳（日本語→英語）」の変換内容が指定されると、図７の具体例に含まれる日本語が英語に置き換えられた画像が形成される。翻訳には公知の自動翻訳処理などが利用されてもよい。なお、図７の画像に対応した外国語の地図情報（地図データ）を取得できる場合には、取得した地図情報から得られる外国語を翻訳結果として利用してもよい。

また、図８に示す具体例において、「色覚変換（Ｄ型）」が指定されると、一般的に識別が容易とされる青色と黄色の対比を中心とした色覚変換が実行され、「やさしい日本語」が指定されると、ある程度は日本語を読み書きできる外国人向けに分かりやすい日本語への変換処理が実行される。

さらに、画像データに含まれる文字を音声で読み上げる「音声読上」や、画像データが示す地図上における多機能トイレの場所などを示す「多機能トイレ」など、様々な障害に対応した変換処理が実現されてもよい。

以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。

１００ 画像処理装置、１１０ 画像データ取得部、１２０ 参照領域特定部、１３０ 注目画像決定部、１４０ 変換対象抽出部、１５０ 変換処理部、１６０ 表示部。

Claims (5)

1. 画像データ内で表記規則として利用される注目画像を含む参照領域を特定する特定手段と、
   前記参照領域内で変換対象の注目画像を決定する決定手段と、
   前記画像データ内で前記変換対象の注目画像に対応した画像内容の画像部分を抽出する抽出手段と、
   前記画像データに対して前記画像部分を対象とする変換処理を実行する変換手段と、
   を有する画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特定手段は、前記画像データ内において、予め定められた参照画像パターンに対応した画像パターンの注目画像を含む領域を前記参照領域とする、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記抽出手段は、前記変換対象の注目画像に対応した色を含む画像箇所を前記画像部分として抽出する、
   ことを特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置において、
   前記抽出手段は、前記変換対象の注目画像に対応した文字を含む画像箇所を前記画像部分として抽出する、
   ことを特徴とする画像処理装置。
5. コンピュータに、
   画像データ内で表記規則として利用される注目画像を含む参照領域を特定する機能と、
   前記参照領域内で変換対象の注目画像を決定する機能と、
   前記画像データ内で前記変換対象の注目画像に対応した画像内容の画像部分を抽出する機能と、
   前記画像データに対して前記画像部分を対象とする変換処理を実行する機能と、
   を実現させるプログラム。

Images