JP2005257348A - 色識別装置 - Google Patents

Abstract

【課題】カメラ付きの携帯電話等の携帯端末等を、視覚障害者等のための色識別装置とし、視覚障害者等が日常生活で簡単に使用できるようにする。
【解決手段】携帯端末１００をシステムとして動作させるためのＯＳ（ＢＲＥＷ）２００、携帯端末１００を色識別装置とするためのアプリケーション・プログラムをロードしたメインメモリであるＲＡＭ１２６、音声データファイル等を格納している不揮発性メモリ１２４、ボタン群１３０、カメラ１１０と画像メモリ１１２，音源ＬＳＩ１５４等のそれぞれの間の、制御情報やデータのやり取りを示している。
アプリケーション・プログラムにより、カメラ１１０が撮った画像の一部領域から複数の画素を取得する。そして、取得した複数の画素から、１つの色を判別し、判別した色を音データに変換して、音データを音源ＬＳＩ１５４から音として出力する。
【選択図】図２

Description

本発明は、視覚障害者のための色識別装置に関するものである。

従来、視覚障害者にとって、色の識別は困難であった。日常生活でも、色々な場面で色の識別ができればよいと思うことが多い。例えば、洋服のコーディネートや両足に同じ色の靴下を履くなど、色が識別できれば、他人の世話にならずにすむと考えている視覚障害者は多い。
従来から、色を識別するための装置として、例えば、特許文献１で示されているように、色を識別して音声で出力するための専用装置は存在していた。しかしながら、この装置は、専用装置のために高価であり、だれでも使用することができなかった。しかも、白色光を照射してその反射を計測する等使い勝手もよくない。
特開２００２−２２５３７号公報

本発明の目的は、視覚障害者及び色覚異常者のための音による色識別装置を提供することであり、視覚障害者等が日常生活で簡単に使用できるようにすることである。

上記目的を達成するために、本発明は、カメラを用いた色識別装置であって、前記カメラが撮った画像の一部領域から複数の画素を取得する画素取得手段と、前記取得した複数の画素から、１つの色を判別する色判別手段と、前記判別した色を音データに変換する音データ変換手段と、前記音データを出力する音出力手段とを備えることを特徴とする。
カメラが画像を連続的に取得するごとに、前記画素取得手段，色判別手段，音データ変換手段，音出力手段が動作する場合には、リアルタイムでカメラの向いている方向の色を音で識別することができる。
前記音データ変換手段により変換された前記音データは、音の高さや和音、長さ、大きさで色を識別しており、色相を音の高さ、無彩色を和音、色の明度および彩度を音の長さおよび大きさにより表現してもよい。
前記判別した色を音声データに変換する音声データ変換手段と、前記音声データを出力する音声出力手段とを、さらに備えてもよい。
前記判別した色を表示データに作成する表示データ作成手段と、前記カメラが撮った画像に前記領域を示す枠を示した画像と前記表示データとを表示する表示手段とを備えてもよい。
カメラ付き携帯端末に、上述の色識別装置の機能を実現させるためのプログラムも本発明である。

本発明では、音による色識別装置として構成するため、視覚障害者の方が日常生活で使用することができる。
また、連続的に色を識別する場合は、リアルタイムでカメラのレンズ方向の色が識別できるために、即座に色を識別することができる。また、スキャンするように徐々に方向を変えることで、色の分布を知ることができる。
音声でも色を識別できるので、より正確に表現された色を認識することができる。
特に、プログラムによりカメラ付き携帯端末を色識別装置として構成することができるので、持ち運びに便利な装置を安価に提供することができる。
色の判別領域と色のデータを表示することもできるので、視覚的にも正確な色情報を確認でき、色を確認する仕事に従事している者が使用することもできる。

図面を参照して、本発明の実施形態を説明する。
図１は、本発明の実施形態で使用する、カメラ付きの携帯電話やＰＤＡ，ＰＣ等の携帯端末１００におけるハードウェアの構成例を示す図である。図１において、携帯端末１００は、カメラ１１０を備えており、カメラで撮られた画像は、カメラ用画像メモリ１１２に格納される。全体の制御はＣＰＵ１２０で実行されるプログラムで行われている。これらのプログラムは、フラッシュメモリやＥＥＰＲＯＭ等の不揮発性メモリ１２４に格納されている。カメラ１１０で撮られた画像は、ＣＰＵ１２０の制御で表示メモリ１４０に転送され、表示装置１４２で見ることができる。また、携帯端末１００は、ボタン群（キーボード）１３０や、マイク１５８，スピーカ１５５が備えられており、ボタンで携帯端末１００の動作を指示したり、音声メモリ１５０からコーディック１５２を介して音声を発生したり、音源ＬＳＩ１５４からの音を発生することができる。ＲＡＭ１２６はＣＰＵ１２０のメインメモリとして機能し、データ等を格納している。なお、音源ＬＳＩ１５４を備えなくても、音声と同様にして音も発生させることもできる。

図２は、携帯端末１００として携帯電話を用い、これを色識別装置として使用した実施形態の機能ブロック図である。図２において、携帯電話１００をシステムとして動作させるためのＯＳ（ＢＲＥＷ）２００と、携帯電話１００を色識別装置とするためのアプリケーション・プログラムをロードしたＲＡＭ１２６、音声データファイル等を格納している不揮発性メモリ１２４、ボタン群１３０、カメラ１１０と画像メモリ１１２等との間の制御情報やデータのやり取りを中心に示している。
アプリケーション・プログラム等を例えばインターネットからダウンロードして、フラッシュメモリ等の不揮発性メモリに格納し、それをメインメモリであるＲＡＭ１２６にロードすることで、携帯電話を色識別装置として機能させることができる。
図２において、カメラ１１０のシャッターを切ると、カメラ１１０から撮影した画像データがカメラ用画像メモリ１１２に転送される。アプリケーション・プログラムは、ＲＡＭ１２６中のプレビュー格納領域に、ＯＳ２００を介して画像メモリ１１２から画像データを取得して処理を行う。また、音声を出力するときは、不揮発性メモリ１２４の音声データファイルから、ＲＡＭ１２６の音声再生データ領域に音声データを読み込み、ＯＳ２００を介して音声メモリ１５０に音声データを転送することで、音声を出力する。表示装置１４２に表示を行なうためには、アプリケーション・プログラムから、プレビュー格納領域やディスプレイデータ領域のデータを、ＯＳ２００を介して表示用メモリ１４０に転送することで、所望の表示を行なう。

この図２と、図３に示したアプリケーション構造体、図４〜図７に示したフローチャート、図８〜図１０に示した表を用いて、携帯端末１００を色識別装置として動作させるプログラムについて、その構成・機能を詳しく説明する。
図３は、実施形態において、携帯電話１００のＯＳとして使用しているＢＲＥＷで、ＯＳ２００とアプリケーション・プログラム３００とのインターフェースを行うための作成されるアプリケーション構造体２２０を示している。
イベント・ハンドラ２３０は、ＯＳ２００からの特定のイベントにより、アプリケーション・プログラムの対応するイベント・ルーティンを実行することができる。携帯端末１００を色識別装置とするアプリケーション・プログラム３００を起動するために、例えばメニューを選択すると、アプリケーション起動イベント３１０が起こり、図４のフローチャートに示されるアプリケーション起動イベントによるルーティンが実行される。

図４において、まず、アプリケーション実行環境を登録する（Ｓ３１２）。これは、図３に示されるようなアプリケーション構造体２２０を作成し、イベント・ハンドラ２３０，コールバック関数２４０や外部変数テーブル２６０を用意する。ＢＲＥＷでは、グローバル変数を特別な外部変数テーブル２６０で管理している。そして、アプリケーション・プログラム３００の起動を知らせるために、音声や表示を出力する（Ｓ３１４）。
次に、必要な初期設定を行う（Ｓ３１６）。これは、カメラ制御用コールバックの登録（シャッターを切ったことをアプリケーション・プログラム３００に通知）、カメラ画面サイズの設定、カメラのシャッター・スピードの設定（例えば、１秒に２コマ）、画質パラメータの設定（アイリス・コントラスト・シャープネス）等の設定を行う。そして、カメラ制御をスタートさせ（Ｓ３１８）、イベント待ち（ＲＥＡＤＹ）状態となる（Ｓ３１９）。これで、カメラは１秒に２回シャッターを切り始める。シャッターを切るたびに、図３のコールバック関数２４０に登録されているカメラ・コールバック３２０が発行され、カメラ・コールバック・ルーティンが実行される。

カメラ１１０のシャッターを切るたびに実行されるカメラ・コールバックのルーティンは、図５のフローチャートに示されている。図５に示されているカメラ・コールバックのルーティンは、アプリケーション・プログラム３００のメイン・ルーティンである。このルーティンで、カメラ１１０が取得した画像から中心部分の色を判定し、それを音か音声で視覚障害者に知らせている。
まず、カメラ用画像メモリ１１２からビットマップ・データを取得して、このデータでプログラム内のプレビュー画面を更新する（Ｓ３２２）。このプレビュー画面で表示用の表示データを作成してから、実画面を格納している表示用メモリ１４０に転送して、表示装置１４２に表示している。このプレビュー画面を利用して色判別関数（図７（ａ）参照）により、色を判別する（Ｓ３３０）。図７（ａ）に色判別関数の処理を示すフローチャートが記載されている。

図７（ａ）において、プレビュー画面中心付近の複数の点（この実施形態では９点）のＲＧＢの色データ（この実施形態では各４ビットの４０９６色）を取り出す（Ｓ３３２：図７（ｂ）のプレビュー画面も参照）。そして、この複数点（画素）から１つの色を判定する（Ｓ３３３）。例えば、全ての値の平均値を取って代表の色とする。同じ値や近い色が一番多い値を代表の色としてもよい。
このＲＧＢの色データ（この場合４０９６色）から、ＲＧＢ／ＨＳＶ変換表を用いて、Ａ群（明度と彩度を示す）とＢ群（色相を示す）の組み合わせ（この場合２５６通り以下）に変換する（Ｓ３３４）。

図８に実施形態におけるＲ＝０の場合のＲＧＢ／ＨＳＶ変換表を示し、図９（ａ）に実施形態の１３通りの明度と彩度の区分を示し、図９（ｂ）に実施形態における２０通りの色相の区分を示す。図８の前の文字は図９（ａ）の区分を示し、後の文字は図９（ｂ）の区分と対応している。例えば、図８の左下隅（Ｇ＝０，Ｂ＝Ｆ）の（ｂ，０６）は、Ａ群のｂ（鮮やかな）とＢ群の０６（青）である。図８と同様の変換表は、Ｒ＝０からＲ＝Ｆまで全部で１６ある。
なお、無彩色があるので、組み合わせの数は、この場合２５６通り以下である。無彩色の場合は、１：白，２：明るい灰，３：灰，４：暗い灰，５：黒の５段階である。図８の左上隅（Ｇ＝０，Ｂ＝０）の（ｄ，０５）は、Ａ群のｄ（無彩色）と無彩色の５（黒）である。

次に、ＨＳＶに変換された色のデータから、再生ファイル名テーブル２６６で、音データや音声ファイル名に変換する。音データは、音の高さと大きさと長さのデータである。図１０の各表については、後で詳しく説明する。音声ファイル名は、図９（ａ），（ｂ）に示したＡ群の色名（修飾語）の項及びＢ群の色名の項の各欄に示した言葉を発生させるための音声のデータを格納してあるファイル名である。

図５のカメラ・コールバックのフローチャートで、上述のように色を決定する（Ｓ３３０）と、この判定した色を、フロー制御フラグ２６４のフラグ１，フラグ２（初期値：ＦＡＬＳＥ）により、音（フラグ１＝ＴＲＵＥのとき：Ｓ３２３）か音声（フラグ２＝ＴＲＵＥのとき：Ｓ３２５）により視覚障害者に知らせる（Ｓ３４０，Ｓ３２６）。
まず、フラグの設定について説明する。フラグ１およびフラグ２は、実施形態においては、図６（ａ）に示したキー押しイベントのフローチャートにより設定される。このイベントは、図４のアプリケーション起動イベントの、例えば開始クレジットの表示以後に、ユーザーが何かのボタンを押下すると、図６（ａ）に示したキー押しイベントが起動されて、押下したボタンを判定する（Ｓ３６２）。ユーザーが音声出力を選択するために、ボタン１を押下したときは、フラグ２＝ＴＲＵＥとする（Ｓ３６４）。ユーザーが音出力を選択して、それ以外のボタンを押下したときは、フラグ１＝ＴＲＵＥとする（Ｓ３６６）。

さて、音出力関数（Ｓ３４０）について説明する。この関数の例は、図７（ｃ）に示されており、再生ファイル名テーブル２６６に登録されている音データにより、判別した色を音により視覚障害者に対して知らせている（Ｓ３４２）。この音データは、図１０（ａ）の表に示されているように色（Ｂ群）は音の高さで表し、図１０（ｂ）の表に示すように、明度や彩度は音の強さ（音量）と長さによって表している。ここでは、音量では１段階が一番小さい音量で、２段階，・・・５段階と音が大きくなる。音の長さも図１０（ｄ）に示されているように、１段階が一番短く、４段階が一番長い。この実施形態ではシャッターを１／２秒間隔で切っているので、最長（４段階）でも１／２秒である。また、無彩色は、図１０（ｃ）の表に示されているように、音の高さとしては全てドミソの和音で示し、音量により白から黒までの段階を区別して表現している。このように、シャッターを切るごとに、それにより取得した画像の色判別領域の色を音により知らせているので、カメラを向けた方向の色をリアルタイムで知ることができる。
なお、図９（ａ）のＡ群では、「やわらかい」の項もあるが、図１０（ｂ）に示した音の場合では「くすんだ」と同じ音量と音の長さで表している。

図５のカメラコールバック・ルーティン３２０において、次に、プレビュー画面（図７（ｂ）参照）に、色判別領域を示す枠を描画する。そして、判別した色のデータを作成して描画する（Ｓ３２４）。色データは、例えば、判別した色のＲＧＢの値を各色の最大値を２５５として、カメラが取った画像や色判別領域の枠とともに、画面の下の方に文字表示する。画像の色を判別した領域と正確な色のデータを確認することができるので、色を確認する仕事に従事している人が、この色識別装置を有効に利用することができる。
フラグ２＝ＴＲＵＥのとき（Ｓ３２５）には、音声により視覚障害者に判別した色を知らせることになる。その場合、まず、音声で知らせている期間終了前に、カメラのシャッターが切られることがないように、カメラコールバックの登録を削除する（Ｓ３２６）。そして、色名出力関数により、音声データを再生する（Ｓ３５０）。色名出力関数の処理の例は、図７（ｄ）のフローチャートに示されている。図７（ｄ）において、まず、音声リソースがメモリに残っているときは、これを開放する（Ｓ３５２）。そして、現在登録されているＡ群音声再生ファイルを、メモリにロードして再生する（Ｓ３５４）。つぎに、このＡ群音声再生が終了後、Ｂ群再生ファイルを再生するために、音声再生コールバック３９０をコールバック関数２４０に登録する。

Ａ群音声再生が終了すると、音声再生コールバック３９０が呼び出される。音声再生コールバックの処理は、図６（ｄ）のフローチャートに示されている。図６（ｄ）において、まず、フラグ３（初期値：ＦＡＬＳＥ）でこの音声再生コールバックが１回目に呼び出されたのかの条件判断を行う（Ｓ３９２）。１回目のとき（フラグ３＝ＦＡＬＳＥのとき）は、フラグにＴＲＵＥを代入して（Ｓ３９５）、音声リソースがメモリに残っているときは、これを開放する（Ｓ３９６）。現在登録されているＢ群音声再生ファイルをメモリにロードして再生する（Ｓ３９７）。Ｂ群の音声出力の終了後、再度、この音声再生コールバック３９０を呼び出すために、音声再生コールバックをコールバック関数２４０に登録する（Ｓ３９８）。

Ｂ群の音声出力が終了して、２回目に音声再生コールバック３９０が呼び出されたときは、２回目であることをフラグ３がＴＲＵＥであることで判断する（Ｓ３９２）と、シャッターが動作していないカメラ１１０を起動するために、カメラコールバック３２０を登録し（Ｓ３９３）、フラグ３にＦＡＬＳＥを代入する（Ｓ３９４）。そして、イベント待ちの状態（ＲＥＡＤＹ：Ｓ３９９）となる。フラグ３にＦＡＬＳＥを代入しているので、色の音声出力が終了してから、音出力や音声出力を行うには、ユーザーが改めてボタンを押して、音出力や音声出力を選択する。
音出力を選択したとき（フラグ１＝ＴＲＵＥ）や、ボタンを押さず、音出力や音声出力を選択しなかった場合（フラグ１，フラグ２＝ＦＡＬＳＥ）には、プレビュー画面で実画面を更新するために、表示メモリ１４０にプレビュー画面を転送する（図５：Ｓ３２８）。これにより、通常、表示画面はシャッターが切られる１秒に２回ずつ更新され、色データ等を表示していくが、音声出力の場合は、”１”ボタンを押して音声出力を選択した時点の画面を、音声再生が終了するまで表示している。

図６（ｂ），（ｃ）に示されているアプリケーション中断イベント３７０及びアプリケーション再開イベント３８０は、実施形態で用いているＢＲＥＷ ＯＳがアプリケーションの実行自体を中断、再開させるために発行するイベントである。
例えば、アプリケーションを操作中に携帯電話に電話がかかってくると、アプリケーション中断イベントがＯＳから送られ、図６（ｂ）に示されるように、リソースを開放して（Ｓ３７２）、イベント待ちの状態（ＲＥＡＤＹ：Ｓ３７４）となる。通話の終了により、アプリケーション再開イベントがＯＳから送られ、アプリケーション再開イベントの処理（図６（ｃ））が実行される。まず、カメラ初期設定にジャンプして（Ｓ３８２）、図４に示されているアプリケーション起動イベントの処理フローのカメラ初期設定（Ｓ３１６）へ行き、カメラの制御を開始して（Ｓ３１８）、イベント待ちの状態（ＲＥＡＤＹ：Ｓ３１９）となる。これは、携帯電話は電話であるので、電話の機能が何よりも優先されることを実現するために、携帯電話のＯＳが備えている仕組みである。

上述の実施形態は、特定のＯＳ（ＢＲＥＷ）や、シャッターを１／２秒ごとに切ること、図８〜図１０に示されているような、ＲＧＢ／ＨＳＶ変換して音声や音を出力しているが、これに限るものではない。例えば、ＯＳが異なれば、図３に示したアプリケーション構造体による実行制御を行わず、そのＯＳの制御によりプログラムを実行する。また、異なるシャッター間隔や他の変換表や組み合わせで音や音声を出力してもよい。

上述で説明した本発明を利用することで、視覚障害者や色覚障害者が、カメラ付き携帯端末を色識別装置として利用できる。そして、音によりリアルタイムで、カメラが取得した画像の特定領域の色を認識することができる。
色をリアルタイムで対応する様々な音に変換して出力しているために、音楽的な応用も考えられる。
また、より明確に色を認識するために、音声により、カメラが取得した画像の有る領域の色を知ることができる。
色を判別した領域と色データを表示することで、所望の部分の色を正確に識別できるので、色を確認する仕事に従事している人が、この色識別装置を有効に利用して、色を識別することができる。

カメラ付き携帯端末のハードウェアの構成例を示す図である。 実施形態の機能ブロック図である。 ＯＳとアプリケーションとのインターフェースを行うアプリケーション構造体を示す図である。 アプリケーション起動イベントの処理を示すフローチャートである。 カメラコールバックから呼び出される処理を示すフローチャートである。 （ａ）キー押しの処理，（ｂ）アプリケーション中断イベント，（ｃ）アプリケーション再開イベント，（ｄ）音声再生コールバックから呼び出される処理を示すフローチャートである。 （ａ）色判別関数の処理および（ｃ）音出力関数の処理を示すフローチャートや、（ｂ）プレビュー画面を示す図である。 ＲＧＢ／ＨＶＳ変換表を示す図である。 図８の数字の意味と、色と音声の変換の表を示す図である。 色と音の変換の表を示す図である。

Claims (6)

1. カメラを用いた色識別装置であって、
   前記カメラが撮った画像の一部領域から複数の画素を取得する画素取得手段と、
   前記取得した複数の画素から、１つの色を判別する色判別手段と、
   前記判別した色を音データに変換する音データ変換手段と、
   前記音データを出力する音出力手段と
   を備えることを特徴とする色識別装置。
2. 請求項１に記載の色識別装置において、
   前記画素取得手段，色判別手段，音データ変換手段，音出力手段は、カメラが画像を連続的に取得するごとに動作することを特徴とする色識別装置。
3. 請求項１又は２に記載の色識別装置において、
   前記音データ変換手段により変換された前記音データは、音の高さや和音、長さ、大きさで色を識別しており、
   色相を音の高さ、無彩色を和音、色の明度および彩度を音の長さおよび大きさにより表現していることを特徴とする色識別装置。
4. 請求項１〜３のいずれかに記載の色識別装置において、
   前記判別した色を音声データに変換する音声データ変換手段と、
   前記音声データを出力する音声出力手段と
   をさらに備えることを特徴とする色識別装置。
5. 請求項１〜４のいずれかに記載の色識別装置において、
   前記判別した色を表示データに作成する表示データ作成手段と、
   前記カメラが撮った画像に前記領域を示す枠を示した画像と前記表示データとを表示する表示手段と
   を備えることを特徴とする色識別装置。
6. カメラ付き携帯端末に、請求項１〜５のいずれかに記載の色識別装置の機能を実現させるためのプログラム。

Images