JP2002325225A - テキスト形式の説明によってディジタル・イメージの質を向上させるための方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】ディジタル・カメラその他の光学的イメージを
取り込む装置によって、イメージが取り込まれるのと実
質的に同時に撮影者が説明を口述することによりその取
り込まれたイメージに説明文などを加える。 【解決手段】ユーザの音声を認識することによって、口
述された情報がテキストに変換され、ディジタル・イメ
ージと関連付けられる。ディジタル・カメラが有する音
声変換機能によって、ユーザの音声が、一連の基本サウ
ンド、即ち、音素から成る中間的シンボリック・フォー
ムに変換される。音素のシンボリック・フォームは、そ
の後、コンピュータ・システムが複雑な語彙リスト及び
シンタックス分析へのアクセスを行うことによって自然
言語テキストに変換される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル・デー
タ装置に関し、詳しく云えば、ディジタル・カメラ、モ
ーション・ビデオ、その他の光学的イメージをディジタ
ル的に取り込む装置に関する。

【０００２】

【従来の技術】二十世紀の後半は情報革命として知られ
ている現象を証拠立てるものであった。情報革命は如何
なる事象又は機械よりも広い範囲における歴史的な展開
であるけれども、単一の装置でディジタル・エレクトロ
ニック・コンピュータ以上に情報革命を表すものは現れ
なかった。コンピュータ・システムの発展は確かに１つ
の革命であった。毎年、コンピュータ・システムはより
高速化し、データをより多く記憶し、ユーザにより多く
のアプリケーションを提供している。

【０００３】現代のディジタル・テクノロジは価格の低
下及び機能の拡張により、絶えず増大する種々のアプリ
ケーションにおいて使用されてきた。これらのアプリケ
ーションの１つが光学的イメージの取り込みであった。
一般に、光学的画像処理テクノロジは、規則的に配列さ
れた多数の感光性素子及びそれらの素子の出力をスキャ
ンしてそこからディジタル・イメージを構成する電荷結
合素子（ＣＣＤ）のようなディジタル・センサ・アレイ
を使用する。ディジタル・イメージは、適当なディジタ
ル・データ記憶媒体に記憶されたり、ディジタル・ディ
スプレイ装置上に表示されたり、用紙又は他の媒体上に
印刷されたり、編集ツールを使用して操作されたり、或
いはディジタル・データに適した任意の通信媒体を使用
して遠隔地に送信されたりすることが可能である。

【０００４】光学的画像処理は、ファクシミリ、スキャ
ナ、バーコード・リーダ等を含む種々の環境において使
用されてきた。とりわけ、ディジタル光学的画像処理
は、高解像度の静止画カメラ及び映画カメラにおける古
いフィルム・ベースの媒体に対する代替物としても使用
されている。実際、ディジタル光学テクノロジは画質の
改善、価格の低下をもたらし、これらの分野における古
いフィルム・ベースの媒体に完全に取って代わる日を多
くの人が予見している。

【０００５】ディジタル・カメラは、一般に、静止ビデ
オであろうと或いはモーション・ビデオであろうと、種
々の機能を実現するようにプログラム可能なオンボード
・プロセッサを内蔵している。そのプロセッサはディジ
タル・イメージに補助的情報を組み込むようにプログラ
ム可能である。例えば、イメージが取り込まれた日付及
び時間を組み込むことが知られている。カメラ内にオン
ボード・ディジタル・クロックを保持することによっ
て、日付及び時間が容易に設定される。そのような補助
的情報を組み込むことは、ひとたびそれが得られれば特
に難しいことではない。

【０００６】

【発明が解決しようとする課題】従来の通常のディジタ
ル・カメラは、単純な光学的スキャニング及びレコーデ
ィング以外のディジタル・テクノロジの使用を排除し
て、それらの機械的装置に対応する装置の機能を単にま
ねようとしてきた。そのようなアプローチでは、ディジ
タル・テクノロジと未だ考えられてないディジタル・カ
メラの向上した機能との改良された統合という情報化時
代の果てしない可能性を想起することはできない。とり
わけ、後でディジタル・イメージに組み込むことができ
る情報、或いは、ディジタル・イメージと関連付けるこ
とができる情報を得る可能性を想起することができな
い。

【０００７】

【課題を解決するための手段】本発明の一実施形態のデ
ィジタル・カメラのユーザ（撮影者）は、イメージがデ
ィジタル・カメラにより取り込まれた時間に近い時間に
説明を口述することによって、その取り込まれたイメー
ジに説明を加える。その口述された情報はユーザの音声
を認識することによってテキストに変換され、そのディ
ジタル・イメージと関連付けられる。

【０００８】望ましい実施例では、ディジタル・カメラ
は、ユーザによって口述された補助的情報を認識し、変
換する音声認識機能を有する。この機能は、汎用ディジ
タル・プロセッサにおいて実行される音声認識ソフトウ
エアの形式のものであることが望ましい。なお、そのプ
ロセッサは、カメラを操作するための種々の制御機能を
実現するためにも使用される。音声は、リアルタイムで
記号形式のデータに変換される必要はない。音声はマイ
クロフォンを使用して感知され、ディジタル・サンプル
に変換され、そして記憶装置に一時的に記憶される。し
かる後、プロセッサは、それが他のカメラ・タスクを行
っていない時、その記憶された音声サンプルを記号形式
にバックグラウンドで変換する。一旦音声サンプルが記
号形式に変換されてしまうと、その音声サンプルのため
に使用された記憶領域は再使用可能になる。その少量の
記号形式のデータを記憶するために必要な記憶装置は音
声又は光学的イメージのための記憶装置に比べて相対的
に小さい。

【０００９】生成された記号形式データは自然言語テキ
ストであってもよいが、ユーザの音声を一連のベーシッ
ク・サウンド、即ち、音素として表す中間的記号形式で
あることが望ましい。そうすれば、その後、コンピュー
タ・システムが複雑な語彙リスト及びシンタックス分析
を行うことによって自然言語テキストに変換可能とな
る。

【００１０】撮影者によって口述された説明はフリー・
フォーマットのキャプションであることが望ましい。即
ち、その口述された説明のフォーマットに関しては、そ
れが１つの認識された人間の言語であること以外に何の
制限もない。また別の方法として、例えば、指定された
情報に対して可聴メッセージ又は可視メッセージでもっ
てユーザにプロンプト指示することによって、ユーザが
或るメッセージを所定の順序で口述することを要求する
ことも可能であろう。例えば、カメラは、タイトル、撮
影者名、場所等をユーザにプロンプト指示してもよい。
それらの情報はフリー・フォーマットの説明を後続させ
てもよいし、後続させなくてもよい。ユーザによって口
述された情報は、日付、時間、カメラ設定情報のような
カメラのプロセッサにとって利用可能な情報によって補
足されることも可能である。

【００１１】本願において開示される方法及び装置は、
レコードされたディジタル・イメージを補う拡張レコー
ドであって、ユーザにより容易に生成されるレコードを
提供する。

【００１２】本発明の構造及び動作に関する本発明の詳
細は、添付図面を参照することにより最善の理解を可能
にするであろう。なお、添付図面においては同じ参照番
号は同じ部品を表している。

【００１３】

【発明の実施の形態】図１は、望ましい実施例によるデ
ィジタル・カメラの高レベル断面図である。カメラ１０
０はボディ又はハウジング１０１、レンズ１０２、及び
光学的センサ・アレイ１０３を含む。図１には、撮影さ
れるべき対象物（関心のある対象物）をユーザが見るこ
とを可能にするための透視チャネル１０６が示される。
それは一端において透明の窓を有し、光がカメラを通過
することを可能にする。しかし、別の方法として、周知
の一眼レフ（ＳＬＲ）機構を使用することによりレンズ
１０２を通して対象物を見るようにすることも可能であ
り、液晶ダイオード（ＬＣＤ）ディスプレイのような小
型のディスプレイを使用して、センサ１０３により感知
されたディジタル・イメージを投影するようにすること
も可能である。

【００１４】カメラのボディ１０１には小型のマイクロ
フォン１０５が装着される。マイクロフォン１０５は、
カメラのボディ１０１のエッジ、特に、カメラの底部と
カメラにおけるレンズ１０２と反対側部分との交差位置
に形成されるエッジの近くに装着されることが望まし
い。この位置は、関心のある対象物を撮影者が撮ろうと
している時にマイクロフォン１０５を撮影者の口付近の
位置に置かせ、従って、撮影者によって口述された言葉
を捉える有利な位置である。マイクロフォン１０５は、
撮影者の口以外の方向から来る音声を除去する指向性マ
イクロフォンであってもよい。

【００１５】図１に表示された図は説明を目的とした高
レベル表示を意図するものであり、カメラの全コンポー
ネントの詳細図を意図するものではないことは勿論であ
る。更に、図示されたコンポーネントは、容易に理解を
得るために単純化された形式で表されている。例えば、
レンズ１０２は、焦点距離を調節するための可動部品を
持った多素子レンズとして実装されることが多い。

【００１６】図２は、望ましい実施例によるディジタル
・カメラの主要な電子コンポーネントを示す高レベルの
図である。そのカメラは、ランダム・アクセス・メモリ
２０２と通信を行うプログラム可能なプロセッサ２０１
を含む。メモリ２０２は、複数のプロセッサ実行可能な
命令から成るコントロール・プログラム２０３を含む。
それらの命令は、プロセッサ２０１上で実行される時、
カメラの動作を制御する。更に、メモリ２０２は、本願
において更に説明される音声認識プログラム２０４を含
む。更に、カメラは、そのカメラによって捉えられたデ
ィジタル・イメージを、各セグメントがそれぞれのイメ
ージと関連づけられる複数セグメントの記号形式データ
と共に記憶するためのデータ記憶装置２０７を含む。更
に、カメラは、ディジタル・イメージを取り込むための
光学的センサ・アレイ１０３及びすべてプロセッサ２０
１の制御の下にあるそのカメラの種々のコンポーネント
と通信を行うためのＩ／Ｏ装置ドライバ／コントローラ
２０８を含む。更に、カメラは、マイクロフォンが受け
取った音声信号をディジタル信号形式、即ち、複数の連
続的なディジタル・サンプルに変換するためにマイクロ
フォン１０５と通信を行うアナログ・ディジタル・コン
バータ（Ａ−Ｄ）２０９を含む。

【００１７】データ記憶装置２０７は、半導体メモリ、
磁気テープ、磁気ディスク、光学的メモリ等のようなデ
ィジタル・イメージを記憶するために使用される任意の
適当な記憶装置であってよい。記憶媒体は取り外し可能
なものであってもよく、取り外し可能でなくてものでも
よい。Ｉ／Ｏ装置ドライバ／コントローラ２０８は他の
カメラ・コンポーネントに対するインターフェースを提
供する。これらのコンポーネントは、シャッタ、レン
ズ、ミラー等のようなプロセッサ２０１によって制御さ
れるもの及びシャッタ作動ボタン、又は他のユーザ・ア
クセス可能なボタン及びスイッチのようなプロセッサ２
０１が入力を受け取るものを含む。或る実施例に対して
は、これらのコンポーネントは、イメージをユーザに表
示するためのディジタル・ディスプレイ装置を含んでも
よい。更に、ユーザにカメラの状態を知らせるために数
字、テキスト、及びアイコンを表示するためのＬＣＤデ
ィスプレイのような小型のディスプレイが存在すること
が望ましい。更に、コンピュータ、テレビジョン、プリ
ンタ等のようなカメラにとっては外部の装置にデータを
送信するための少なくとも１つの外部ポートが存在する
ことが一般には望ましい。電子コンポーネントに対する
電力はバッテリ（図示されてない）によって供給され
る。

【００１８】メモリ２０２は、不揮発性メモリを含むこ
とが望ましい。不揮発性メモリにおけるデータは、バッ
テリの故障、交換、又は別の事故のためにメモリが電力
を受けない場合でも失われることはない。コントロール
・プログラム２０３及び音声認識プログラム２０４はメ
モリのこの部分に記憶されることが望ましい。更に、メ
モリ２０２は、一時的な値、カウンタ等を記憶するため
の又はイメージ・データをバッファするための揮発性メ
モリを含むことも望ましい。音声バッファ２０５はメモ
リの揮発性メモリの部分に含まれる。音声バッファ２０
５は、音声認識プログラム２０４による記号形式への変
換が保留されているディジタル音声（音声信号のディジ
タル・サンプル）を一時的に記憶する。音声バッファは
一時的なニーズに適応するように可変サイズのものであ
ってよい。更に、記憶装置２０７の機能によっては、ま
さに分析されつつある非常にわずかな数のサンプルだけ
がメモリ２０２においてバッファされるように、記憶装
置２０７にはディジタル化された音声サンプルがバッフ
ァされるようにしてもよい。

【００１９】自動音声認識の分野では明らかであるよう
に、口述された言葉から自然言語を作り出すプロセスは
一般に多数のステップを伴う。人間の声として発せられ
た音声信号は、先ず、ディジタル・サンプルに変換さ
れ、周波数パターンを分析される。これらを音素と呼ば
れる人間の音声の基本サウンド・ユニットに対応させる
試みが行われる。人間は或るワード又はサウンドを不明
瞭に発音することがあり、異なる話者間のみならずひと
りの話者によって同じワードが発声された場合でも音声
パターンが変化するために、この分析は話者の意図した
音素を完全な精度で認識することができない。自動音声
認識システムにとって母音は子音よりも認識することが
容易であるという傾向はあるが、いずれも誤りを生じ得
るものである。一般的には、その分析は話者の意図した
音素に関して推測を生じる。そして、それはその推測が
正しいという確率と関連するであろう。代表的な音声認
識システムは、音素の連続を辞書にある既知のワードと
対応させようとするであろう。その場合、必ずしもすべ
ての場合に最高の確率を持つ音素が選択されるわけでは
ないであろう。高い確率の音素が認識可能なワードと対
応しない場合、低い確率を持った音素が選択されること
がある。この場合でも、システムはワードを推測できる
だけであり、従って、多くの別のワード公式化による各
ワードと違った確率を関連づけるであろう。結局、非常
に複雑な音声認識プログラムが、センテンス全体のシン
タックスを更に分析するために１ステップずつ分析を行
い、従って、複数の可能性の中から最も妥当なワードの
組み合わせを選択するだろう。

【００２０】音声認識プログラム２０４はとりうる種々
の形式のうちの任意の形式を取ることができる。それ
は、上述の全てのステップを実行して音声入力を自然言
語テキストのストリームに変換するための全機能を備え
た音声認識プログラムであってもよい。しかし、そのよ
うなプログラムが大量のメモリを消費し、カメラのコス
トを増加させることがあることは明らかであろう。従っ
て、音声認識プログラム２０４は全機能を備えた音声認
識プログラムの一部分だけであることが更に望ましい。
具体的にいえば、プログラム２０４は、語彙又はシンタ
ックス分析を行うことなく、音声サンプルを処理して人
間の音声の一部分に対応する一連の基本サウンド、即
ち、音素の記号形式にするフロント・エンドであっても
よい。この記号形式は、どの音素が話者によって意図さ
れたかということをシステムが断定できない場合に別の
音素と関連づけられる確率係数を含み得る。この記号形
式は、大型の辞書へのアクセス及び複雑なシンタックス
分析を有するコンピュータ・システムによって、後で自
然言語テキストに変換されることを意図されている。そ
のようなコンピュータ・システムは音声認識をリアル・
タイムで行う必要がないことは注目される。更に、その
ようなオフライン分析のもう１つの利点は、カメラにお
ける音声認識フロント・エンドが多言語のものであり、
単に音声から音素を生成し、その後、それらの音素がユ
ーザの自然言語に特有のプログラムによってテキストに
書き換えられるということであることも注目される。

【００２１】図３は、望ましい実施例によるカメラの音
声認識プログラム２０４に結びつけられたコントロール
・プログラム２０３の動作を示すフローチャートであ
る。カメラは、最初、アイドル状態３０１にある。アイ
ドル状態では、コントロール・プログラムは、ユーザが
所定のボタンにタッチする又はレンズ・カバーを開くと
いうようなパワー・オン指示に対するポーリングを定期
的に行う（ステップ３０２）。パワー・オン指示が検出
された場合、コントロール・プログラム２０３はオペレ
ーション・ループに入り、カメラで実現される種々の機
能のいずれかをユーザが指示するのを待つ。プログラム
がリスニングし音声取り込み開始の指示を検出した場合
（ステップ３０３）、カメラがユーザにより口述された
音声をレコードし始めるべきであること及び最終的にそ
の音声を上述のように記号形式に変換すべきであること
を意味する。カメラのボディに設けられたボタン形式の
電気的スイッチ（図示されてない）をユーザが押し続け
ることによって指示が行われることが望ましい。しか
し、「リスニング開始」の指示は種々の別の方法で行わ
れてもよい。例えば、カメラは、一連の機能ボタンが操
作される時にリスニングを開始することも可能であり、
或いはユーザの口から指向性マイクロフォン１０５を介
して生じる音声を検出する時に自動的にリスニングを開
始することも可能であり、或いはレンズ・カバーが開か
れる時に自動的にリスニングを開始することも可能であ
る。専用のボタン・スイッチの使用は、カメラに少量の
コスト及び重量を追加するけれども、ユーザの混乱を少
なくし、望まない音声をレコードすることを少なくする
ので望ましい。コントロール・プログラムがリスニング
開始指示を検出する場合、それはサンプリング・タイマ
がリセットされ、サンプリング・タイマ割込みが可能と
なり、音声レコーディング・フラグがセットされる（ス
テップ３０４）。

【００２２】サンプリング・タイマは、アナログ・ディ
ジタル・コンバータ２０９からの音声サンプルの収集を
トリガするために使用される。そのタイマは人間の音声
に対する適切なサンプリング率にセットされる。例え
ば、一般には、２０ＫＨｚ乃至５０ＫＨｚのサンプリン
グ率で十分である。タイマがタイム・アウトし、サンプ
リング・タイマ割込みが可能にされる時、プロセッサ
は、どのようなタスクを行っていても割込みを行って音
声サンプルをバッファ２０５に記憶し、そのタイマをリ
セットし、そして前に実行していたタスクに戻る。この
割込みは、図３における円３２０内の文字「Ｉ」によっ
て表されるように、コントロール・プログラムの実行に
おける任意の種々の時点で生じ得る。

【００２３】コントロール・プログラムがリスニング停
止の指示を検出する場合（ステップ３０５）、それはサ
ンプリング・タイマ割込みを不能にし、音声レコーディ
ング・フラグをクリアする（ステップ３０６）。望まし
い実施例では、リスニング停止の指示は、ユーザがボタ
ンを放すことで行われる。しかし、この指示は、前述の
ように、他の手段によって行われることも可能である。

【００２４】或る他の機能がユーザによって作動された
ことをコントロール・プログラムが検出する場合（ステ
ップ３０７）、対応する機能が実行される（ステップ３
０８）。そのような機能は、イメージを取り込む（スチ
ール写真又はモーション・ビデオを撮る）ことであって
もよいが、更に他の多くの事象であってもよい。或る機
能は、口径、焦点等を設定するというような特定のイメ
ージを取り込むための準備に関するものでもよく、別の
機能は、日付／時間インジケータを設定する、或いは記
憶装置におけるイメージの集合をアンロードするという
ような特定のイメージに無関係の事象に関するものであ
ってもよい。

【００２５】ユーザが如何なる機能もリクエストしない
場合、処理はステップ３０７からＮｏの矢印方向へ進
む。この場合、ユーザが電源を遮断しないならば、処理
はステップ３０９からＮｏの矢印方向へ進み、コントロ
ール・プログラムは、ユーザの音声入力から少しでも音
声サンプルがバッファに記憶されているかどうかを判定
する（ステップ３１０）。ステップ３１０の判定が肯定
される場合、コントロール・プログラムは、サンプルの
数が分析を開始するための所定の閾値よりも大きいかど
うかを判定する（ステップ３１１）。ステップ３１１の
判定が肯定される場合、処理はステップ３１１からＹｅ
ｓの矢印方向へ進み、音声認識プログラム２０４が呼び
出されてバッファに存在するサンプルのうちの少なくと
もいくつかを記号形式に変換する（ステップ３１３）。
閾値が満たされず、処理がステップ３１１からＮｏの矢
印方向へ進み、音声フラグがオフである場合（ステップ
３１２）も、音声変換プログラムが呼び出される（ステ
ップ３１３）。この後者の場合、ユーザは口述を終了し
ており、従って、サンプル入力が如何に少なくてもサン
プルは記号形式に変換されなければならない。記号形式
への変換の後、その記号形式データは適切なディジタル
・イメージと関連付けられて大容量記憶装置２０７に記
憶される（ステップ３１６）。

【００２６】ステップ３０９において、ユーザが電源オ
フ動作を行ったことをコントロール・プログラムが判定
した場合、処理はステップ３０９からＹｅｓの矢印方向
へ進む。この時点でバッファに如何なる音声サンプルも
残っていない場合、処理はステップ３１４からＹｅｓの
矢印方向へ進み、サンプルが音声変換プログラム２０４
によって分析されて記号形式に変換され（ステップ３１
５）、その記号形式データが適切なディジタル・イメー
ジと関連付けられて記憶装置２０７に記憶される（ステ
ップ３１７）。いずれの場合も、その後、コントロール
・プログラムはアイドル状態３０１に戻る。

【００２７】ステップ３１６又は３１７を実行する場
合、コントロール・プログラムは記憶装置２０７におい
て記号形式データを特定のディジタル・イメージと関連
づける。記号形式データが関連づけられるイメージは、
口述された音声のレコーディングと実質的に同時期に取
り込まれたイメージである。撮影者が口述している間に
イメージが実際に取り込まれることはあり得るが、ディ
ジタル・イメージの取り込み直前に又は直後に音声が取
り込まれることもあり得る。カメラが特定の音声セグメ
ントをディジタル・イメージと関連づけ得る方法はいく
らでも存在する。通常、撮影者は、写真を撮る直前より
も直後にキャプションを口述することが多いものと仮定
される。従って、望ましい実施例では、カメラは次のよ
うな優先順位に従って音声セグメントを関連づける： １．ディジタル・イメージが音声セグメントのレコーデ
ィング中に取り込まれる場合、音声はそのディジタル・
イメージと関連づけられる； ２．カメラがパワー・オンされた時から音声セグメント
のレコーディングの終了までにディジタル・イメージが
全く取り込まれず、しかも音声セグメントのレコーディ
ング後であるが、カメラが電源オフにされる前に（即
ち、同じパワー・オンのセッション中に）ディジタル・
イメージが取り込まれた場合、音声セグメントはその音
声セグメントのレコーディングの直後に取り込まれたデ
ィジタル・イメージと関連づけられる； ３．他のすべての場合、音声セグメントはその音声セグ
メントのレコーディングの直前に取り込まれたディジタ
ル・イメージと関連づけられる。

【００２８】しかし、ディジタル・イメージを音声セグ
メントと関連づけるための別の方法も存在することは明
らかであろう。例えば、ユーザがディジタル・イメージ
のナンバーを１つ又は複数の機能ボタンで指定するよう
に要求されることも可能である。

【００２９】「関連づける（associate）」ということ
は、特定の音声セグメントが特定のディジタル・イメー
ジを説明するということを決定することを可能にする或
るレコードされた関係が記憶装置２０７に存在するとい
うことを意味する。すなわち、「関連づける」というこ
とは、ある特定の音声セグメントが特定のディジタル・
イメージを説明するものであるという関係を表すデータ
が記憶装置２０７に存在するということである。シンプ
ルな形式としては、関連づけは、１つのフィールドがデ
ィジタル・イメージを含み、別のフィールドが音声セグ
メントの記号形式データを含む共通レコードとすること
ができる。また、ディジタル・イメージを含む記憶ロケ
ーションに対するその記号音声セグメント内のポインタ
とすることもできる。あるいは音声セグメントと共にレ
コードされたイメージ番号とすることもできる。

【００３０】記憶装置２０７におけるディジタル・デー
タがイメージ出力を生成するためにコンピュータ・シス
テム又は他の出力装置に転送される時、音声セグメント
がディジタル写真によって識別され、適正な形でユーザ
にレンダされる。図４は、ディジタル・イメージを音声
セグメントと共にレンダするためのコンピュータ・シス
テムの主要なコンポーネント示す。一方、図５は、望ま
しい実施例に従って説明と共にイメージを取り込み且つ
レンダすることに関するステップの高レベル・フローチ
ャートである。

【００３１】図４に示されるように、コンピュータ・シ
ステム４００は、ＣＰＵ４０１、メイン・メモリ４０
２、種々のデバイス・アダプタ及びインターフェース４
０３−４０８、並びに通信バス４１０を含む。ＣＰＵ４
０１は、メモリ４０２に記憶された命令を実行する汎用
のプログラム可能プロセッサである。図４には単一のＣ
ＰＵが示されているけれども、複数のＣＰＵを有するコ
ンピュータ・システムが使用されてもよいことは勿論で
ある。メモリ４０２は、データ及びプログラムを記憶す
るためのランダム・アクセス半導体メモリである。メモ
リは、単一のモノリシック・エンティティとして概念的
に示されるが、キャッシュ及び他のメモリ装置の階層的
に構成され得ることも勿論である。通信バス４１０は、
種々の装置間におけるデータ、コマンド、及び他の情報
の転送をサポートする。それは単一のバスとして簡単な
形式で示されているけれども、マルチバスとして構成さ
れ得るし、階層的に構成され得る。ディスプレイ・アダ
プタ４０３はビデオ・ディスプレイ４１１をサポートす
る。そのビデオ・ディスプレイは一般的には陰極線管デ
ィスプレイであるが、他のディスプレイ・テクノロジが
使用されてもよい。キーボード／ポインタ・アダプタ４
０４はキーボード４１２及びポインティング装置４１３
をサポートする。そのポインティング装置はマウスとし
て示されているが、他の形式の入力装置が使用されても
よいことは勿論である。

【００３２】ストレージ・アダプタ４０５は１つ又は複
数のデータ記憶装置４１４をサポートする。そのデータ
記憶装置は、一般に、回転式磁気ハード・ディスク・ド
ライブであるが、他のデータ記憶装置が使用されてもよ
い。プリンタ・アダプタ４０６はプリンタ４１５をサポ
ートする。Ｉ／Ｏアダプタ４０７はカメラ１００と通信
を行う特別のＩ／Ｏポート４１６をサポートする。ネッ
トワーク・インターフェース４０８はコンピュータ・シ
ステムのネットワークに対する物理的インターフェース
を提供する。例えば、ネットワーク・インターフェース
４０８は、インターネットをアクセスするために使用さ
れる電話システムに接続するためのモデムであってもよ
いが、他のタイプのインターフェースが可能であること
は勿論である。例えば、そのインターフェースは、サー
バとして作用する単一の大型メインフレーム・コンピュ
ータ又はローカル・エリア・ネットワークに複数のワー
クステーションを接続するために使用され得るメインフ
レーム・ターミナル・チャネル・インターフェースであ
ってもよい。コンピュータ・システム４００は、一般に
は、「パーソナル・コンピュータ」として知られた種々
のモデルのシングル・ユーザのコンピュータ・システム
のうちのいずれかであろう。図４の表示は説明のために
単純化された表示を意図しており、ここに示されたもの
に加えて、システム構成における多くの変更が可能であ
ることは勿論である。更に、本発明に従ってディジタル
・カメラ・イメージを受信し且つレンダするための装置
はパーソナル・コンピュータ・システムである必要はな
く、メインフレーム、ノートブック、又はラップトップ
・コンピュータに接続された、いわゆるダム端末、イメ
ージを印刷するための単一目的の特殊目的装置、或いは
種々のハードウエア・バリエーションのうちのいずれか
であってもよい。

【００３３】図４に示されるように、メモリ４０２は、
概念的には、オペレーティング・システム（ＯＳ）４２
１、ディジタル・イメージ・フォーマット・プログラ
ム、即ち、フォーマッタ４２２、音声翻訳プログラム４
２３、及びバッファ４２４を含む。オペレーティング・
システム４２１は、デバイス・インターフェース、メモ
リ・ページの管理、ウインドウ・インターフェースの管
理、複数タスクの管理等のようなその分野において周知
である種々の低レベル・ソフトウエア機能を提供する。
オペレーティング・システム４２１は、例えば、マイク
ロソフト社のWindows（Ｒ）オペレーティング・システ
ムであってもよいが、他のオペレーティング・システム
が使用されてもよいことは勿論である。

【００３４】図５は、カメラにおいてテキストともにイ
メージを取り込み、その後、テキストと共にイメージを
変換するプロセス全体を高レベルで図示する。図５に示
されるように、イメージがユーザの口述した説明と共に
取り込まれ（ステップ５０１）、しかる後、ユーザの音
声が記号形式に変換される（ステップ５０２）。これら
のステップは、詳しくは、図３に示されている。ユーザ
が更なるイメージを取り込むことを望む場合（ステップ
５０３）、ユーザがカメラからコンピュータまたは他の
出力装置にデータをアップロードする準備を終わるまで
このプロセスが繰り返される。

【００３５】ユーザの準備が終わると、データ（イメー
ジ及び説明の記号形式データ）がカメラ１００からコン
ピュータ・システム４００にアップロードされる（ステ
ップ５０４）。ディジタル・イメージ・フォーマット・
プログラム４２２がカメラ・インターフェース４１６を
通してディジタル・イメージを受け取り、それを一時的
にバッファ４２４に記憶する。

【００３６】ディジタル・イメージ・フォーマット・プ
ログラム４２２は、カメラ１００からアップロードされ
た音声の中間的な記号形式データを自然言語テキストに
翻訳するために音声翻訳プログラム４２３を呼び出す
（ステップ５０５）。カメラ１００が音声を自然言語テ
キストに変換する完全な音声認識装置を含む場合、音声
翻訳プログラム４２３が不要であることは明らかであろ
う。しかし、既に説明したように、多くの実施例では、
カメラ１００から分離しているコンピュータ・システム
において複雑な語彙及びシンタックス分析を行うことが
望ましいであろう。その場合、その動作ステップは音声
翻訳プログラム４２３によって行われる。従って、音声
翻訳プログラム４２３は大きな語彙リスト及びシンタッ
クス分析のためのルールのセットを含み得る。

【００３７】イメージ・フォーマット・プログラム４２
２はイメージを目視に適した形式でフォーマットする。
イメージ・フォーマット・プログラム４２２は、例え
ば、切り抜き、拡大／縮小、レッド・アイ削除、又は他
の編集機能によってユーザがディジタル・イメージを編
集することを可能にする編集能力を任意選択的に含んで
もよい。何らかの任意選択的な編集が行われた後、イメ
ージは翻訳された説明テキストと共に適切な出力様式と
なるようにフォーマットされる。例えば、プリンタ４１
５を使用してディジタル写真が用紙上にプリントされる
べき場合、キャプションがその翻訳された音声セグメン
トを使用して写真の縁部にプリントされてもよく、或い
は写真自体の上に重ねられてもよく、或いは写真の裏に
プリントされてもよい。別の方法として、各キャプショ
ンを写真と関連づける識別番号を持ったキャプション・
テキストの個別シートがプリントされてもよい。更に別
の方法として、イメージがコンピュータ・スクリーンで
見られたり、説明テキストがイメージの端部に沿って表
示されたり、或いは適切な機能を選択することによりユ
ーザにとって入手可能になったりするように、そのディ
ジタル・データがオンライン形式で保持されてもよい。
一般に、フォーマットされたイメージ及び翻訳されたテ
キストは記憶装置４１４に記憶される。

【００３８】ディジタル・イメージと関連付けられた説
明テキストが単なる表示以外の目的で使用され得ること
は明らかであろう。例えば、テキストは写真説明のオン
ライン・データベースにインポートされ、キー・ワード
又は任意の種々の既知のサーチ技法を使用してサーチさ
れ得る。

【００３９】メモリ４０２には或る数のアプリケーショ
ン及び他のエンティティが示されているけども、これら
が単に説明を目的として示されること及びそのようなエ
ンティティの実際の数が変わり得ることは明らかであろ
う。更に、図４のソフトウエア・コンポーネントはメモ
リ４０２に存在するものとして概念的に示されているけ
れども、一般に、コンピュータ・システムのメモリは、
全プログラム及びデータを保持するには小さすぎるこ
と、及び、一般に、情報は、回転磁気ディスク・ドライ
ブのような１つ又は複数の大容量記憶装置から成るデー
タ記憶装置４１４に記憶されること、及びその情報は、
必要に応じてオペレーティング・システムによってメモ
リにページングされるということも明らかであろう。

【００４０】一般に、本発明の説明された実施例をイン
プリメントするために実行されるルーチンは、それがカ
メラ内にインプリメントされようが、或いはオペレーテ
ィング・システム又は特定のアプリケーション・プログ
ラム、オブジェクト・モジュール、又は命令シーケンス
の一部としてインプリメントされようが、本願では、
「プログラム」又は「コンピュータ・プログラム」と呼
ばれる。コンピュータ・プログラムは、一般に、本発明
に適合した装置又はシステムにおける１つ又は複数のプ
ロセッサによって読み取られそして実行される時、本発
明の種々な局面を具体化するステップを実行するに必要
なステップ或いは本発明の種々な局面を具体化する要素
を生成するに必要なステップをそれらの装置又はシステ
ムに実行させる命令から成る。更に、本発明を十分な機
能を有するカメラ装置又はコンピュータ・システムと関
連させて説明したが、本発明の種々な実施例は種々な形
式のプログラム製品として供給可能であり、しかも本発
明はその供給を実際に行うために使用される特定なタイ
プの信号保持媒体に関係なく等しく適用する。信号保持
媒体の例は、揮発性及び不揮発性メモリ装置、フロッピ
・ディスク、ハード・ディスク・ドライブ、ＣＤ−ＲＯ
Ｍ、ＤＶＤ、磁気テープのようなレコード可能なタイプ
の媒体、及び無線通信リンクを含むディジタル及びアナ
ログ通信リンクのような伝送タイプの媒体を含むが、そ
れらに限定されない。信号保持媒体の例は、図２におい
てメモリ２２として示され、図４においてメモリ４０２
又はデータ記憶装置４１４として示される。

【００４１】上記の説明では、本発明によるカメラが静
止写真を撮ることを意味するように種々の用語及び図が
使用された。本発明は、一般に、静止写真及びモーショ
ン・ビデオに適用可能であり、静止写真に限定されるよ
うに明白に述べられてない場合には静止写真に限定され
るものと解されるべきではない。更に、本発明は、静止
写真及びモーション・ビデオの両方を撮る機能を有する
任意の種々のディジタル・カメラに適用可能である。

【００４２】本発明の特定の実施例を幾つかの代替方法
と共に開示したけれども、特許請求の範囲に記載された
本発明の技術的範囲で形式及び細部における付加的変更
が行われ得ることは当業者には明らかであろう。

【００４３】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００４４】（１）ディジタル・カメラその他の光学的
イメージを取り込む機能を有する装置であって、光学的
イメージをディジタル的に取り込む光学的センサ手段
と、前記光学的センサ手段により取り込まれた光学的イ
メージを記憶する記憶媒体と、音声をディジタル的に取
り込む音声センサ手段と、前記音声センサ手段により取
り込まれた音声を記号形式に変換する音声変換手段と、
前記記号形式データを前記取り込まれた光学的イメージ
と関連付けて前記記憶媒体に記憶させるコントローラ
と、を含む装置。 （２）前記コントローラが前記装置の動作を制御するた
めのコントロール・プログラムを実行するプログラム可
能プロセッサを含む、上記（１）に記載の装置。 （３）前記音声変換手段は、前記プログラム可能プロセ
ッサが実行可能な複数の命令であって、組み込み音声変
換アルゴリズムである命令により実現される、上記
（２）に記載の装置。 （４）前記音声変換手段が前記音声センサ手段により取
り込まれた前記音声を音素の記号形式を含む中間記号形
式に変換し、前記中間記号形式が前記装置とは別の装置
によって自然言語テキストに変換される、上記（１）に
記載の装置。 （５）ディジタル・カメラその他の光学的イメージを取
り込む機能を有する装置で実行される方法であって、前
記装置の光学的センサ手段によって対象物の光学的イメ
ージをディジタル的に取り込むステップと、前記装置の
音声センサ手段によって音声をディジタル的に取り込む
ステップと、 前記装置の前記音声センサ手段によって
取り込まれた音声を記号形式に変換するステップと、前
記記号形式データを前記取り込まれた光学的イメージと
関連付けて記憶するステップを含み、前記音声を取り込
むステップは、前記光学的イメージを取り込むステップ
と実質的に同時に実行される、方法。 （６）前記音声を記号形式に変換するステップは、取り
込まれた前記音声が音素の記号形式を含む中間記号形式
に変換され、前記中間記号形式が前記装置とは別の装置
によって自然言語テキストに変換される、上記（５）に
記載の方法。 （７）前記音声を記号形式に変換するステップはプログ
ラム可能プロセッサが音声変換プログラムを実行するこ
とにより実現される、上記（５）に記載の方法。 （８）前記プログラム可能プロセッサは、前記装置の動
作を制御するためのコントロール・プログラムを実行
し、前記音声を記号形式に変換するステップは、前記コ
ントロール・プログラムが他のタスクに占有されていな
い時に前記プログラム可能プロセッサによってバックグ
ラウンドで実行される、上記（７）に記載の方法。 （９）ディジタル・カメラその他の光学的イメージを取
り込む機能を有する装置を制御するコンピュータ・プロ
グラムであって、前記装置に、前記装置の光学的センサ
手段によって対象物の光学的イメージをディジタル的に
取り込む手順と、前記装置の音声センサ手段によって音
声をディジタル的に取り込む手順と、前記装置の前記音
声センサ手段によって取り込まれた音声を記号形式に変
換する手順と、前記記号形式データを前記取り込まれた
光学的イメージと関連付けて記憶する手順を含み、前記
音声を取り込む手順は、前記光学的イメージを取り込む
手順と実質的に同時に実行される、コンピュータ・プロ
グラム。 （１０）前記音声を記号形式に変換する手順では、取り
込まれた前記音声は音素の記号形式を含む中間記号形式
に変換され、前記中間記号形式が前記装置とは別の装置
によって自然言語テキストに変換される、上記（９）に
記載のコンピュータ・プログラム。 （１１）ディジタル・カメラその他の光学的イメージを
取り込む機能を有する第１の装置と、ディジタル・イメ
ージをフォーマットする機能を有する第２の装置を使用
して、ディジタル・イメージを持った情報をレコードす
る方法であって、前記第１の装置の光学的センサ手段に
よって対象物の光学的イメージをディジタル的に取り込
むステップと、前記第１の装置の音声センサ手段によっ
て前記光学的イメージに対応する音声セグメントをディ
ジタル的に取り込むステップと、前記第１の装置の音声
変換手段によって前記装置の前記音声センサ手段によっ
て取り込まれた音声セグメントを記号形式セグメントに
変換するステップと、前記光学的イメージと前記記号形
式セグメントを前記第２の装置にアップロードするステ
ップと、前記第２の装置によって前記光学的イメージ及
び対応する前記記号形式セグメントをユーザによる目視
のためにフォーマットするステップを含み、前記記号形
式セグメントは対応する前記光学的イメージと関連付け
られて人間によって読み取り可能な形式で表示するため
にフォーマットされる、方法。 （１２）前記音声セグメントを記号形式セグメントに変
換するステップでは、取り込まれた前記音声を音素の記
号形式を含む中間記号形式に変換され、前記フォーマッ
トするステップでは、前記中間記号形式を自然言語テキ
ストに変換される、上記（１１）に記載の方法。 （１３）前記第２の装置は、ディジタル・イメージ・フ
ォーマット・プログラムを実行する汎用ディジタル・コ
ンピュータである、上記（１１）に記載の方法。 （１４）前記フォーマットするステップは、フォーマッ
トされたテキストを対応するディジタル・イメージとと
もに用紙上に印刷するステップを含む、上記（１１）に
記載の方法。 （１５）前記フォーマットするステップは、フォーマッ
トされたテキストを対応するディジタル・イメージとと
もにディジタル装置の出力スクリーンに表示するステッ
プを含む、上記（１１）に記載の方法。 （１６）ディジタル・イメージをフォーマットする機能
を有する装置にディジタル・イメージを持った情報をレ
コードさせるコンピュータ・プログラムであって、前記
ディジタル・イメージをフォーマットする機能を有する
装置に、（ａ）ディジタル・カメラその他の光学的イメ
ージを取り込む機能を有する第１の装置からディジタル
・イメージ及び前記第１の装置で取り込まれた音声セグ
メントを変換した記号形式セグメントを受け取る手順
と、（ｂ）前記ディジタル・イメージ及び前記記号形式
セグメントをユーザによる目視のためにフォーマットす
る手順を実行させ、前記記号形式セグメントは対応する
前記ディジタル・イメージと関連付けられて人間によっ
て読み取り可能な形式で表示するためにフォーマットさ
れる、コンピュータ・プログラム。 （１７）前記記号形式セグメントは音素の記号形式を含
む中間記号形式で表現された音声を含み、前記フォーマ
ットする手順は、前記中間記号形式を自然言語テキスト
に変換する手順を含む、上記（１６）に記載のコンピュ
ータ・プログラム。 （１８）前記フォーマットする手順は、フォーマットさ
れたテキストを対応するディジタル・イメージとともに
用紙上に印刷する手順を含む、上記（１６）に記載のコ
ンピュータ・プログラム。 （１９）前記フォーマットする手順は、フォーマットさ
れたテキストを対応するディジタル・イメージとともに
ディジタル装置の出力スクリーンに表示する手順を含
む、上記（１６）に記載のコンピュータ・プログラム。

【図面の簡単な説明】

【図１】本発明の望ましい実施例によるディジタル・カ
メラの主要なコンポーネントを表す高レベルの断面図で
ある。

【図２】本発明の望ましい実施例によるディジタル・カ
メラの主要な電子的コンポーネントを示す。

【図３】本発明の望ましい実施例によるカメラ制御プロ
グラムの動作を示す高レベルのフローチャートである。

【図４】本発明の望ましい実施例に従って音声セグメン
トを持ったディジタル・イメージをレンダするためのコ
ンピュータ・システムの主要なコンポーネントを示す。

【図５】本発明の望ましい実施例に従って説明テキスト
を持ったイメージを取り込み及びレンダすることに関連
したステップの高レベルのフローチャートである。

【符号の説明】

１００ カメラ １０１ ボディ １０２ レンズ １０３ 光学的センサ・アレイ １０５ マイクロフォン １０６ 透視チャネル

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/76 Ｇ１０Ｌ 3/00 ５５１Ｇ // Ｈ０４Ｎ 101:00 ５７１Ｋ (72)発明者 ポール・スチーブン・ハルバーソン アメリカ合衆国 ミネソタ州 55901 ロ チェスタ スカーボロー レーン エヌ・ ダブリュ 4438 Ｆターム(参考） 5C022 AA13 AC72 5C052 AB02 DD02 DD06 EE02 FA01 5C053 FA08 GB11 5D015 KK02

Claims (19)

【特許請求の範囲】
1. 【請求項１】ディジタル・カメラその他の光学的イメー
   ジを取り込む機能を有する装置であって、 光学的イメージをディジタル的に取り込む光学的センサ
   手段と、 前記光学的センサ手段により取り込まれた光学的イメー
   ジを記憶する記憶媒体と、 音声をディジタル的に取り込む音声センサ手段と、 前記音声センサ手段により取り込まれた音声を記号形式
   に変換する音声変換手段と、 前記記号形式データを前記取り込まれた光学的イメージ
   と関連付けて前記記憶媒体に記憶させるコントローラ
   と、 を含む装置。
2. 【請求項２】前記コントローラが前記装置の動作を制御
   するためのコントロール・プログラムを実行するプログ
   ラム可能プロセッサを含む、請求項１記載の装置。
3. 【請求項３】前記音声変換手段は、前記プログラム可能
   プロセッサが実行可能な複数の命令であって、組み込み
   音声変換アルゴリズムである命令により実現される、請
   求項２記載の装置。
4. 【請求項４】前記音声変換手段が前記音声センサ手段に
   より取り込まれた前記音声を音素の記号形式を含む中間
   記号形式に変換し、 前記中間記号形式が前記装置とは別の装置によって自然
   言語テキストに変換される、 請求項１記載の装置。
5. 【請求項５】ディジタル・カメラその他の光学的イメー
   ジを取り込む機能を有する装置で実行される方法であっ
   て、 前記装置の光学的センサ手段によって対象物の光学的イ
   メージをディジタル的に取り込むステップと、 前記装置の音声センサ手段によって音声をディジタル的
   に取り込むステップと、 前記装置の前記音声センサ手
   段によって取り込まれた音声を記号形式に変換するステ
   ップと、 前記記号形式データを前記取り込まれた光学的イメージ
   と関連付けて記憶するステップを含み、 前記音声を取り込むステップは、前記光学的イメージを
   取り込むステップと実質的に同時に実行される、 方法。
6. 【請求項６】前記音声を記号形式に変換するステップ
   は、取り込まれた前記音声が音素の記号形式を含む中間
   記号形式に変換され、 前記中間記号形式が前記装置とは別の装置によって自然
   言語テキストに変換される、 請求項５記載の方法。
7. 【請求項７】前記音声を記号形式に変換するステップは
   プログラム可能プロセッサが音声変換プログラムを実行
   することにより実現される、請求項５記載の方法。
8. 【請求項８】前記プログラム可能プロセッサは、前記装
   置の動作を制御するためのコントロール・プログラムを
   実行し、 前記音声を記号形式に変換するステップは、前記コント
   ロール・プログラムが他のタスクに占有されていない時
   に前記プログラム可能プロセッサによってバックグラウ
   ンドで実行される、 請求項７記載の方法。
9. 【請求項９】ディジタル・カメラその他の光学的イメー
   ジを取り込む機能を有する装置を制御するコンピュータ
   ・プログラムであって、前記装置に、 前記装置の光学的センサ手段によって対象物の光学的イ
   メージをディジタル的に取り込む手順と、 前記装置の音声センサ手段によって音声をディジタル的
   に取り込む手順と、 前記装置の前記音声センサ手段によって取り込まれた音
   声を記号形式に変換する手順と、 前記記号形式データを前記取り込まれた光学的イメージ
   と関連付けて記憶する手順を含み、 前記音声を取り込む手順は、前記光学的イメージを取り
   込む手順と実質的に同時に実行される、 コンピュータ・プログラム。
10. 【請求項１０】前記音声を記号形式に変換する手順で
    は、取り込まれた前記音声は音素の記号形式を含む中間
    記号形式に変換され、 前記中間記号形式が前記装置とは別の装置によって自然
    言語テキストに変換される、 請求項９記載のコンピュータ・プログラム。
11. 【請求項１１】ディジタル・カメラその他の光学的イメ
    ージを取り込む機能を有する第１の装置と、ディジタル
    ・イメージをフォーマットする機能を有する第２の装置
    を使用して、ディジタル・イメージを持った情報をレコ
    ードする方法であって、 前記第１の装置の光学的センサ手段によって対象物の光
    学的イメージをディジタル的に取り込むステップと、 前記第１の装置の音声センサ手段によって前記光学的イ
    メージに対応する音声セグメントをディジタル的に取り
    込むステップと、 前記第１の装置の音声変換手段によって前記装置の前記
    音声センサ手段によって取り込まれた音声セグメントを
    記号形式セグメントに変換するステップと、 前記光学的イメージと前記記号形式セグメントを前記第
    ２の装置にアップロードするステップと、 前記第２の装置によって前記光学的イメージ及び対応す
    る前記記号形式セグメントをユーザによる目視のために
    フォーマットするステップを含み、 前記記号形式セグメントは対応する前記光学的イメージ
    と関連付けられて人間によって読み取り可能な形式で表
    示するためにフォーマットされる、 方法。
12. 【請求項１２】前記音声セグメントを記号形式セグメン
    トに変換するステップでは、取り込まれた前記音声を音
    素の記号形式を含む中間記号形式に変換され、 前記フォーマットするステップでは、前記中間記号形式
    を自然言語テキストに変換される、 請求項１１記載の方法。
13. 【請求項１３】前記第２の装置は、ディジタル・イメー
    ジ・フォーマット・プログラムを実行する汎用ディジタ
    ル・コンピュータである、請求項１１記載の方法。
14. 【請求項１４】前記フォーマットするステップは、フォ
    ーマットされたテキストを対応するディジタル・イメー
    ジとともに用紙上に印刷するステップを含む、請求項１
    １記載の方法。
15. 【請求項１５】前記フォーマットするステップは、フォ
    ーマットされたテキストを対応するディジタル・イメー
    ジとともにディジタル装置の出力スクリーンに表示する
    ステップを含む、請求項１１記載の方法。
16. 【請求項１６】ディジタル・イメージをフォーマットす
    る機能を有する装置にディジタル・イメージを持った情
    報をレコードさせるコンピュータ・プログラムであっ
    て、前記ディジタル・イメージをフォーマットする機能
    を有する装置に、（ａ）ディジタル・カメラその他の光
    学的イメージを取り込む機能を有する第１の装置からデ
    ィジタル・イメージ及び前記第１の装置で取り込まれた
    音声セグメントを変換した記号形式セグメントを受け取
    る手順と、（ｂ）前記ディジタル・イメージ及び前記記
    号形式セグメントをユーザによる目視のためにフォーマ
    ットする手順を実行させ、 前記記号形式セグメントは対応する前記ディジタル・イ
    メージと関連付けられて人間によって読み取り可能な形
    式で表示するためにフォーマットされる、 コンピュータ・プログラム。
17. 【請求項１７】前記記号形式セグメントは音素の記号形
    式を含む中間記号形式で表現された音声を含み、 前記フォーマットする手順は、前記中間記号形式を自然
    言語テキストに変換する手順を含む、 請求項１６記載のコンピュータ・プログラム。
18. 【請求項１８】前記フォーマットする手順は、フォーマ
    ットされたテキストを対応するディジタル・イメージと
    ともに用紙上に印刷する手順を含む、請求項１６記載の
    コンピュータ・プログラム。
19. 【請求項１９】前記フォーマットする手順は、フォーマ
    ットされたテキストを対応するディジタル・イメージと
    ともにディジタル装置の出力スクリーンに表示する手順
    を含む、請求項１６記載のコンピュータ・プログラム。