JP2012165067A - 画像記憶装置、及びナビゲーション装置 - Google Patents

Abstract

【課題】記憶容量を節約しつつ有意な撮影画像を記憶可能にする。
【解決手段】車両に設けられた車載カメラ２０の撮影像を取り込み、撮影画像を撮影画像バッファメモリ１０に記憶する画像記憶装置３０において、前記撮影像に写っている文字を文字認識する文字認識部１１と、前記車両の位置情報を取得する位置検出部３と、を備え、前記車両走行中に、前記文字認識部１１によって前記車載カメラ２０の撮影像に対して文字認識し、名称を示す文字が検出された場合に、当該名称が写った撮影像を撮影画像として取り込み、当該撮影画像を、取り込み時の車両の位置情報、及び前記名称と対応付けて前記撮影画像バッファメモリ１０に記憶する構成とした。
【選択図】図１

Description

本発明は、例えば車両等の移動体に備えられた撮影装置の撮影画像を記憶する画像記憶技術、並びに、この画像記憶技術のナビゲーション装置への応用技術に関する。

従来、車両走行中に車外を撮影する車載カメラを搭載し、この車載カメラの撮影像を順次取り込んで撮影画像としてメモリに記憶する画像記憶装置が知られている。
近年では、メモリの記憶容量を節約し、また、記憶された撮影画像の中からユーザにとって必要な撮影画像を容易に特定可能にするために、ユーザが指示したときに限り、車載カメラの撮影像から撮影画像を取り込み、取り込み時の車両位置と関連付けてメモリに記憶する技術が提案されている（例えば、特許文献１参照）。この技術によれば、ユーザが指示したときにだけ撮影画像が記憶されるので、メモリの記憶容量が節約され、また撮影時の位置情報が撮影画像に対応付けられるので、撮影画像に対応する場所の特定が容易になり、ユーザは所望の場所の撮影画像を簡単に特定できる。

かかる技術は、特許文献１にも開示があるように、ナビゲーション装置に好適に応用される。すなわち、一般に、特定の地点を登録する地点登録機能を備えたナビゲーション装置が知られており、このナビゲーション装置においては、ユーザが地点登録を指示したときに、登録する地点に対応した撮影画像を位置情報に基づいて検索し、登録地点と撮影画像とを対応付けて地点登録し、地図上には、登録地点を撮影画像とともに表示する。これにより、ユーザは、登録地点の地図上の位置、及び撮影画像の両方から、登録地点として何を登録したかを把握できる。

特開２０１０−１８１２８０号公報

しかしながら、従来の画像記憶装置では、ユーザが撮影を指示しなければ撮影画像を記憶しないため、撮影の指示を忘れた場合には、所望の撮影画像が得られない、という問題がある。
また、この画像記憶装置をナビゲーション装置の地点登録に応用した場合、登録地点の撮影画像を得るには、ユーザが登録地点を走行中に撮影指示をする必要がある。このとき、登録地点を通り過ぎる前に撮影指示をしなければ、登録地点に存在する被写体（レストランやコンビニエンス等）を撮り逃してしまい、被写体が写った有意な撮影画像が得られない場合がある。この場合には、所望の被写体が写っていない意味のない撮影画像が登録地点に対応付けられることとなり、ユーザが登録地点の撮影画像を後から確認しても、何を登録したのか思い出せないことがある。
そこで、登録地点の登録時に、登録地点の名称を手動で入力し、登録地点と対応付ける構成とすれば、有意な撮影画像が撮影されていない場合でも、登録地点の名称、及び位置情報を頼りに何を登録したか思い出すことができる。しかしながら、登録地点の設定の都度、名称を入力することは煩雑である、という問題がある。

本発明は、上述した事情に鑑みてなされたものであり、記憶容量を節約しつつ有意な撮影画像を記憶できる画像記憶装置、及び、この画像記憶装置を備えたナビゲーション装置を提供することを目的とする。

上記目的を達成するために、本発明は、移動体に設けられた撮影装置の撮影像を取り込み、撮影画像を記憶装置に記憶する画像記憶装置において、前記撮影像に写っている文字を文字認識する文字認識手段と、前記移動体の位置情報を取得する位置情報取得手段と、を備え、前記移動体の移動中に、前記文字認識手段によって前記撮影装置の撮影像に対して文字認識し、名称を示す文字が検出された場合に、当該名称が写った撮影像を撮影画像として取り込み、当該撮影画像を、取り込み時の移動体の位置情報、及び前記名称と対応付けて前記記憶装置に記憶することを特徴とする。

上記目的を達成するために、本発明は、指示された地点を登録するとともに、登録した登録地点を地図上に表示するナビゲーション装置において、上述した画像記憶装置と、登録する地点の名称の入力を受け付ける入力手段と、を備え、前記入力手段により受け付けた名称に対応する撮影画像、及び、位置情報を前記記憶装置から取り出し、当該位置情報が示す位置を登録する地点とし、名称及び撮影画像と対応付けて登録地点に登録することを特徴とする。

また本発明は、上記ナビゲーション装置において、前記入力手段は、音声入力を受け付ける音声入力手段と、音声を認識する音声認識手段と、を備え、登録する地点の名称を示す音声が音声認識手段により認識されたときに、認識された名称に対応する撮影画像、及び、位置情報を前記記憶装置から取り出し、当該位置情報が示す位置を登録する地点とし、名称及び撮影画像と対応付けて登録地点に登録することを特徴とする。

また本発明は、上記ナビゲーション装置において、前記音声認識手段により認識された名称に対応する撮影画像が前記記憶装置に記憶されていない場合、当該名称を保持し、当該名称に対応する撮影画像が記憶されたときに、当該撮影画像、位置情報、及び名称を対応付けて登録地点に登録することを特徴とする。

本発明によれば、移動体の移動の間、文字認識手段によって撮影装置の撮影像に対して文字認識し、名称を示す文字が検出された場合に、当該名称が写った撮影像を撮影画像として取り込むため、常に撮影画像を記憶する構成に比べて記憶容量を節約でき、また、撮影画像には必ず名称が写っているため、何を撮影したかが分かる有意な撮影画像のみを記憶することができる。また、撮影画像が、取り込み時の移動体の位置情報、及び名称と対応付けて記憶されるため、撮影画像の内容を目視により確認せずとも、撮影時の位置と名称とから撮影画像の内容を容易に思い出すことができる。これに加え、撮影画像の名称が予め対応付けて記憶されるため、ユーザは、撮影画像に名称を付す等の煩雑な作業をする必要がなく操作性の向上が図られる。

本発明の実施形態に係るカーナビゲーション装置の構成を示すブロック図である。 音声入力による地点登録処理のフローチャートである。 撮影画像の記憶、及び地点登録の動作説明図であって、既に通過した地点が地点登録指示されたときの説明図である。 撮影画像の記憶、及び地点登録の動作説明図であって、未だ通過していない地点が地点登録指示されたときの説明図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下の説明では、本発明に係るナビゲーション装置の一例として、自動車等の車両に搭載され、車両の現在位置を含む周辺地図を表示しながら目的地までの経路を案内するとともに、ユーザが指定した地点を登録地点として登録する地点登録機能を備えたカーナビゲーション装置について例示する。
図１は、本実施形態に係るカーナビゲーション装置１の機能的構成を示すブロック図である。
この図において、制御部２は、各部を中枢的に制御するものであり、例えばＣＰＵやＲＯＭ、ＲＡＭ等を備えている。位置検出部３は、車両の現在位置を検出して位置情報を制御部２に出力する。この位置検出部３は、例えばＧＰＳを利用して現在位置の絶対位置（経度、緯度）を検出し、ジャイロセンサーなどを使って現在位置の相対的な方位を検出する。車速検出部４は、車両が出力する車速パルスを取り込んで車両の走行速度（以下、単に「車速」と言う）を検出し、制御部２に出力する。
地図データベース５は、経路案内に必要となる地図データや経路データといった各種データを記憶する。表示部６は、経路案内に供する画面を表示するものであり、経路案内中には、地図上に車両の現在位置と走行方向とが表示される。操作部７は、複数の操作子を備え、カーナビゲーション装置１に対するユーザの各種操作を受け付ける。

撮影データ入力部８は、車両に設けられた撮像手段としての車載カメラ２０が撮影した撮影像のデータである撮影データが入力され、当該撮影データを名称検出部９に出力する。車載カメラ２０は、車両が移動している間、車両の走行方向を、少なくとも運転者の視界よりも広い範囲に亘り撮影可能に車両に設けられている。すなわち、車載カメラ２０は、車両走行中に運転者が視認したものと同等のものを撮影し、撮影データ入力部８を介して名称検出部９に出力する。

名称検出部９は、車載カメラ２０の撮影像に写っている文字を検出し、被写体の名称を示す文字、或いは文字列（以下、単に「文字列」と言う）が検出された場合に、当該名称が写った撮影像を撮影画像として撮影画像バッファメモリ１０に名称と対応付けて出力するものであり、文字認識部１１を備えている。文字認識部１１は、車両走行中に撮影データ入力部８から順次に入力されてくる撮影像を対象に文字認識処理を施し、撮影像に写っている文字列を検出する。
名称辞書データ１２は、多数の被写体の名称が予め登録されたデータベースである。名称検出部９は、文字認識部１１により検出された文字列が、名称辞書データ１２に登録されている場合、かかる文字列が被写体の名称であると判断し、この文字列が写っている撮影画像を撮影像から取り込み、被写体の名称、及び制御部２を通じて取得した車両の位置情報を対応付けて撮影画像バッファメモリ１０に出力する。

名称辞書データ１２に名称が登録される被写体は、地点登録の対象となり得る構造物であり、例えば建物や橋、地名が記された歩道橋とった建造物が主として含まれる。また、この被写体の名称には、建物や橋の名称、商業施設にあっては施設名や店名、会社名、歩道橋にあっては地名といったものが挙げられる。なお、ユーザが所望の名称を名称辞書データ１２に登録可能にしても良いことは勿論である。
名称検出部９では、名称辞書データ１２に登録されている名称が写った撮影画像だけが撮影像から取り込まれるため、地点登録に有意な画像だけが確実に取り込まれることとなる。

撮影画像バッファメモリ１０は、名称検出部９から入力された撮影画像、位置情報及び名称の対を一時的に記憶するメモリである。撮影画像バッファメモリ１０は、撮影画像、位置情報及び名称の対を所定個数分だけ記憶し、新規に記憶する場合には古いものから順に消去されるように、例えばリングバッファで構成されている。この撮影画像バッファメモリ１０は、少なくとも一定走行距離中（例えば数十〜数百メートル）に存在し得る被写体の撮影画像を記憶できる程度の記憶容量を備えている。これにより、車両走行中に被写体を通り過ぎた後でも、この被写体の撮影画像を地点登録に用いることができる。
そして、上記撮影データ入力部８、名称検出部９（文字認識部１１）、位置検出部３、撮影画像バッファメモリ１０、及び制御部２を備えて、車載カメラ２０の撮影像を取り込み、撮影画像を記憶装置たる撮影画像バッファメモリ１０に記憶する画像記憶装置３０が構成されている。

本実施形態のカーナビゲーション装置１では、少なくとも走行中にあっては、地点登録の指示を音声入力により入力可能に構成されている。すなわち、図１において、音声入力部１３は、運転者等のユーザの音声を受音する例えばマイクを含んで構成され、ユーザの音声を音声認識部１４に出力する。音声認識部１４は、ユーザの音声に対して音声認識処理を施し、音声認識結果を制御部２に出力する。
本実施形態では、地点登録指示は、地点登録の対象とする被写体の名称を音声入力することで行われる。すなわち、音声認識部１４は、認識した音声に、名称辞書データ１２に登録されている名称が含まれているか否かを判断し、名称が含まれている場合に、この名称を制御部２に地点登録指示として出力する。

制御部２は、地点登録指示を示す名称が音声認識部１４から入力されると、この名称を検索キーとして撮影画像バッファメモリ１０を検索し、該当する名称と、この名称に対応付けられた撮影画像、及び位置情報とを登録地点データ１６として登録地点メモリ１５に出力する。登録地点メモリ１５は、多数の登録地点データ１６を記憶するものである。なお、この登録地点メモリ１５は、上述した地図データベース５の記憶領域に設けても良いことは勿論である。

図２は、音声入力による地点登録処理のフローチャートである。
この図に示すように、車載カメラ２０は、車両のＡＣＣ電源（アクセサリ電源）がオンされるに伴って撮影を開始し（ステップＳ１）、これにより、車載カメラ２０の撮影像の撮影データが順次に撮影データ入力部８を通じてカーナビゲーション装置１に入力される。カーナビゲーション装置１の名称検出部９は、撮影像に対して文字認識処理を施し（ステップＳ２）、名称辞書データ１２に登録されている名称を含む文字列が認識されたか否かを判断する（ステップＳ３）。名称を含む文字列が認識された場合（ステップＳ３：ＹＥＳ）、名称検出部９は、この文字列を含む撮影像の画像を撮影画像として取り込み（ステップＳ４）、取り込み時の車両の位置情報を制御部２から取得し（ステップＳ５）、これら撮影画像、位置情報、及び文字列に含まれる名称を対応付けて撮影画像バッファメモリ１０に記憶する（ステップＳ６）。
これにより、車両の走行中等には、例えば図３に示すように、被写体の名称を認識したタイミングＴ１、Ｔ２・・・ごとに、当該被写体の名称が写った撮影画像が位置情報、及び名称と対応付けて撮影画像バッファメモリ１０に記憶される。これにより、名称の入力に基づいて、撮影画像バッファメモリ１０の中から該当する撮影画像を検索する等の処理が可能になる。

すなわち、図２のステップＳ７に示すように、登録する地点の「名称」が音声により地点登録指示として音声認識部１４から入力された場合（ステップＳ７：ＹＥＳ）、制御部２は、指定された地点を検索キーとして撮影画像バッファメモリ１０を検索し、該当する撮影画像が記憶されているか否かを判断する（ステップＳ８）。かかる撮影画像が記憶されている場合（ステップＳ８：ＹＥＳ）、制御部２は、この撮影画像とともに、この撮影画像に対応付けられている位置情報を撮影画像バッファメモリ１０から読み出し（ステップＳ９）、登録地点メモリ１５に登録地点データ１６として記憶する（ステップＳ１０）。
カーナビゲーション装置１は、表示部６に地図を表示する場合、登録地点データ１６の位置情報に対応する位置に、登録地点であることを示すアイコン（図像）とともに、名称及び撮影画像を表示する。

また、図３に示すように、ユーザは、タイミングＴ３の近傍で通過する「四角家ラーメン」を地点登録しようとしたところ、地点登録指示が遅れ、「四角家ラーメン」を通り過ぎってしまった場合でも、タイミングＴ３で「四角家ラーメン」を名称とする撮影画像が自動で取り込まれて撮影画像バッファメモリ１０に記憶されていることから、この「四角家ラーメン」の撮影画像が検索により抽出され、登録地点として登録されることとなる。このように、登録地点を通過するタイミングから遅れて地点登録指示をユーザが与えた場合でも、その遅れたタイミングのときに居る地点が地点登録されるのではなく、ユーザが所望する地点の撮影画像、及び位置情報が名称により抽出されて登録されるため、ユーザが所望する登録地点を正確に登録できる。

また、車両走行中には、登録しようとする地点が視界に入ってないような手前の位置からでも、この地点を指定する地点登録指示を受け付け、この地点の撮影画像が記憶されたときに自動で登録できると便利である。
そこで本実施形態の制御部２は、図２のステップＳ８の判断において、地点登録指示で指定された地点の撮影画像が記憶されていない場合（ステップＳ８：ＮＯ）、処理を終了するのではなく、かかる地点登録指示（名称）を未完了登録地点としてＲＡＭ等に記憶して管理する（ステップＳ１１）。そして、この未完了登録地点が記憶されている場合には（ステップＳ１２：ＹＥＳ）、制御部２は、登録地点として指定されている「名称」を検索キーとして撮影画像バッファメモリ１０を検索し、該当する撮影画像が記憶されているときには（ステップＳ１３：ＹＥＳ）、この撮影画像及び位置情報を読み出し（ステップＳ１４）、名称と対応付けて登録地点メモリ１５に登録地点データ１６として記憶し（ステップＳ１５）、この未完了登録地点をＲＡＭ等から消去する（ステップＳ１６）。
一方、ステップＳ１３において、該当する撮影画像が未だ記憶されていないときには（ステップＳ１３：ＮＯ）、指定された登録地点を未だ車両が通過していないと考えられるため、制御部２は、処理手順をステップＳ２に戻すこととなる。

これにより、例えば図４に示すように、ユーザは、タイミングＴ３の近傍で通過する「四角家ラーメン」を地点登録しようとして、「四角家ラーメン」が視界に入る前のタイミングＴｂで地点登録指示を与えた場合であっても、「四角家ラーメン」が未完了登録地点として管理され、タイミングＴ３で「四角家ラーメン」を名称とする撮影画像が自動で取り込まれたときに、「四角家ラーメン」の撮影画像が検索により抽出され、登録地点として登録されることとなる。
このように、登録地点を通過するタイミングから遅れて地点登録指示を与えた場合のみならず、登録地点を通過するタイミングよりも早いタイミングで地点登録指示を与えた場合においても、ユーザが所望する登録地点が正確に登録されることとなる。
これにより、ユーザは、登録地点を通過するタイミングを差ほど気にせずに地点登録指示を与えることができ、使い勝手の良いカーナビゲーション装置１が実現される。

以上説明したように、本実施形態によれば、車両走行中の間、文字認識部１１によって車載カメラ２０の撮影像に対して文字認識し、被写体の名称を示す文字列（一文字を含む）が検出された場合に、当該名称が写った撮影像を撮影画像として取り込むため、常に撮影画像を記憶する構成に比べて記憶容量を節約できる。
これに加え、撮影画像には必ず名称が写っているため、何を撮影したかが分かる有意な撮影画像のみが記憶されることとなり、かかる撮影画像を、位置情報、及び名称と対応付けて記憶することで、撮影画像の内容を目視により確認せずとも、撮影時の位置と名称とから撮影画像の内容を容易に思い出すことができる。
さらに、撮影画像の名称が予め対応付けて記憶されるため、ユーザは、撮影画像に名称を付す等の煩雑な作業をする必要がなく、操作性の向上が図られる。

また、本実施形態によれば、登録する地点の名称を地点登録指示として受け取り、この名称に対応する撮影画像、位置情報及び名称を登録地点に登録する構成とした。
この構成により、登録する地点を通り過ぎた後であっても、指示した地点の位置、及び撮影画像を確実に地点登録することができる。これに加え、登録地点には、撮影画像に写った被写体の名称が対応付けられるため、ユーザが別途に名称を振る必要がなく、カーナビゲーション装置１の使い勝手が向上する。

また、本実施形態によれば、登録する地点の名称を音声により入力可能な構成としたため、運転者等のユーザは、車両走行中でも、視界に入った被写体の名称を発声するだけで、この被写体の位置を速やかに登録することができ、その都度、操作キー等を操作して、登録する地点の名称を入力する必要がない。

また、本実施形態によれば、指示された名称に対応する撮影画像が撮影画像バッファメモリ１０に記憶されていない場合、当該名称を未完了登録地点として保持して管理し、当該名称に対応する撮影画像が記憶されたときに、当該撮影画像、位置情報、及び名称を対応付けて登録地点に登録する構成とした。
この構成により、被写体の存在する地点を未だ通過していない場合であっても、この被写体の地点を通過したときに、速やかに地点登録することができる。これにより、運転者等のユーザは、登録する被写体の通過を車両走行中に意識する必要がない。

なお、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形及び応用が可能である。

例えば、上述した実施形態では、画像記憶装置３０の応用例として、カーナビゲーション装置１の地点登録を説明したが、これに限らず、自動で車外の撮影画像を取り込み記憶し、ユーザが後から閲覧して楽しむといった使い方もできる。また、文字認識により名称が認識された場合に限らず、ユーザによって撮影が指示されたときにも撮影像から撮影画像を取り込み記憶する構成としても良い。

また例えば、上述した実施形態では、ナビゲーション装置の一例として、車両に搭載されるカーナビゲーション装置１を例示したが、本発明は、これに限らず、ユーザが携帯し移動時に経路案内に使用するポータブルナビゲーション装置にも適用可能である。

１ ナビゲーション装置
２ 制御部
３ 位置検出部（位置情報取得部）
４ 車速検出部
６ 表示部
８ 撮影データ入力部
９ 名称検出部
１０ 撮影画像バッファメモリ（記憶装置）
１１ 文字認識部（文字認識手段）
１２ 名称辞書データ
１３ 音声入力部（音声入力手段）
１４ 音声認識部（音声認識手段）
１５ 登録地点メモリ
１６ 登録地点データ
２０ 車載カメラ（撮影装置）
３０ 画像記憶装置

Claims (4)

1. 移動体に設けられた撮影装置の撮影像を取り込み、撮影画像を記憶装置に記憶する画像記憶装置において、
   前記撮影像に写っている文字を文字認識する文字認識手段と、
   前記移動体の位置情報を取得する位置情報取得手段と、を備え、
   前記移動体の移動中に、前記文字認識手段によって前記撮影装置の撮影像に対して文字認識し、名称を示す文字が検出された場合に、当該名称が写った撮影像を撮影画像として取り込み、当該撮影画像を、取り込み時の移動体の位置情報、及び前記名称と対応付けて前記記憶装置に記憶する
   ことを特徴とする画像記憶装置。
2. 指示された地点を登録するとともに、登録した登録地点を地図上に表示するナビゲーション装置において、
   請求項１に記載の画像記憶装置と、
   登録する地点の名称の入力を受け付ける入力手段と、を備え、
   前記入力手段により受け付けた名称に対応する撮影画像、及び、位置情報を前記記憶装置から取り出し、当該位置情報が示す位置を登録する地点とし、名称及び撮影画像と対応付けて登録地点に登録する
   ことを特徴とするナビゲーション装置。
3. 前記入力手段は、
   音声入力を受け付ける音声入力手段と、
   音声を認識する音声認識手段と、を備え、
   登録する地点の名称を示す音声が前記音声認識手段により認識されたときに、認識された名称に対応する撮影画像、及び、位置情報を前記記憶装置から取り出し、当該位置情報が示す位置を登録する地点とし、名称及び撮影画像と対応付けて登録地点に登録する
   ことを特徴とする請求項２に記載のナビゲーション装置。
4. 前記音声認識手段により認識された名称に対応する撮影画像が前記記憶装置に記憶されていない場合、当該名称を保持し、当該名称に対応する撮影画像が記憶されたときに、当該撮影画像、位置情報、及び名称を対応付けて登録地点に登録する
   ことを特徴とする請求項３に記載のナビゲーション装置。

Images