JP2019220991A - 判定装置、判定方法および判定プログラム - Google Patents

Abstract

【課題】複数の機器が撮影した画像の同一性の判定に基づき、複数の機器を連携制御できること。【解決手段】第１機器で撮影された第１画像を撮影時刻とともに取得する第１取得部１０１と、第２機器で撮影された第２画像を撮影時刻とともに取得する第２取得部１０２と、第１画像と第２画像それぞれの撮影画像と撮影時刻に基づき、第１画像と第２画像の撮影位置の同一性を判定する判定部１０３と、判定結果を第１機器もしくは第２機器に出力する出力部１０５と、を有する。【選択図】図１

Description

この発明は、複数の機器がそれぞれ撮影した画像に基づき複数の機器の連携可能であるか判定する判定装置、判定方法および判定プログラムに関する。ただし、この発明の利用は、判定装置、判定方法および判定プログラムに限らない。

従来、複数の機器を互いに連携動作させる技術が提案されている。例えば、第１機器と第２機器に共通のポインティングデバイスに指紋センサを設け、一方の機器の指紋センサで検出した個人識別情報を他方の機器に通知し、他方の機器は連携動作の通知と、一方の機器からの個人識別情報の通知の一致で、ユーザ認証等の所定の連携動作を行う技術が開示されている（例えば、下記特許文献１参照。）。

特開２００８−１８１３１９号公報

しかしながら、上記従来の技術では、複数の機器を連携動作させ認証するために煩雑な接続手順が必要であり、ユーザ操作に手間がかかるという問題が一例として挙げられる。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる判定装置は、第１機器で撮影された第１画像を取得する第１取得手段と、第２機器で撮影された第２画像を取得する第２取得手段と、前記第１画像と前記第２画像それぞれの撮影画像に基づき、前記第１画像と前記第２画像の撮影位置の同一性を判定する判定手段と、前記判定手段による判定結果に応じて前記第１機器と前記第２機器とが互いに連携可能であることを前記第１機器もしくは前記第２機器に出力する出力手段と、を有することを特徴とする。

また、請求項６の発明にかかる判定方法は、判定装置が実施する判定方法において、第１機器で撮影された第１画像を取得する第１取得工程と、第２機器で撮影された第２画像を取得する第２取得工程と、前記第１画像と前記第２画像それぞれの撮影画像に基づき、前記第１画像と前記第２画像の撮影位置の同一性を判定する判定工程と、前記判定工程による判定結果に応じて前記第１機器と前記第２機器とが互いに連携可能であることを前記第１機器もしくは前記第２機器に出力する出力工程と、を含むことを特徴とする。

また、請求項７の発明にかかる判定プログラムは、請求項６に記載の判定方法をコンピュータに実行させることを特徴とする。

図１は、実施の形態にかかる判定装置の機能的構成の一例を示すブロック図である。 図２は、実施の形態にかかる判定装置の処理手順の一例を示すフローチャートである。 図３は、実施例１による複数の機器の構成例を示す図である。 図４は、実施例１のナビゲーション装置のハードウェア構成の一例を示すブロック図である。 図５は、実施例１の第１機器が実行する判定処理例を示すフローチャートである。 図６は、実施例１の第１機器が実行する画像を用いた同一車両の判定処理例を示すフローチャートである。 図７は、実施例１の画像処理で検出する検出パラメータを説明する図である。 図８は、実施例１による同一車両の判定処理の通知画面例を示す図である。 図９は、実施例１による第１機器と第２機器の連携制御例を示す図である。（その１） 図１０は、実施例１による第１機器と第２機器の連携制御例を示す図である。（その２） 図１１は、実施例１による第１機器と第２機器の連携制御例を示す図である。（その３） 図１２は、実施例１による第１機器と第２機器の連携制御例を示す図である。（その４） 図１３は、実施例２による複数の機器の構成例を示す図である。 図１４は、実施例２の第３機器が実行する判定処理例を示すフローチャートである。

（実施の形態）
以下に添付図面を参照して、この発明にかかる判定装置、判定方法および判定プログラムの好適な実施の形態を詳細に説明する。この発明では、複数の機器が撮影した画像を画像処理等して複数の機器の撮影位置の同一性を判定し、同一と判定した複数の機器を連携させる。例えば、ある車両に搭載された複数の機器を手動設定することなく、自動的に複数の相互が連携制御可能であるか判定できるようにする。これら複数の機器は、例えば、ＯＳが異なるため、互いをネットワーク接続しただけでは連携制御できない機器である。

図１は、実施の形態にかかる判定装置の機能的構成の一例を示すブロック図である。実施の形態にかかる判定装置１００は、第１取得部１０１と、第２取得部１０２と、判定部１０３と、表示制御部１０４と、出力部１０５とを含む。実施の形態では、単一の情報機器、例えばサーバがこれらの各機能を有する。

第１取得部１０１は、第１機器が撮影した第１画像を第１機器から取得する。第２取得部１０２は、第２機器が撮影した第２画像を第２機器から取得する。また、これら第１取得部１０１と第２取得部１０２は、画像と共に撮影時刻を取得しても良い。第１画像および第２画像は、静止画に限らず動画（時間別の静止画の集合）でもよい。

判定部１０３は、第１取得部１０１が取得した第１画像と、第２取得部１０２が取得した第２画像それぞれの撮影画像に基づき、第１画像と第２画像の撮影位置の同一性を判定する。この判定にと撮影時刻を含めてもよい。

出力部１０５は、判定部１０３の判定結果に応じて第１機器と第２機器に対して互いが連携可能であるか否かを通知する。

表示制御部１０４は、判定部１０３の判定結果に基づき、第１機器で表示可能な映像の一部を第２機器に表示させる表示制御を行う。

上記構成について、例えば、第１機器と第２機器が同一の車両に搭載された例で説明する。第１機器と第２機器は所定方向に向けた撮影部（カメラ）を有し、カメラが静止画を撮影して第１画像と第２画像を判定装置１００に出力する構成であるとする。この場合、判定部１０３は、第１画像と第２画像の撮影位置の同一性を判定する。

この撮影位置の同一性の判定では、画像が示す検出オブジェクト（被写体）を画像処理することにより、第１画像と第２画像が同一の位置から撮影されたものであるか否かを判定する。ここで、第１画像と第２画像の厳密な一致だけで判定するのではない。

この例では、同一の車両から撮影されたものであるか否か（第１機器と第２機器が同一車両に搭載されているかに相当）を判定する。したがって、撮影位置の同一性の判定では、第１画像と第２画像がいずれも同一の検出オブジェクト（被写体）を含んでいる場合に、第１機器と第２機器の設置位置の違いや、撮影画角の違いを許容して同一の車両の範囲内で撮影された画像であるかを判定している。

この画像処理による判定の際には、さらに、第１画像と第２画像の撮影時刻の同一性を加えて判定できる。例えば、第１画像と第２画像の撮影時刻がいずれも所定期間内に撮影されたものであれば、同位置の位置から撮影されたとの判定結果に重みを加えて撮影位置の同一性の判定の信頼度を向上させる。

このほか、第１機器の撮影方向と第２機器の撮影方向の角度が異なる場合にも対応できる。例えば、判定部１０３は、異なる撮影角度を予め考慮して第１画像と第２画像とのいずれでも撮影される画像の内容（被写体）を画像処理し、さらに撮影時刻の判定を含めることで第１画像と第２画像が同一の位置（同一車両）から撮影されたものであるか否かを判定できる。

さらには、第１機器の撮影方向と第２機器の撮影方向とが逆方向の場合にも対応できる。例えば、第１機器が車両の前方を撮影し、第２機器が車両の後方を撮影し、車両が前方に進行する場合、第１機器が進行方向前方の被写体を撮影し、その後、車両速度に応じた所定時間経過後に第２機器が同じ被写体を撮影する。この場合でも、判定部１０３は、撮影方向が逆であること、および第１機器による撮影後所定時間経過後に同じ被写体を第２機器が撮影することを予め考慮して第１画像と第２画像とのいずれでも撮影される画像の内容（被写体）を画像処理することで、第１画像と第２画像が同一の位置（同一車両）から撮影されたものであるか否かを判定できる。

この場合、第１機器では、被写体の一方の面を撮影し、第２機器では同じ被写体の他方の面を撮影する場合があり、画像処理ではこの面の違い等を考慮して画像処理する。例えば、道路標識について、第１画像は標識面を撮影し、第２画像は標識の裏面を撮影することになる。この場合、第１画像により標識面や形状を含めて標識であることを画像認識し、第２画像では標識面を含めず所定時間経過の標識相当の画像の形状が一致することで同一の被写体（標識）であることを認識できれば、判定部１０３は、これら第１画像と第２画像が同一車両から撮影されたものであると判定する。

例えば、判定装置１００は、第１機器および第２機器とネットワークで通信接続され、ネットワークを介して相互に情報（例えば、上記第１画像、第２画像、および判定結果等）を通信する。例えば、車両内通信網を用いたり、無線ＬＡＮ等、有線、無線の各種接続形態がある。

ここで、判定装置１００は、ユーザが設定操作することなく、第１機器と第２機器を連携させる。この連携の制御を行うにあたり、上記撮影画像を無線等で取得する場合、例えば、自車に搭載した機器の画像だけではなく、隣接して走行中のほかの車両の機器が撮影した画像を取得することが考えられる。これに対応するため、例えば、判定装置１００（判定部１０３）は、無線ＬＡＮのＳＳＩＤの一致により、第１機器と第２機器が同一車両に設けられたか否かを判定できる。また、第１画像と第２画像に含まれる走行車線と車間距離が所定の範囲内であれば、同一車両と判定できる。さらには、第１機器と第２機器の起動時間（車両のＡＣＣ ＯＮ）が一致すれば、第１機器と第２機器が同一車両に設けられたか否かを判定できる。

そして、判定装置１００の表示制御部１０４は、判定部１０３による判定の結果、第１機器と第２機器が連携可能な場合、第１機器で表示可能な映像の一部を第２機器に表示させる表示制御を行う。例えば、第１機器で表示可能な映像の一部を第２機器に表示させる。第１機器および第２機器がそれぞれ表示部を有する場合、第１機器で表示させる表示内容と第２機器で表示させる表示内容とを異ならせることができ、第１機器および第２機器の設置位置に応じた表示内容を選択できるようになる。

例えば、車両のフロントシート側に設けられた第１機器には運転に関する情報表示を行い、バックシート側に設けられた第２機器には娯楽に関する情報表示を行うことができる。また、第１機器がナビゲーション装置で、バックミラーに第２機器としてミラー型端末が設けられた場合、ナビゲーション装置に地図表示を行い、ミラー型端末に誘導表示（つぎの交差点での進行方向表示等）を行うことができる。

そして、第１機器と第２機器は、判定装置１００の出力部１０５が出力する判定結果の通知に応じて互いが連携可能であるか否かを認識することもできる。例えば、第１機器と第２機器は、互いが連携可能である通知を受けた後は、判定装置１００が第１機器と第２機器との間の情報のやり取りに仲介することなく、直接、第１機器と第２機器間で、連携制御（例えば、上記第１機器で表示可能な映像の一部を第２機器に表示させる表示制御等）を行うこともできる。

そして、上記の説明では、判定装置１００と、第１機器と、第２機器とはそれぞれ個別の装置として説明したが、これに限らず、判定装置１００を第１機器に機能追加する形で設けることもできる。この場合、第１機器が上記の各機能（図１参照）を有し、第２機器が第１機器（自装置）と同一車両に搭載されているか判定して、第２機器との連携を制御できる。

図２は、実施の形態にかかる判定装置の処理手順の一例を示すフローチャートである。判定装置１００が実行する判定および連携制御例を示している。

はじめに、判定装置１００は、第１取得部１０１が第１機器から第１画像を取得し（ステップＳ２０１）、第２取得部１０２が第２機器から第２画像を取得する（ステップＳ２０２）。つぎに、判定装置１００は、判定部１０３が第１画像と第２画像の撮影位置が同一であるかを判定する（ステップＳ２０３）。この判定では、上述したように、第１画像と第２画像が同一の車両から撮影されたものであるかを判定する。判定には、撮影画像に加えて、撮影時刻を含めても良い。

ステップＳ２０３の判定結果、同一である（撮影位置の同一性がある）と判定されれば（ステップＳ２０３：Ｙｅｓ）、判定装置１００の出力部１０５は、第１機器と第２機器に対し、互いが連携可能であることを通知する（ステップＳ２０４）。そして、判定装置の表示制御部１０４は、第１機器と第２機器の表示を連携制御する（ステップＳ２０５）。この連携制御は、例えば、上述したように、第１機器で表示可能な映像の一部を第２機器に表示させる。

一方、ステップＳ２０３の判定結果、同一でない（撮影位置の同一性がない）と判定されれば（ステップＳ２０３：Ｎｏ）、判定装置１００の出力部１０５は、処理を終了する。これに限らず、判定装置１００の出力部１０５は、第１機器と第２機器に対し、互いが連携不可能であることを通知してもよい。

図２では、判定装置１００が第１機器と第２機器の撮影位置の同一性を判定して連携制御する処理例としたが、判定装置１００が第１機器に設けられる場合には、第１機器内の判定装置１００が撮影位置（同一車両）の同一性を判定して第２機器を連携制御する。

なお、上記の説明では、連携する機器を第１機器と第２機器として説明したが、機器数は２つ以上複数あってもよく（第１機器〜第ｎ機器）、判定装置１００は、複数の機器が撮影した第１画像〜第ｎ画像に基づき撮影位置の同一性を判定して第１機器〜第ｎ機器を連携制御できる。

以上の実施の形態によれば、複数の機器の撮影画像を用いて撮影位置の同一性を判定し、同一性があると判定された機器同士を連携制御するため、複数の機器を連携させるためにユーザが煩雑な接続手順を実施することなく、簡単に機器の連携を行えるようになる。

図３は、実施例１による複数の機器の構成例を示す図である。実施例１では、ユーザの車両に第１機器としてナビゲーション装置３００と、第２機器として情報機器３０２が搭載され、第１機器であるナビゲーション装置３００が上記の判定装置１００の機能を有する構成例を用いて説明する。

これら第１機器（情報機器１：ナビゲーション装置）３００および第２機器（情報機器２）３０２は、それぞれ画像を撮影するカメラ３１１，３１２と、相互に通信を行う通信部３２１，３２２とを有する。第２機器（情報機器２）３０２は、第１機器（ナビゲーション装置）３００に対して撮影した画像を送信する機能、および第１機器（ナビゲーション装置）３００による連携制御を受ける機能を有する。

（第１機器のハードウェア構成）
図４は、実施例１のナビゲーション装置のハードウェア構成の一例を示すブロック図である。図４において、第１機器であるナビゲーション装置３００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、磁気ディスクドライブ４０４、磁気ディスク４０５、光ディスクドライブ４０６、光ディスク４０７、音声Ｉ／Ｆ（インターフェース）４０８、マイク４０９、スピーカ４１０、入力デバイス４１１、映像Ｉ／Ｆ４１２、ディスプレイ４１３、通信Ｉ／Ｆ４１４、ＧＰＳユニット４１５、各種センサ４１６、カメラ４１７、を備えている。各構成部４０１〜４１７は、バス４２０によってそれぞれ接続されている。

ＣＰＵ４０１は、ナビゲーション装置３００の全体の制御を司る。ＲＯＭ４０２は、ブートプログラム、判定プログラムを記録している。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。すなわち、ＣＰＵ４０１は、ＲＡＭ４０３をワークエリアとして使用しながら、ＲＯＭ４０２に記録された各種プログラムを実行することによって、ナビゲーション装置３００の全体の制御を司る。

磁気ディスクドライブ４０４は、ＣＰＵ４０１の制御にしたがって磁気ディスク４０５に対するデータの読み取り／書き込みを制御する。磁気ディスク４０５は、磁気ディスクドライブ４０４の制御で書き込まれたデータを記録する。磁気ディスク４０５としては、例えば、ＨＤ（ハードディスク）やＦＤ（フレキシブルディスク）を用いることができる。

また、光ディスクドライブ４０６は、ＣＰＵ４０１の制御にしたがって光ディスク４０７に対するデータの読み取り／書き込みを制御する。光ディスク４０７は、光ディスクドライブ４０６の制御にしたがってデータが読み出される着脱自在な記録媒体である。光ディスク４０７は、書き込み可能な記録媒体を利用することもできる。着脱可能な記録媒体として、光ディスク４０７のほか、ＭＯ、メモリカードなどを用いることができる。

磁気ディスク４０５および光ディスク４０７に記録される情報の一例としては、地図データ、車両情報、道路情報、走行履歴などが挙げられる。地図データは、カーナビゲーションシステムにおいて経路探索するときに用いられ、建物、河川、地表面、エネルギー補給施設などの地物（フィーチャ）をあらわす背景データ、道路の形状をリンクやノードなどであらわす道路形状データなどを含むベクタデータである。

音声Ｉ／Ｆ４０８は、音声入力用のマイク４０９および音声出力用のスピーカ４１０に接続される。マイク４０９に受音された音声は、音声Ｉ／Ｆ４０８内でＡ／Ｄ変換される。マイク４０９は、例えば、車両のダッシュボード部などに設置され、その数は単数でも複数でもよい。スピーカ４１０からは、所定の音声信号を音声Ｉ／Ｆ４０８内でＤ／Ａ変換した音声が出力される。

入力デバイス４１１は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、タッチパネルなどが挙げられる。入力デバイス４１１は、リモコン、キーボード、タッチパネルのうちいずれか一つの形態によって実現されてもよいが、複数の形態によって実現することも可能である。

映像Ｉ／Ｆ４１２は、ディスプレイ４１３に接続される。映像Ｉ／Ｆ４１２は、具体的には、例えば、ディスプレイ４１３全体を制御するグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいてディスプレイ４１３を制御する制御ＩＣなどによって構成される。

ディスプレイ４１３には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像などの各種データが表示される。ディスプレイ４１３としては、例えば、ＴＦＴ液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。

カメラ４１７は、車両外部の道路を含む映像を撮影する。映像は静止画あるいは動画のどちらでもよく、例えば、カメラ４１７によって車両外部を撮影し、撮影した画像をＣＰＵ４０１において画像解析したり、映像Ｉ／Ｆ４１２を介して磁気ディスク４０５や光ディスク４０７などの記録媒体に出力したりする。

通信Ｉ／Ｆ４１４は、無線を介してネットワークに接続され、ナビゲーション装置３００およびＣＰＵ４０１のインターフェースとして機能する。ネットワークとして機能する通信網には、ＣＡＮやＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）などの車内通信網や、公衆回線網や携帯電話網、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＬＡＮ、ＷＡＮなどがある。通信Ｉ／Ｆ４１４は、例えば、公衆回線用接続モジュールやＥＴＣ（ノンストップ自動料金支払いシステム、登録商標）ユニット、ＦＭチューナー、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：登録商標）／ビーコンレシーバなどである。

ＧＰＳユニット４１５は、ＧＰＳ衛星からの電波を受信し、車両の現在位置を示す情報を出力する。ＧＰＳユニット４１５の出力情報は、後述する各種センサ４１６の出力値とともに、ＣＰＵ４０１による車両の現在位置の算出に際して利用される。現在位置を示す情報は、例えば、緯度・経度、高度などの、地図データ上の１点を特定する情報である。

各種センサ４１６は、車速センサ、加速度センサ、角速度センサ、傾斜センサなどの、車両の位置や挙動を判定するための情報を出力する。各種センサ４１６の出力値は、ＣＰＵ４０１による車両の現在位置の算出や、速度や方位の変化量の算出に用いられる。

図４に記載のＲＯＭ４０２、ＲＡＭ４０３、磁気ディスク４０５、光ディスク４０７などに記録されたプログラムやデータを用いて、ＣＰＵ４０１が所定のプログラムを実行することによって、ナビゲーション装置の動作に必要な機能、および図１に示した判定装置１００の判定部１０３と表示制御部１０４の機能を実現する。すなわち、実施例１では、ナビゲーション装置３００内に判定装置１００が組み込まれた機能であるため、ナビゲーション装置３００が有するカメラ４１７が撮影した画像はこのナビゲーション装置３００のＣＰＵ４０１が取得する。また、図４の通信Ｉ／Ｆ４１４を用いて、図１の第１取得部１０１と出力部１０５の機能を実現でき、図４のディスプレイ４１３を用いて図１の出力部１０５（連携後の映像出力）の機能を実現できる。

（第２機器のハードウェア構成）
実施例１の第２機器（情報機器２）３０２のハードウェア構成は、図４に記載した各部のうち、ＣＰＵ４０１〜ＲＡＭ４０３と、映像Ｉ／Ｆ４１２、カメラ４１７、ディスプレイ４１３、通信Ｉ／Ｆ４１４とを有して構成できる。

この第２機器３０２においても、図４記載のＲＯＭ４０２、ＲＡＭ４０３などに記録されたプログラムやデータを用いて、ＣＰＵ４０１が所定のプログラムを実行することによって、図４記載のカメラ３１７を第１機器（ナビゲーション装置）３００に送信し、かつ、第１機器（ナビゲーション装置）３００による連携制御を受け、例えば、第１機器（ナビゲーション装置）３００から受信した表示画像をディスプレイ４１３に表示する。

（実施例１の判定装置の判定処理例）
つぎに、判定装置１００の機能を有する第１機器（ナビゲーション装置）３００が自装置の撮影画像と、第２機器（情報機器２）３０２の撮影画像に基づき、撮影位置の同一性、すなわち同一車両で撮影された画像であるか否か（第１機器と第２機器が同一車両に設けられているか）を判定し、第１機器と第２機器を連携させる制御例について説明する。

図５は、実施例１の第１機器が実行する判定処理例を示すフローチャートである。この図５には、第２機器の動作処理についても併記してある。

はじめに、第１機器３００は、同一車両に搭載されたほかの情報機器の連携制御を行う場合、所定の操作等に基づき、第２機器（情報機器２）３０２の探索を開始する（ステップＳ５０１：Ｙｅｓ）。なお、第１機器３００は、他の情報機器の連携制御を行わない場合には、第２機器（情報機器２）３０２の探索を開始せず（ステップＳ５０１：Ｎｏ）、以下の処理を終了する。

つぎに、第１機器３００は、自装置のカメラ３１１で画像を撮影し第１画像を得る（ステップＳ５０２）。第１機器３００は、所定のタイミング（不定期あるいは定期的に）カメラ３１１で画像を撮影する。この際、第１機器３００は、第１画像の撮影パラメータとして撮影時刻を取得し、撮影画像に関連付ける（ステップＳ５０３）。このステップＳ５０３では、ほかの撮影パラメータとして車両の状態（例えば各種センサ４１６から速度や進行方向、加速度等）や、撮影状態（画角、露出等）を取得してもよい。

つぎに、第１機器３００は、第２機器３０２が撮影した第２画像を第２機器３０２からの受信により取得する（ステップＳ５０４）。第２機器３０２は、所定のタイミング（不定期あるいは定期的に）カメラ３１２で画像を撮影する。ここで、第１機器３００が取得する第２画像は、第１画像の撮影時刻に一致するものを選択的に受信してもよく、例えば、第２機器３０２に対して撮影時刻を指定した撮影画像を送信要求してもよい。

また、第１画像および第２画像は、静止画に限らず動画でもよく、第１画像の撮影時刻を基準として、第２画像の撮影時刻が第１画像の撮影時刻に重なる時刻範囲の動画を取得することとしてもよい。第１機器３００は、動画である第１画像と第２画像のうち撮影時刻が同一の画像（静止画）を用いて撮影位置の同一性を判定できる。第１機器３００は、取得した第１画像と第２画像を記憶部（例えば図４の磁気ディスク４０５）に保存する。

つぎに、第１機器３００は、記憶部から第１画像と第２画像を読み出し、第１画像と第２画像が同じ車両で撮影された画像であるかを判定する（ステップＳ５０５）。この処理は、上記撮影位置の同一性の判定に相当し、画像処理により判定する。

撮影位置の同一性の判定の処理例は後述するが、第１画像と同一時刻に撮影された第２画像とを読み出して比較し、一致する被写体の有無等により、第１画像と第２画像が同じ車両で撮影された画像であるかを判定する。この際、厳密には、第１画像と第２画像は完全に一致する画像がないことを想定して、所定の時刻範囲を有して比較したり、車両の速度に応じて比較する第１画像の撮影時刻と第２画像の撮影時刻を異ならせたり、第１画像と第２画像の画角の違いに相当する補正を行い画像比較したりする。

ステップＳ５０５による判定処理の結果、第１画像と第２画像が同じ車両で撮影された画像であると判定されれば（ステップＳ５０５：Ｙｅｓ）、第１機器３００は、第２機器３０２を連携制御の対象機器として登録し（ステップＳ５０６）、以降第２機器３０２に対して判定結果を通知して連携制御を行う（連携制御例は後述する）。ステップＳ５０５による判定処理の結果、第１画像と第２画像が同じ車両で撮影された画像であると判定されなければ（ステップＳ５０５：Ｎｏ）、ステップＳ５０１に戻る。

一方、第２機器（情報機器２）３０２では、画像（第２画像）を撮影すると（ステップＳ５１１）、この第２画像の撮影時刻を取得し、撮影画像に関連付ける（ステップＳ５１２）。このステップＳ５１２では、第２機器が取得可能な撮影に関連するほかの情報を取得してもよい。

そして、第２機器３０２は、撮影した第２画像を撮影時刻、そのほか撮影に関連するほかの情報（撮影パラメータ）があれば併せて第１機器に送信する（ステップＳ５１３）。

この後、第２機器３０２は、第１機器３００による撮影位置の同一性の判定結果の通知を待つ。第１機器３００が撮影位置の同一性があると判定した場合、第２機器３０２は第１機器３００から、第２機器３０２が第１機器３００と同じ車両で撮影された画像であると通知される。この通知として、第２機器３０２が第１機器３００と同じ車両に搭載されていると通知されてもよい。この後、第２機器３０２は第１機器３０１による連携制御を受ける（ステップＳ５１４）。

（画像処理例）
図６は、実施例１の第１機器が実行する画像を用いた同一車両の判定処理例を示すフローチャートである。第１機器３００の判定装置１００が実行する処理例を示し、第１画像と第２画像のそれぞれに対して行う処理（図５のステップＳ５０５）の詳細を記載してある。

はじめに、第１機器３００は、第１画像と第２画像の撮影時刻を含む撮影パラメータを取得する（ステップＳ６０１）。つぎに、第１機器３００は、第１画像と第２画像が同一時刻で撮影されているか判定する（ステップＳ６０２）。ここでは、便宜上、第１画像と第２画像が同一時刻で撮影されたものとして説明する。同一時刻で撮影されている第１画像と第２画像があれば（ステップＳ６０２：Ｙｅｓ）、ステップＳ６０３以下の処理を実行し、同一時刻で撮影されている第１画像と第２画像がなければ（ステップＳ６０２：Ｎｏ）、処理を終了する。

ステップＳ６０３では、画像処理により第１画像と第２画像の画像情報をそれぞれ検出する（ステップＳ６０３）。この処理では、例えば画像のエッジ検出を行い（ステップＳ６１１）、車線領域の検出を行い（ステップＳ６１２）、オブジェクト（被写体）の検出を行って（ステップＳ６１３）、各検出パラメータを保存する（ステップＳ６１４）。

この後、第１機器は、第１画像と第２画像について、ステップＳ６０３で検出した各検出パラメータが同一であるか判定する（ステップＳ６０４）。ステップＳ６０４の判定結果、第１画像と第２画像の各検出パラメータが同一であれば（ステップＳ６０４：Ｙｅｓ）、第１画像と第２画像は同一車両で撮影された画像と判定する（ステップＳ６０５）。一方、ステップＳ６０４の判定結果、第１画像と第２画像の各検出パラメータが同一でなければ（ステップＳ６０４：Ｎｏ）、第１画像と第２画像は同一車両で撮影された画像ではないと判定し、図６の処理を終了する（図５のステップＳ５０１に戻る）。

図７は、実施例１の画像処理で検出する検出パラメータを説明する図である。第１機器が行う画像処理で第１画像と第２画像に対しそれぞれ検出する画像７００を示し、各検出パラメータを例示している。エッジ検出（ステップＳ６１１）では画像上のエッジを検出し、このエッジ検出後、車線領域（図の検出車線１〜４）を検出する（ステップＳ６１２）。

この際、車線間の白線で分断された領域が車線領域（図７の検出車線１〜４）であると認識する。また、画像の横方向のうち最も中心に近い車線（図７の検出車線２）を自車走行中の車線と認識する。

そして、オブジェクト検出（ステップＳ６１３）については、車線上では車両７０１を検出する。例えば、アダブーストアルゴリズムを用い、物体（車両）の形状を機械学習することで、車両７０１を車種別に検出できる。同様に、路側（図７の検出車線１の左端）に位置する道路標識７０２を形状別の標識として検出できる。

（第１カメラと第２カメラの設置位置別の判定処理例）
例えば、第１機器３００および第２機器３０２がいずれも車両前方の画像を撮影する場合、画像処理によって得られた自車走行車線と、検出された車両の位置関係が、２つの機器３００，３０２の画像と一致することを元に、第１画像と第２画像が同一の車両で撮影された画像と判定する。

また、第１機器３００が車両前方の画像を撮影し、第２機器３０２が車両後方の画像を撮影し車両が前方に進行している場合には、第１機器３００で撮影した第１画像と第２機器３０２で撮影した画像について、画像処理によって得られた被写体（静止物、例えば、道路標識や路肩に駐車中の車両）の位置関係が第１画像と第２画像とでは逆転していることで判定する。

さらには、例えば、道路標識であれば、この道路標識には表裏があり、道路の左端に位置する道路標識７０２の表側を第１機器３００で位置撮影した後、車両の速度に応じた所定時間後に道路の右端に位置する同じ道路標識７０２の裏面を第２機器３０２で撮影することに基づき判定できる。

（同一車両判定後の通知例）
図８は、実施例１による同一車両の判定処理の通知画面例を示す図である。第１機器３００が図５のステップＳ５０６により第２機器３０２に通知する画面例を示している。例えば、第１機器３００が上述した同一車両の判定処理を行った結果、第１画像と第２画像が同一の車両で撮影された画像と判定すると、第１機器３００は、第２機器３０２に対して図８に示す認証画面８００を送信する。

この認証画面８００では、第２機器３０２が撮影し、上述した同一の車両で撮影された画像の判定に用いた撮影画像８０１を送信するとともに、「運転中の車両に同期可能な機器が検出されました」と案内文（テキスト）を表示させる。例えば、この第２機器３０２が新たに車両に取り付けられた場合の新規端末である。

このように、判定装置１００の機能を備える第１機器３００は、車両に新たに取り付けられた新規端末（第２機器３０２）が生じる毎に、ユーザ操作がなくても、この新規端末（第２機器３０２）に対して同一車両に取り付けられた装置であることを通知することでユーザに通知できる。ユーザは、第２端末３０２を同一車両に取り付けたものである場合、この認証画面８００上で「同期する」選択ボタン８０２を操作することで、第２機器３０２を第１機器３００に同期（連携）させることができる。また、「同期しない」選択ボタン８０３を操作することで第２機器３０２を第１機器３００に同期（連携）させないこともできる。

上記のように、第１機器３００は、図８のようなユーザへの同期（連携）確認を行った後に第１機器３００と第２機器３０２とを同期（連携）させることもできる。これに限らず、第１機器３００は、図８のようなユーザへの同期（連携）確認の画面を送出せず、自動的に第１機器３００と第２機器３０２とを同期（連携）させてもよい。

（第１機器と第２機器の連携制御例）
つぎに、上述した第１機器３００と第２機器３０２が同じ車両で撮影された画像であると判定された登録されることで（図５のステップＳ５０６）、以降の第１機器３００と第２機器３０２との同期（連携）制御例について説明する。

図９〜図１２は、それぞれ実施例１による第１機器と第２機器の連携制御例を示す図である。図９〜図１２では、いずれも、第１機器（ナビゲーション装置）３００と第２機器３０２とが同一車両に設けられている判定結果に基づき、第１機器３００が第２機器３０２の表示を連携制御する例について記載してある。第２機器３０２は、バックミラーに設けられた表示機能を有するミラー型端末であるとする。

図９に示す例では、第１機器（ナビゲーション装置）３００は、経路探索した結果の経路を含む地図画面９０１を表示する。また、第１機器（ナビゲーション装置）３００は、第２機器３０２の表示を制御し、車両進行中に経路上の情報（例えば、つぎの交差点の誘導方向）９０２を表示する。

図１０に示す例では、第１機器（ナビゲーション装置）３００は、経路探索した結果の経路を含む地図画面９０１を表示する。また、第１機器（ナビゲーション装置）３００は、第２機器３０２の表示を制御し、第１機器（ナビゲーション装置）３００で再生中のコンテンツの楽曲リストや映像１００２を表示する。

図１１に示す例では、第１機器（ナビゲーション装置）３００は、再生中のコンテンツの楽曲リストや映像１１０１を表示する。また、第１機器（ナビゲーション装置）３００は、第２機器３０２の表示を制御し、第１機器（ナビゲーション装置）３００で経路探索した結果の経路に基づき、車両進行中に経路上の情報（例えば、つぎの交差点の誘導方向）９０２を表示する。

図１２に示す例では、第１機器（ナビゲーション装置）３００は、第１機器に接続されたカメラ（前方カメラ）３１１ａの撮影画像１２０１を表示する。また、第１機器（ナビゲーション装置）３００は、第２機器３０２の表示を制御し、第１機器（ナビゲーション装置）３００に接続されたカメラ（後方カメラ）３１１ｂの撮影画像１２０２を表示する。なお、第２機器３０２は、自身が前方カメラ３１２を有し、第２機器３０２上に前方カメラ３１２を表示することもできる。

これら図９〜図１２に示したように、第１機器（ナビゲーション装置）３００と、第２機器（ミラー型端末）３０２とが同一車両に設けられていると判定した後、第１機器３００は、第２機器３０２を連携制御（車両の進行に伴う同期制御等を）できる。上記例のように、画面表示を連携させることで、一方の機器で表示できない情報を他の機器に表示させることができるようになる。さらには、一方の機器と他方の機器とでそれぞれ必要な情報を表示させることができるようになる。また、上記例では、第１機器３００と第２機器３０２の表示を連携制御させたが、表示に限らず音、振動、さらには各種情報（例えば認証データを含むデータ）を互いに送受信して相互の機器を連携制御することができる。

以上の実施例１によれば、第１機器（ナビゲーション装置）３００に判定装置１００の機能を設けることで、第１機器（ナビゲーション装置）３００が、第２機器３０２を検出したとき、この第２機器３０２が自機器と同一車両に設けられた機器であるかを判定する。この際、第１機器３００は、第１画像と第２画像が同一車両から撮影された画像であるかを画像処理により判定する。第１機器３００が第２機器３０２で撮影された第２画像を取得することで、自機器の第１画像と画像比較して、第２機器３０２が同一車両に設けられた機器であるかを判定できる。

これにより、第２機器３０２を設置したときに第２機器３０２を設置した旨の煩雑なユーザ設定を行わなくても、第２機器３０２を連携制御できるようになる。なお、第２機器３０２は単一機器に限らず複数の機器とすることができ、第１機器３００は複数の第２機器３０２を連携制御できる。

図１３は、実施例２による複数の機器の構成例を示す図である。実施例２では、実施例１と比べて機器構成を変更した例である。図１３に示すように、実施例２では、ユーザの車両に第１機器（情報機器１）としてナビゲーション装置３００と、第２機器（情報機器２、例えば実施例１同様のミラー型端末）３０２と、第３機器（情報機器３）としてのサーバ１３０１が搭載され、第３機器であるサーバ１３０１が上記の判定装置１００の機能を有する構成例を用いて説明する。

第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２は、それぞれ画像を撮影するカメラ３１１，３１２と、相互に通信を行う通信部３２１，３２２とを有する。第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２は、それぞれ第３機器（サーバ）１３０１に対して撮影した画像を送信する機能、および第３機器（サーバ）１３０１による連携制御を受ける機能を有する。

（実施例２のハードウェア構成）
実施例２の第１機器（ナビゲーション装置）３００のハードウェア構成は、図４と同様である。また、第２機器（情報機器２）３０２のハードウェア構成は、図４に記載した各部のうち、ＣＰＵ４０１〜ＲＡＭ４０３と、映像Ｉ／Ｆ４１２、カメラ４１７、ディスプレイ４１３、通信Ｉ／Ｆ４１４とを有して構成できる。また、第３機器（サーバ）１３０１のハードウェア構成は、図４に記載した各部のうち、ＣＰＵ４０１〜ＲＡＭ４０３と、通信Ｉ／Ｆ４１４とを有して構成できる。

そして、第３機器（サーバ）１３０１は、図４記載のＲＯＭ４０２、ＲＡＭ４０３、磁気ディスク４０５、光ディスク４０７などに記録されたプログラムやデータを用いて、ＣＰＵ４０１が所定のプログラムを実行することによって、図１の判定装置１００の機能を実現できる。そして、第３機器（サーバ）１３０１は、第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２のカメラ３１１，３１２が撮影した撮影画像を通信部１３０２を介して取得し、これら、第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２が同一車両に取り付けられているか撮影画像を画像処理して判定し、通信部１３０２を介して第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２を連携制御する。

なお、第３機器（サーバ）１３０１は、第１機器（ナビゲーション装置）３００および第２機器（情報機器２）３０２が同一車両に取り付けられている旨の判定結果を第１機器３００および第２機器３０２に通知するまでの制御を行うこととしてもよい。この場合、第１機器３００および第２機器３０２は、互いが連携可能な通知を受けて、第３機器（サーバ）１３０１を介さずに、第１機器３００および第２機器３０２間で直接、連携制御を行う。

（実施例２の判定装置の判定処理例）
つぎに、判定装置１００の機能を有する第３機器（サーバ）１３０１が第１機器（ナビゲーション装置）３００が撮影した第１画像と、第２機器（情報機器２）３０２が撮影した第２画像に基づき、撮影位置の同一性、すなわち同一車両で撮影された画像であるか否か（第１機器と第２機器が同一車両に設けられているか）を判定し、第１機器と第２機器を連携させる制御例について説明する。

図１４は、実施例２の第３機器が実行する判定処理例を示すフローチャートである。図１４には、第１機器および第２機器の動作処理についても併記してある。

第１機器３００と第２機器３０２は、それぞれ所定のタイミング（不定期あるいは定期的に）カメラ３１１，３１２で画像を撮影する（ステップＳ１４１０）。第１機器３００の例で説明すると、第１機器３００は、カメラ３１１で画像を撮影し第１画像を得る（ステップＳ１４１０）。この際、第１機器３００は、第１画像の撮影パラメータとして撮影時刻を取得し、撮影画像に関連付ける（ステップＳ１４１１）。

このステップＳ１４１１では、ほかの撮影パラメータとして撮影状態（例えば画角、露出）を取得してもよい。このステップＳ１４１１では、第１機器が取得可能な撮影に関連するほかの情報を取得してもよい。そして、第１機器３００は、第１画像を撮影パラメータとともに第３機器１３０１にデータ送信する（ステップＳ１４１２）。第２機器３０２について第１機器３００同様に第２画像を撮影する毎に撮影パラメータを付与して第３機器１３０１に送信する。

第３機器１３０１は、同一車両に搭載された第１機器（ナビゲーション装置）３００と第２機器（情報機器２）３０２から第１画像および第２画像が送信される都度、これら第１画像と第２画像（データ）を受信し（ステップＳ１４０１）、記憶部（例えば、図４の磁気ディスク４０５）に保存する（ステップＳ１４０２）。ここで、第３機器１３０１は、例えば、同一車両に新規に取り付けられた第１機器３００や第２機器３０２から送信される画像を受信する。

この後、第３機器１３０１は、以下の処理により、取得済の第１画像と第２画像の撮影位置の同一性の判定を行う。はじめに、第３機器１３０１は、取得済の第１画像と第２画像のうち、同一時刻で撮影された第１画像と第２画像を収集する（ステップＳ１４０３）。

ところで、第１画像および第２画像は、静止画に限らず動画でもよく、第１画像と第２画像の撮影時刻が重なる時刻の動画を取得することとしてもよく、第３機器１３０１は、動画である第１画像と第２画像のうち撮影時刻が同一の画像（静止画）を用いて撮影位置の同一性を判定できる。

つぎに、第３機器１３０１は、第１画像と第２画像が同じ車両で撮影された画像であるかを判定する（ステップＳ１４０４）。この処理は、上記撮影位置の同一性の判定に相当し、画像処理により判定する。

撮影位置の同一性判定の処理例は図６を用いて説明したように、第１画像と同一時刻に撮影された第２画像とを比較し、一致する被写体の有無等により、第１画像と第２画像が同じ車両で撮影された画像であるかを判定する。

ステップＳ１４０４による判定処理の結果、第１画像と第２画像が同じ車両で撮影された画像であると判定されれば（ステップＳ１４０４：Ｙｅｓ）、第３機器１３０１は、第１機器３００と第２機器３０２を連携制御の対象機器と判定し、第１機器３００と第２機器３０２に対して判定結果を通知する（ステップＳ１４０５）。この後、第３機器１３０１は、第１機器３００と第２機器３０２とを連携制御する。ステップＳ１４０４による判定処理の結果、第１画像と第２画像が同じ車両で撮影された画像であると判定されなければ（ステップＳ１４０４：Ｎｏ）、ステップＳ１４０３に戻る。

第１機器３００と第２機器（情報機器２）３０２側では、第３機器１３０１による撮影位置の同一性の判定結果の通知を待つ（ステップＳ１４１３）。第３機器１３０１が第１画像と第２画像とで撮影位置の同一性があると判定した場合、第１機器３００と第２機器３０２は、第３機器１３０１から第１機器３００と第２機器３０２とが同じ車両で撮影された画像であるとの結果を取得し（ステップＳ１４１４）、登録する（ステップＳ１４１５）。この通知として、第１機器３００が第２機器３０２と同じ車両に搭載されていると通知されてもよい。

また、第３機器１３０１は、第１機器３００と第２機器３０２に対して、図８に示したように、ユーザへの同期（連携）確認画面を送信し、ユーザによる確認操作後に第１機器３００と第２機器３０２とを同期（連携）させることもできる。

この後、第１機器３００および第２機器３０２は、第３機器１３０１による連携制御を受ける。連携制御は、実施例１（例えば図９〜図１２）同様に、第１機器３００と第２機器３０２の表示を連携させることができる。

以上の実施例２によれば、第１機器３００と第２機器３０２の外部の第３機器（サーバ）１３０１に判定装置１００の機能を設けることで、第３機器１３０１が、第１機器３００および第２機器３０２を検出したとき、この第１機器３００と第２機器３０２が同一車両に設けられた機器であるかを判定する。この際、第３機器１３０１は、第１画像と第２画像が同一車両から撮影された画像であるかを画像処理により判定する。第３機器１３０１は、第１機器３００の第１画像と第２機器３０２の第２画像を取得することで、第１画像と第２画像とを画像比較して、第１機器３００と第２機器３０２が同一車両に設けられた機器であるかを判定できる。

これにより、例えば、第１機器３００を設置済で新たに第２機器３０２を設置したときに第２機器３０２を設置した旨の煩雑なユーザ設定を行わなくても、第１機器３００と第２機器３０２を連携制御できるようになる。なお、第１機器３００および第２機器３０２は２つの機器に限らず複数の機器とすることができ、第３機器１３０１は、複数の機器（第１機器３００および第２機器３０２）を連携制御できる。

上記の各実施例では、第１機器としてナビゲーション装置を用い、第２機器としてミラー型端末の構成としたが、これら第１機器および第２機器は、撮影機能を有する情報機器であればよく、例えば、スマートフォンやタブレット、ＰＣなどでもよい。

また、各実施例において、第１機器と第２機器は、起動時刻（例えば車両のＡＣＣ ＯＮによる起動時刻）を保持し、判定装置の機能を備えた機器（実施例１の第１機器あるいは実施例２の第３機器）に起動時刻を送信してもよい。判定装置の機能を備えた機器では、この起動時刻を含めて第１画像と第２画像の撮影位置の同一性を判定してもよい。これにより、異なる車両の機器に対して誤った同一性の判定を行うことを防止できる。

例えば、判定装置の機能を備えた機器が、隣の車線を走行しているほかの車両が撮影した画像を取得することが考えられる。この場合、判定機器は、他の車両の撮影画像を自車の撮影画像と比較したとき、他の車両の撮影画像と自車の撮影画像とで同一時刻に同一の被写体を撮影することで撮影位置の同一性がある（同一車両で撮影された）と誤判定する恐れがある。

このため、第１画像と第２画像を用いた撮影位置の同一性の判定時に、起動時刻を含めて判定することで、第１機器（自車）と第２機器（他の車両）の起動時刻が一致しない（例えば１０分以上異なる）場合、第１画像と第２画像は同一車両の機器で撮影された画像ではないと判断できる。これにより、画像処理だけでは、第１画像と第２画像とで撮影位置の同一性があると判定される画像であっても、実際には同一車両ではないことを判定できるようになる。

なお、本実施の形態で説明した判定方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

１００ 判定装置
１０１ 第１取得部
１０２ 第２取得部
１０３ 判定部
１０４ 表示制御部
１０５ 出力部
３００ ナビゲーション装置（第１機器）
３０２ 情報機器（第２機器）
３１１，３１２ カメラ
１３０１ サーバ（第３機器）

Claims (1)

1. 第１機器で撮影された第１画像を取得する第１取得手段と、
   第２機器で撮影された第２画像を取得する第２取得手段と、
   前記第１画像と前記第２画像それぞれの撮影画像に基づき、前記第１画像と前記第２画像の撮影位置の同一性を判定する判定手段と、
   前記判定手段による判定結果に応じて前記第１機器と前記第２機器とが互いに連携可能であることを前記第１機器もしくは前記第２機器に出力する出力手段と、
   を有することを特徴とする判定装置。
   

Images