JP2013034237A - 画像処理装置、画像処理方法、画像処理システム - Google Patents
画像処理装置、画像処理方法、画像処理システム Download PDFInfo
- Publication number
- JP2013034237A JP2013034237A JP2012230124A JP2012230124A JP2013034237A JP 2013034237 A JP2013034237 A JP 2013034237A JP 2012230124 A JP2012230124 A JP 2012230124A JP 2012230124 A JP2012230124 A JP 2012230124A JP 2013034237 A JP2013034237 A JP 2013034237A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- replacement
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】撮像画像の付加価値の向上
【解決手段】ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、入換領域内の全部又は一部の画素データを、挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、を備える。
【選択図】図5
【解決手段】ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、入換領域内の全部又は一部の画素データを、挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、を備える。
【選択図】図5
Description
本発明は、撮像画像データについての画像処理を行う画像処理装置、画像処理方法、及び画像処理システムに関する。
従来、コンピュータゲームの看板やスポーツスタジアムのテレビジョン放映時の看板などにおいて広告内容を変えるシステムが知られている。
また上記特許文献1、2には広告の形態や種類を変更する技術が開示されている。
また上記特許文献1、2には広告の形態や種類を変更する技術が開示されている。
ところで近年、デジタルスチルカメラやビデオカメラの普及に伴い、一般ユーザが多様な画像撮像を楽しむ環境が整っている。またパーソナルコンピュータ等を用いて、一般ユーザが自分で撮像した画像(いわゆる写真画像や動画)等を編集することも実行できるようになっており、撮像画像に対するユーザの感覚も変化している。
このような状況においては、より多様な画像処理を実現し、例えばユーザが撮像画像から広告その他の情報を受け取ったり、或いは意識的に画像内に情報を挿入できるようにすることで、ユーザの利便性を高めたり、画像を用いた楽しみを広げることができると考えられる。
このような状況においては、より多様な画像処理を実現し、例えばユーザが撮像画像から広告その他の情報を受け取ったり、或いは意識的に画像内に情報を挿入できるようにすることで、ユーザの利便性を高めたり、画像を用いた楽しみを広げることができると考えられる。
そこで本発明では、撮像画像を加工し、ユーザへの情報提供を行ったり、ユーザの楽しみを広げたり、利便性を高めるなどして、撮像画像の付加価値を高めることを目的とする。
本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
また上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する。なお、外部通信機器とは、サーバ装置やサーバ装置以外の各種電子機器であって通信機能を備えた機器のことを示す。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。
また外部通信機器と通信を行う通信部を有し、上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。
また外部通信機器と通信を行う通信部を有し、上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する。
また上記入換画像生成手段で生成された入換画像データ、及び/又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備える。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、上記記録媒体に記録する。
また上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、外部通信機器に送信する。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、上記記録媒体に記録する。
また上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、外部通信機器に送信する。
また上記入換画像生成手段で生成された上記入換画像データについての出力処理を行う画像出力手段を、さらに備える。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記入換画像データについての表示出力を行う。
また上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記入換画像データについての表示出力を行う。
また上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する。
また上記入換領域設定手段は、上記撮像画像データに対する画像解析処理により、上記撮像画像データ内で所定の画像を検出し、検出した画像に基づいて上記入換領域を設定する。
また上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である。
また上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である。
本発明の画像処理方法は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、上記演算処理手段が、上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、上記入換画像データについて出力処理を行い、ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
本発明の画像処理システムは、画像処理装置と、サーバ装置とが通信可能とされた画像処理システムである。そして上記画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備える。
また本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、入換領域の情報とについて保存処理を行う保存処理手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
さらに本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、挿入画像データを記憶する挿入画像記憶手段と、上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
さらに本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、挿入画像データを記憶する挿入画像記憶手段と、上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
即ち以上の本発明では、撮像画像データの画像内で、入換領域を設定する。例えば画像内容を加工しても、画像内容として大きな支障のない画素領域を入換領域とする。例えば画像内で看板が写されている領域、空が写されている領域、文字を含む領域などである。
そしてそのような入換領域内の全部又は一部の画素データを、挿入画像データに置き換える処理を行って入換画像データを生成する。挿入画像データとは、例えば広告、メッセージ、翻訳などの文字や図形その他を含む画像データである。
このようにすると、入換画像データにより、多様な情報提供、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
そしてそのような入換領域内の全部又は一部の画素データを、挿入画像データに置き換える処理を行って入換画像データを生成する。挿入画像データとは、例えば広告、メッセージ、翻訳などの文字や図形その他を含む画像データである。
このようにすると、入換画像データにより、多様な情報提供、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
本発明によれば、撮像画像データに対して、画像上で違和感がないような画像加工が行われ、広告、メッセージ、翻訳文字などの各種情報が提示された入換画像データが生成される。
これによって画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
これによって画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
以下、本発明の画像処理装置、画像処理方法、画像処理システムの実施の形態を説明する。ここでは画像処理装置の例として撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像処理装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
[1.撮像装置の外観例]
[2.撮像装置、システム構成、サーバ装置]
[3.生成画像例]
[4.入換領域、挿入画像データ]
[5.挿入画像データの取得]
[6.画像保存形式例]
[7.画像解析/入換部の処理例I]
[8.画像解析/入換部の処理例II]
[9.動作手順例]
[10.実施の形態の効果、及び変形例、拡張例]
説明は次の順序で行う。
[1.撮像装置の外観例]
[2.撮像装置、システム構成、サーバ装置]
[3.生成画像例]
[4.入換領域、挿入画像データ]
[5.挿入画像データの取得]
[6.画像保存形式例]
[7.画像解析/入換部の処理例I]
[8.画像解析/入換部の処理例II]
[9.動作手順例]
[10.実施の形態の効果、及び変形例、拡張例]
[1.撮像装置の外観例]
実施の形態の撮像装置1としては、各種の形態が想定されるが、それらの外観例を図1(a)(b)(c)(d)に例示する。
図1(a)は、眼鏡型ディスプレイカメラとした撮像装置1を示している。撮像装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置1は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2aが配置される構成とされている。この表示パネル部2aには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2aがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部2aは、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成も考えられる。
実施の形態の撮像装置1としては、各種の形態が想定されるが、それらの外観例を図1(a)(b)(c)(d)に例示する。
図1(a)は、眼鏡型ディスプレイカメラとした撮像装置1を示している。撮像装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置1は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2aが配置される構成とされている。この表示パネル部2aには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2aがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部2aは、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成も考えられる。
図1(b)は、同じくユーザが頭部に装着する撮像装置1を示しているが、図1(a)のような表示パネル部2aを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
これら図1(a)(b)では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置1を挙げたが、撮像装置1をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ3aが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、1又は複数の撮像レンズ3aについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ3aが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、1又は複数の撮像レンズ3aについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。
図1(c)は一般にデジタルスチルカメラとして知られているような形態の撮像装置1を示している。
また図1(d)は一般にビデオカメラとして知られているような形態の撮像装置1を示している。
これら図1(c)(d)のようにユーザが所持して使用する撮像装置1も、本発明の実施の形態の一態様となる。そして図では撮像レンズ3aしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。
また図1(d)は一般にビデオカメラとして知られているような形態の撮像装置1を示している。
これら図1(c)(d)のようにユーザが所持して使用する撮像装置1も、本発明の実施の形態の一態様となる。そして図では撮像レンズ3aしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。
なお、静止画撮像や動画撮像を行う撮像装置として、これら図1(a)(b)(c)(d)に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やPDA(Personal Digital Assistant)、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置1として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ3aの近辺に、被写体方向への照明を行う発光部を、例えばLED(Light Emitting Diode)等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ3aの近辺に、被写体方向への照明を行う発光部を、例えばLED(Light Emitting Diode)等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
[2.撮像装置、システム構成、サーバ装置]
撮像装置1の構成例を図2で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
撮像装置1の構成例を図2で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像画像データが得られる。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部6で処理される。
撮像制御部6は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析/入換部12,ストレージ部14,通信部15,表示制御部7へ供給する処理を行う。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部6で処理される。
撮像制御部6は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析/入換部12,ストレージ部14,通信部15,表示制御部7へ供給する処理を行う。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。
画像解析/入換部12は、この撮像装置1が取得した撮像画像データについて、画像解析や画像合成の処理を行う。
例えば撮像部3で得られる撮像画像データに対して画像解析よりを行って、画像内における入換領域を検出する処理を行う。
また検出された入換領域の画素データを、挿入画像データに入れ換える画像入換処理(画像合成)を行い、入換画像データを生成する。
これらの処理の詳細や、入換領域、挿入画像データ、入換画像データ等については後述する。
例えば撮像部3で得られる撮像画像データに対して画像解析よりを行って、画像内における入換領域を検出する処理を行う。
また検出された入換領域の画素データを、挿入画像データに入れ換える画像入換処理(画像合成)を行い、入換画像データを生成する。
これらの処理の詳細や、入換領域、挿入画像データ、入換画像データ等については後述する。
画像解析/入換部12が処理の対象とする撮像画像データとは、例えば上記のように撮像部3で撮像された撮像画像データ(静止画データや動画データ)であるが、他の場合もある。
即ち撮像装置1が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部15で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部14(ストレージ部14が可搬性記録媒体に対する再生機能を備えている場合)で再生することで取得する場合もある。
このため、例えば通信部15で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析/入換部12での処理対象とすることもできる。
即ち撮像装置1が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部15で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部14(ストレージ部14が可搬性記録媒体に対する再生機能を備えている場合)で再生することで取得する場合もある。
このため、例えば通信部15で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析/入換部12での処理対象とすることもできる。
この画像解析/入換部12は、マイクロコンピュータやビデオプロセッサとしてのDSP(Digital Signal Processor)などで構成できる。また、この図2ではマイクロコンピュータによるシステムコントローラ10と別ブロックで示しているが、システムコントローラ10内で起動されるソフトウエアにより画像解析/入換部12としての動作が実現されても良い。
撮像装置1においてユーザに対して表示を行う構成としては、表示部2、表示制御部7が設けられる。
この表示部2は、上述した液晶パネル等による表示パネル部2aと、表示パネル部2aを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部6から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部2aにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部2aにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
この表示部2は、上述した液晶パネル等による表示パネル部2aと、表示パネル部2aを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部6から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部2aにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部2aにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部7は、システムコントローラ10の制御に基づいて、表示部2における画素駆動回路を駆動し、表示パネル部2aに所定の表示を実行させる。
即ち、撮像部3での撮像モニタとしての表示や、ストレージ部14に取り込まれた撮像画像データの再生表示、さらには通信部15で受信したデータの表示、各種キャラクタの表示などを、表示パネル部2aにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部7は、システムコントローラ10の指示に基づいて表示駆動部を制御し、表示パネル部2aの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
即ち、撮像部3での撮像モニタとしての表示や、ストレージ部14に取り込まれた撮像画像データの再生表示、さらには通信部15で受信したデータの表示、各種キャラクタの表示などを、表示パネル部2aにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部7は、システムコントローラ10の指示に基づいて表示駆動部を制御し、表示パネル部2aの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
ストレージ部14は、各種データの保存に用いられる。例えば撮像画像データや、後述する入換画像データの保存に用いられる。
このストレージ部14は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部14は、システムコントローラ10の制御に基づいて、撮像画像データや入換画像データを記録し、保存する。
またシステムコントローラ10の制御に基づいて、記録したデータを読み出し、システムコントローラ10や表示制御部7などに供給する。
このストレージ部14は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部14は、システムコントローラ10の制御に基づいて、撮像画像データや入換画像データを記録し、保存する。
またシステムコントローラ10の制御に基づいて、記録したデータを読み出し、システムコントローラ10や表示制御部7などに供給する。
通信部15は外部通信機器との間でのデータの送受信を行う。この通信部15は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部通信機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部通信機器との間の有線接続により外部通信機器と通信を行うものでもよい。
通信を行う外部通信機器としては、後述するサーバ装置70や、表示装置、ストレージ装置などの外部機器80が想定される。
また、必ずしも無線通信ではなく、外部通信機器との間の有線接続により外部通信機器と通信を行うものでもよい。
通信を行う外部通信機器としては、後述するサーバ装置70や、表示装置、ストレージ装置などの外部機器80が想定される。
また撮像装置1には位置検出部17が設けられる。
位置検出部17は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部17としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやGPSを組み合わせて利用しても良い。
位置検出部17は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部17としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやGPSを組み合わせて利用しても良い。
挿入画像記憶部18は、画像解析/入換部12が用いる挿入画像データを記憶する。挿入画像データについては後述するが、例えば広告、メッセージなどの文字や図形等の画像である。
挿入画像記憶部18は、予め各種の挿入画像データが記憶されていても良いし、サーバ装置70等から送信されて通信部15で受信した挿入画像データを記憶するようにしてもよい。
この挿入画像記憶部18は、RAM、フラッシュメモリなどの固体メモリ、HDD等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図2ではストレージ部14とは別に示しているが、ストレージ部14において用いる記録媒体の一部の領域を挿入画像記憶部18として使用するようにしても良い。
挿入画像記憶部18は、予め各種の挿入画像データが記憶されていても良いし、サーバ装置70等から送信されて通信部15で受信した挿入画像データを記憶するようにしてもよい。
この挿入画像記憶部18は、RAM、フラッシュメモリなどの固体メモリ、HDD等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図2ではストレージ部14とは別に示しているが、ストレージ部14において用いる記録媒体の一部の領域を挿入画像記憶部18として使用するようにしても良い。
翻訳処理部19は、例えば画像解析/入換部12が解析処理によって検出した文字(撮像画像内の文字)についての翻訳処理を行う。そして翻訳結果の文字データを挿入画像データとして画像解析/入換部12に供給する。
なお、翻訳処理部19は、システムコントローラ10における翻訳ソフトウエアにより実現しても良い。
なお、翻訳処理部19は、システムコントローラ10における翻訳ソフトウエアにより実現しても良い。
この撮像装置1では、ユーザの操作のために操作入力部11が設けられる。
操作入力部11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作(例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作)、表示関連操作(例えば表示内容の選択や表示調整操作)などに用いる操作子が形成されればよい。
操作入力部11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作(例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作)、表示関連操作(例えば表示内容の選択や表示調整操作)などに用いる操作子が形成されればよい。
また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部2においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図1(c)(d)のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図1(c)(d)のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。
一方、図1(a)(b)のような頭部に装着する撮像装置の場合、操作キー、ダイヤル、タッチパネル等を設けてもよいし、リモートコントローラを使用する形態も想定されるが、多数の操作子等の配置が難しいことを考慮すれば、ユーザの挙動を検知して操作入力とみなす構成を採ることも好適となる。
ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
例えばユーザが撮像装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
操作入力部20は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ10に供給し、システムコントローラ10はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
以上、撮像装置1の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
本例の撮像装置においては、画像解析/入換部12の動作に大きな特徴を有する。即ち取得した撮像画像データに対して画像解析を行って、入換領域を設定する。そして入換領域の画素データを、挿入画像データに入れ換えて入換画像データを生成する。
この入換画像データは、撮像された画像の一部の内容が、他の内容に入れ換えられたものとなる。
撮像画像データの一部の内容を、例えば広告、メッセージ、翻訳などの文字や図形等の入換画像データに置き換えて生成される入換画像データは、撮像画像の内容に付加価値を加えるような内容の画像となる。
そして入換画像データによる画像表示を行うことで、ユーザに対する多様な情報提供や、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
この入換画像データは、撮像された画像の一部の内容が、他の内容に入れ換えられたものとなる。
撮像画像データの一部の内容を、例えば広告、メッセージ、翻訳などの文字や図形等の入換画像データに置き換えて生成される入換画像データは、撮像画像の内容に付加価値を加えるような内容の画像となる。
そして入換画像データによる画像表示を行うことで、ユーザに対する多様な情報提供や、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
図3では、このような撮像装置1の動作形態を、外部通信機器との関連において例示する。外部通信機器とは、撮像装置1との間でデータ通信を行うことのできる電子機器であり、サーバ装置70や、サーバ装置70以外の各種の外部機器80である。
図3(a)は撮像装置1が単体で動作する場合である。
この場合、撮像装置1では、例えば撮像動作により取得した撮像画像データを、画像入換処理対象とすることができる。
またストレージ部14として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを対象として画像入換処理を行うことも可能である。
そして、処理対象とした撮像画像データの一部を、挿入画像記憶部18に記憶されている挿入画像データに入れ換えることで入換画像データを生成する。
生成した入換画像データについては、保存処理としてストレージ部14に保存できる。
また生成した入換画像データについては、出力処理として、表示部2において表示させることができる。
また可搬性記録媒体に対する記録部を備える場合は、生成した入換画像データの出力処理として、可搬性記録媒体に記録するという動作も可能である。
この場合、撮像装置1では、例えば撮像動作により取得した撮像画像データを、画像入換処理対象とすることができる。
またストレージ部14として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを対象として画像入換処理を行うことも可能である。
そして、処理対象とした撮像画像データの一部を、挿入画像記憶部18に記憶されている挿入画像データに入れ換えることで入換画像データを生成する。
生成した入換画像データについては、保存処理としてストレージ部14に保存できる。
また生成した入換画像データについては、出力処理として、表示部2において表示させることができる。
また可搬性記録媒体に対する記録部を備える場合は、生成した入換画像データの出力処理として、可搬性記録媒体に記録するという動作も可能である。
図3(b)は撮像装置1が通信部15により外部機器80と通信を行う例である。外部機器80とは、表示装置、ストレージ装置、或いは他の撮像装置などが想定される。つまり本例の撮像装置1との間で通信が可能な電子機器である。より具体的には、外部機器80としては、図2のような構成の他の撮像装置1も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、データ記録デバイス、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、PDAなど多様な機器が想定できる。
この場合、撮像装置1では、画像入換処理の対象とする撮像画像データを、外部機器80から取得することが可能となる。例えば外部機器80としての撮像装置で撮像された撮像画像データや、ストレージ装置に保存されていた撮像画像データを受信することで、それらを処理対象とすることができる。
生成した入換画像データの保存処理としては、内部のストレージ部14に保存する他、通信部15から外部機器80(ストレージ装置)に送信して、その外部機器80において記録媒体に保存させるような動作も可能となる。
また生成した入換画像データの出力処理としては、表示部2で表示させる他、外部機器80としての表示装置に送信して表示出力させることができる。
なお、外部機器80との通信は、無線通信だけでなく、有線通信も想定される。
生成した入換画像データの保存処理としては、内部のストレージ部14に保存する他、通信部15から外部機器80(ストレージ装置)に送信して、その外部機器80において記録媒体に保存させるような動作も可能となる。
また生成した入換画像データの出力処理としては、表示部2で表示させる他、外部機器80としての表示装置に送信して表示出力させることができる。
なお、外部機器80との通信は、無線通信だけでなく、有線通信も想定される。
図3(c)は、撮像装置1の通信部15が、特にインターネット等のネットワーク60を介した通信アクセス機能を備えることで、ネットワーク60で接続される外部機器80やサーバ装置70と通信を行う例である。
ネットワーク60とは、インターネットの他に、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなど、各種考えられる。
外部機器80との通信による動作例は上記図3(b)の場合と同様に考えられる。
ネットワーク60とは、インターネットの他に、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなど、各種考えられる。
外部機器80との通信による動作例は上記図3(b)の場合と同様に考えられる。
サーバ装置70は、本例では、撮像装置1に対して挿入画像データを供給できる機器として示している。
撮像装置1においては、上述のように挿入画像記憶部18に挿入画像データが記憶されており、挿入画像記憶部18から読み出された挿入画像データが、画像入換処理に用いられるが、その挿入画像データを、サーバ装置70が撮像装置1に供給することで、広告等の内容の多様な挿入画像データを利用できるようにしたり、挿入画像データの内容を更新できるようにする。
サーバ装置70においては画像データベース76が設けられて各種の挿入画像データが蓄積されており、多様な条件で挿入画像データを選定して撮像装置1に提供できる。
なお、サーバ装置70が撮像装置1に、処理対象とする撮像画像データを提供できるようにしても良い。また、撮像装置1で生成された入換画像データを、サーバ装置70において保存したり、外部機器80に転送できるようにしてもよい。
撮像装置1においては、上述のように挿入画像記憶部18に挿入画像データが記憶されており、挿入画像記憶部18から読み出された挿入画像データが、画像入換処理に用いられるが、その挿入画像データを、サーバ装置70が撮像装置1に供給することで、広告等の内容の多様な挿入画像データを利用できるようにしたり、挿入画像データの内容を更新できるようにする。
サーバ装置70においては画像データベース76が設けられて各種の挿入画像データが蓄積されており、多様な条件で挿入画像データを選定して撮像装置1に提供できる。
なお、サーバ装置70が撮像装置1に、処理対象とする撮像画像データを提供できるようにしても良い。また、撮像装置1で生成された入換画像データを、サーバ装置70において保存したり、外部機器80に転送できるようにしてもよい。
図4に、サーバ装置70の構成例を示す。
上記のようにサーバ装置70は、例えばネットワーク60を介した通信により、撮像装置1に対して挿入画像データや撮像画像データを供給できる装置である。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、情報管理部74、地図データベース75、計時部76、画像データベース77、ユーザ情報格納部78を備える。
上記のようにサーバ装置70は、例えばネットワーク60を介した通信により、撮像装置1に対して挿入画像データや撮像画像データを供給できる装置である。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、情報管理部74、地図データベース75、計時部76、画像データベース77、ユーザ情報格納部78を備える。
ネットワークストレージ部71は、例えばHDD等により実現され、例えば撮像装置1からネットワーク60を介して送信されてくる画像データ等を保存したり、撮像装置1や外部機器80の間で伝送する画像データ等を転送のために一時的にバッファリング記憶するためなどに用いられる。
通信部73は、撮像装置1の通信部26や外部機器80の通信部との間で、ネットワーク60を介したデータ通信を行う。
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。特には、撮像装置1に対する入換画像データの供給のための制御動作を行う。
通信部73は、撮像装置1の通信部26や外部機器80の通信部との間で、ネットワーク60を介したデータ通信を行う。
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。特には、撮像装置1に対する入換画像データの供給のための制御動作を行う。
情報管理部74、地図データベース75、計時部76、画像データベース77、ユーザ情報格納部78は、撮像装置1に対する入換画像データの供給のため動作を行う部位となる。
地図データベース75は地図情報を格納している。
計時部76は現在日時(年月日時分秒)を計数している。
画像データベース76には、例えば広告画像としての各種の挿入画像データが記憶されている。
ユーザ情報格納部78は、サーバ装置70が入換画像データを提供する撮像装置1のユーザの登録情報を記憶する。例えば撮像装置1の個体毎の識別情報(もしくは通信に用いるアドレス等の情報)に対応させて、ユーザ情報を格納する。ユーザ情報とは、例えば年齢、性別、趣味、嗜好など、ユーザが登録時に提供する内容とすればよい。
地図データベース75は地図情報を格納している。
計時部76は現在日時(年月日時分秒)を計数している。
画像データベース76には、例えば広告画像としての各種の挿入画像データが記憶されている。
ユーザ情報格納部78は、サーバ装置70が入換画像データを提供する撮像装置1のユーザの登録情報を記憶する。例えば撮像装置1の個体毎の識別情報(もしくは通信に用いるアドレス等の情報)に対応させて、ユーザ情報を格納する。ユーザ情報とは、例えば年齢、性別、趣味、嗜好など、ユーザが登録時に提供する内容とすればよい。
情報管理部74は、現在の日時、現在撮像装置1の現在位置、ユーザ情報などに応じて、撮像装置1に提供すべき挿入画像データを、画像データベース77から検索する処理を行う。
例えば情報管理部74は、計時部76で計数されている現在日時に応じて、現時点でユーザに提供すべき広告内容の挿入画像データを検索する。
或いは情報管理部74は、撮像装置1から現在位置情報が送信されてくることに応じて、その撮像装置1の現在位置に応じて適した広告内容の挿入画像データを検索する。この際、地図データベース75に格納されている地図情報に照らし合わせることで、撮像装置1の現在位置を把握し、その位置に応じた挿入画像データを選択できる。
或いは情報管理部74は、ユーザ情報格納部78に記憶されている撮像装置1のユーザ情報に基づいて、そのユーザに適した広告内容の挿入画像データを検索する。
例えば情報管理部74は、計時部76で計数されている現在日時に応じて、現時点でユーザに提供すべき広告内容の挿入画像データを検索する。
或いは情報管理部74は、撮像装置1から現在位置情報が送信されてくることに応じて、その撮像装置1の現在位置に応じて適した広告内容の挿入画像データを検索する。この際、地図データベース75に格納されている地図情報に照らし合わせることで、撮像装置1の現在位置を把握し、その位置に応じた挿入画像データを選択できる。
或いは情報管理部74は、ユーザ情報格納部78に記憶されている撮像装置1のユーザ情報に基づいて、そのユーザに適した広告内容の挿入画像データを検索する。
[3.生成画像例]
撮像装置1において生成される入換画像データとしての画像例を図5,図6,図7,図8,図9に示す。これら各図(a)は撮像画像、各図(b)は設定される入換領域、各図(c)は生成した入換画像を示している。
撮像装置1において生成される入換画像データとしての画像例を図5,図6,図7,図8,図9に示す。これら各図(a)は撮像画像、各図(b)は設定される入換領域、各図(c)は生成した入換画像を示している。
図5(a)は、市街地を撮像した撮像画像である。この画像には、ビルに設置された看板が含まれている。
このような画像に対して、図5(b)のように、画像内での看板の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。つまり画素データを入れ換える。これにより、図5(c)のように看板の広告内容が変更された入換画像が生成される。
このような画像に対して、図5(b)のように、画像内での看板の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。つまり画素データを入れ換える。これにより、図5(c)のように看板の広告内容が変更された入換画像が生成される。
図6(a)は、或る風景を撮像した撮像画像であり、この画像には、空が含まれている。
このような画像に対して、図6(b)のように、画像内での空の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲の一部に、挿入画像データを挿入する。挿入画像データは、例えば広告文字を含む飛行船とする。
これにより、図6(c)のように空に広告が示された飛行船が飛んでいる入換画像が生成される。
このような画像に対して、図6(b)のように、画像内での空の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲の一部に、挿入画像データを挿入する。挿入画像データは、例えば広告文字を含む飛行船とする。
これにより、図6(c)のように空に広告が示された飛行船が飛んでいる入換画像が生成される。
図7(a)は、或る人物を撮像した撮像画像であり、この画像に写された人物の衣服に文字が含まれている。
このような画像に対して、図7(b)のように、画像内での衣服の文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に、挿入画像データを挿入する。挿入画像データは、例えばメッセージ文字画像とする。
これにより、図7(c)のように衣服の文字がメッセージ文字に変更された入換画像が生成される。
このような画像に対して、図7(b)のように、画像内での衣服の文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に、挿入画像データを挿入する。挿入画像データは、例えばメッセージ文字画像とする。
これにより、図7(c)のように衣服の文字がメッセージ文字に変更された入換画像が生成される。
図8(a)は、街角で撮像した撮像画像であり、この画像には、店舗の看板が含まれている。
このような画像に対して、図8(b)のように、画像内での文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば翻訳文字画像とする。
これにより、図8(c)のように店舗の看板の文字(日本語)が、英語表記に変更された入換画像が生成される。
このような画像に対して、図8(b)のように、画像内での文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば翻訳文字画像とする。
これにより、図8(c)のように店舗の看板の文字(日本語)が、英語表記に変更された入換画像が生成される。
図9(a)は、看板を含む撮像画像であるが、特にこの看板には、特定のマークMが含まれているとする。例えば実際の看板には何も描かれていない無地の状態であったとする。
このような画像に対して、図9(b)のように、画像内でのマークMが認識された位置に基づいて入換領域ARiを設定する。例えば無地の領域を入換領域ARiとする。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば広告画像とする。
これにより、図9(c)のように、何も描かれていなかった看板に広告が表示された入換画像が生成される。
このような画像に対して、図9(b)のように、画像内でのマークMが認識された位置に基づいて入換領域ARiを設定する。例えば無地の領域を入換領域ARiとする。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば広告画像とする。
これにより、図9(c)のように、何も描かれていなかった看板に広告が表示された入換画像が生成される。
[4.入換領域、挿入画像データ]
例えば上記のような入換画像としての入換画像データを生成するためには、撮像画像データの画像内で、まず入換領域ARiを設定することが必要となる。
このため撮像装置1では、画像解析/入換部12において、処理対象とする撮像画像データの画像解析を行い、入換領域ARiを設定する。特に生成される入換画像データが、自然な画像に見えるようにするために、画像内で適切な領域を入換領域ARiとする必要がある。
ここでは、入換領域ARiの設定手法の例を述べる。
例えば上記のような入換画像としての入換画像データを生成するためには、撮像画像データの画像内で、まず入換領域ARiを設定することが必要となる。
このため撮像装置1では、画像解析/入換部12において、処理対象とする撮像画像データの画像解析を行い、入換領域ARiを設定する。特に生成される入換画像データが、自然な画像に見えるようにするために、画像内で適切な領域を入換領域ARiとする必要がある。
ここでは、入換領域ARiの設定手法の例を述べる。
上記図5や図8では、看板の内容を入れ換える例を示したが、この場合、画像内で看板を認識して、入換領域ARiとする。画像内で看板を認識するためには、画像解析処理において形状解析や文字認識を行うことが考えられる。即ち画像内での輪郭線の形状や、その輪郭線内での文字の存在などを判断基準とする。
例えば画像内で輪郭線が方形(長方形、台形、平行四辺形、)となっている部分を抽出する。なお、一般に長方形で形成される看板は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子(例えば道路や建物の輪郭線)などから撮像方向、仰角等を推定し、元(実物)は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断する。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして、方形の領域であって、その内側に文字(或いはロゴ、マーク)が含まれている画像領域が撮像画像内に存在すれば、それは看板等が写されているものと判断し、その方形領域を入換領域ARiとする。
なお、方形の領域ではなく、円形、楕円形の領域などを看板と推定することも考えられる。
例えば画像内で輪郭線が方形(長方形、台形、平行四辺形、)となっている部分を抽出する。なお、一般に長方形で形成される看板は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子(例えば道路や建物の輪郭線)などから撮像方向、仰角等を推定し、元(実物)は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断する。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして、方形の領域であって、その内側に文字(或いはロゴ、マーク)が含まれている画像領域が撮像画像内に存在すれば、それは看板等が写されているものと判断し、その方形領域を入換領域ARiとする。
なお、方形の領域ではなく、円形、楕円形の領域などを看板と推定することも考えられる。
また、ネオンやLEDによる発光看板、或いはビルの壁面などに取り付けられた大型モニタディスプレイなどを想定し、周囲との輝度差が著しい方形領域や、部分的に高輝度となっている領域を検出し、これを入換領域ARiとすることも考えられる。
図6では空が写されている範囲を入換領域ARiとしたが、空の認識は次のような手法が想定される。
まず、画像内の上部、又は左上部、又は右上部の領域を「空」と推定する。
また、これらの上部領域において、或る程度の範囲で青色(空としての青系の色)であるか否かを判断する。
これらの条件により、画面内で空の範囲を特定でき、その空の範囲を入換領域ARiとすることが可能である。
また、さらには、空の場合、緩やかなグラデーションが見られる程度で一定領域、極端な色変化や物体の存在は無いため、画像内の輪郭線(境界エッジ)が存在しない範囲を空として認識することも可能である。
なお、ここでは空の領域を判別する例を挙げたが、同様に海、湖等の水面の領域を判定して、それを入換領域ARiとすることもできる。
さらに、道路上の自動車を判別して、自動車の領域を入換領域ARiとすることも考えられる。
まず、画像内の上部、又は左上部、又は右上部の領域を「空」と推定する。
また、これらの上部領域において、或る程度の範囲で青色(空としての青系の色)であるか否かを判断する。
これらの条件により、画面内で空の範囲を特定でき、その空の範囲を入換領域ARiとすることが可能である。
また、さらには、空の場合、緩やかなグラデーションが見られる程度で一定領域、極端な色変化や物体の存在は無いため、画像内の輪郭線(境界エッジ)が存在しない範囲を空として認識することも可能である。
なお、ここでは空の領域を判別する例を挙げたが、同様に海、湖等の水面の領域を判定して、それを入換領域ARiとすることもできる。
さらに、道路上の自動車を判別して、自動車の領域を入換領域ARiとすることも考えられる。
図7では、文字内容を置き換える例を示したが、この場合の入換領域ARiの設定には、撮像画像に対する文字認識を行えばよい。即ち文字が検出された範囲を含むように、入換領域ARiを設定する。特に文字の周囲の輪郭線を越えないように入換領域ARiを設定することが好適である。
図9には、マークMを認識して入換領域ARiを設定する例を示した。
例えば、本例の入換画像データの生成動作に対応して、予め実際の看板等に特定のマークMを表示しておく。
画像解析としては、撮像画像内に、特定のマークMが含まれているか否かを判別する。
画像内で特定のマークMを検出したら、そのマークMの位置に基づいて、入換領域ARiを設定する。例えばマークMを含む方形の領域、円形の領域、楕円の領域、或いは輪郭線が認識できる不定形の領域等を、入換領域ARiとする。また、図9(a)のように元々の看板に何も描かれていないことを前提とすれば、マークMを含む無地の領域を入換領域ARiとすることも考えられる。もちろん、元々の看板に、何らかの文字や絵などが描かれていたとしても、マークMに基づいて、その文字や絵を変更するような範囲で入換領域ARiを設定しても良い。
また、実際の看板などにおいてマークMを複数個表示し、その各マークを対角点とする方形範囲や、各マークを頂点とする形状の範囲を入換領域ARiとしてもよい。
例えば、本例の入換画像データの生成動作に対応して、予め実際の看板等に特定のマークMを表示しておく。
画像解析としては、撮像画像内に、特定のマークMが含まれているか否かを判別する。
画像内で特定のマークMを検出したら、そのマークMの位置に基づいて、入換領域ARiを設定する。例えばマークMを含む方形の領域、円形の領域、楕円の領域、或いは輪郭線が認識できる不定形の領域等を、入換領域ARiとする。また、図9(a)のように元々の看板に何も描かれていないことを前提とすれば、マークMを含む無地の領域を入換領域ARiとすることも考えられる。もちろん、元々の看板に、何らかの文字や絵などが描かれていたとしても、マークMに基づいて、その文字や絵を変更するような範囲で入換領域ARiを設定しても良い。
また、実際の看板などにおいてマークMを複数個表示し、その各マークを対角点とする方形範囲や、各マークを頂点とする形状の範囲を入換領域ARiとしてもよい。
この手法は、つまりは被写体となる側から、所定範囲を入換領域ARiとして用いることを明示する手法である。
例えば設置する看板、或いは建物の壁面、窓などにおいて、特定のマークMを実際に表示しておくことで、撮像された際に、その領域が入換領域ARiとして用いられて画像に広告データ等が付加されることを求めるものとなる。
なお、被写体側がマークMにより、入換領域ARiとして用いられることを表示する例を挙げたが、マークでなく、実際の看板等に特定の地模様を表示し、撮像装置1では画像解析において当該地模様が認識される範囲を入換領域ARiとするようにしてもよい。
また看板等に、バーコード、二次元バーコード、或いは発光体等を配し、撮像装置1でこれらの情報を画像解析により検知することに応じて、入換領域ARiを設定してもよい。
例えば設置する看板、或いは建物の壁面、窓などにおいて、特定のマークMを実際に表示しておくことで、撮像された際に、その領域が入換領域ARiとして用いられて画像に広告データ等が付加されることを求めるものとなる。
なお、被写体側がマークMにより、入換領域ARiとして用いられることを表示する例を挙げたが、マークでなく、実際の看板等に特定の地模様を表示し、撮像装置1では画像解析において当該地模様が認識される範囲を入換領域ARiとするようにしてもよい。
また看板等に、バーコード、二次元バーコード、或いは発光体等を配し、撮像装置1でこれらの情報を画像解析により検知することに応じて、入換領域ARiを設定してもよい。
撮像装置1では、画像解析/入換部12において、撮像画像データに対して画像解析を行い、例えば以上のような手法で、画像内において1又は複数の入換領域ARiを設定する。
そして、設定した入換領域ARi内の全部又は一部の画素データを、挿入画像データとしての画素データに置き換えることで入換画像データを生成する。
挿入画像データの画像内容としては、以下のような例が想定される。
そして、設定した入換領域ARi内の全部又は一部の画素データを、挿入画像データとしての画素データに置き換えることで入換画像データを生成する。
挿入画像データの画像内容としては、以下のような例が想定される。
まず広告画像としての文字、図形、絵などの画像が想定される。広告画像の内容としては、企業広告、商品・サービス広告、政府や地方自治体等の団体の広告などが考えられる。
このような広告としての挿入画像データは、文字画像、ロゴやマークの画像などで実現される。
さらに図6(c)に例示した飛行船のように、所定の物体を伴う画像としてもよい。例えば図6(c)のように空の部分に挿入する挿入画像データとしては、アドバルーン、気球、飛行機、旗などに広告文字等を付加した画像が考えられる。また、海などの水面に挿入する挿入画像データとしては、船舶に広告文字等を付加した画像などでもよい。
さらに、車体等に広告文字等を付加した自動車、鉄道車両などの画像も考えられる。
これらの広告画像としての挿入画像データは、撮像装置1が挿入画像記憶部18に固定的に記憶されるものでもよいし、例えばサーバ装置70から送信されて挿入画像データに記憶されるようにしても良い。さらに各種の挿入画像データが可搬性記録媒体に記録されてユーザに提供され、ユーザが当該可搬性記録媒体を撮像装置1に装填して再生させることで、記録された挿入画像データが挿入画像記憶部18に取り込まれるようにしてもよい。
このような広告としての挿入画像データは、文字画像、ロゴやマークの画像などで実現される。
さらに図6(c)に例示した飛行船のように、所定の物体を伴う画像としてもよい。例えば図6(c)のように空の部分に挿入する挿入画像データとしては、アドバルーン、気球、飛行機、旗などに広告文字等を付加した画像が考えられる。また、海などの水面に挿入する挿入画像データとしては、船舶に広告文字等を付加した画像などでもよい。
さらに、車体等に広告文字等を付加した自動車、鉄道車両などの画像も考えられる。
これらの広告画像としての挿入画像データは、撮像装置1が挿入画像記憶部18に固定的に記憶されるものでもよいし、例えばサーバ装置70から送信されて挿入画像データに記憶されるようにしても良い。さらに各種の挿入画像データが可搬性記録媒体に記録されてユーザに提供され、ユーザが当該可搬性記録媒体を撮像装置1に装填して再生させることで、記録された挿入画像データが挿入画像記憶部18に取り込まれるようにしてもよい。
また挿入画像データの例として、メッセージ文字画像が想定される。
メッセージ文字画像の内容は、ユーザが任意に作成(入力)できるようにすればよいし、各種のメッセージ文字画像を用意し、ユーザが選択できるようにしてもよい。
メッセージ文字画像は、予め各種用意されて挿入画像記憶部18に記憶されているようにしてもよいし、ユーザが入力することにより挿入画像記憶部18に記憶されるようにしてもよい。
メッセージ文字画像の内容は、ユーザが任意に作成(入力)できるようにすればよいし、各種のメッセージ文字画像を用意し、ユーザが選択できるようにしてもよい。
メッセージ文字画像は、予め各種用意されて挿入画像記憶部18に記憶されているようにしてもよいし、ユーザが入力することにより挿入画像記憶部18に記憶されるようにしてもよい。
また挿入画像データの例として、翻訳文字画像が想定される。
撮像装置1においては翻訳処理部19で翻訳処理が行われ、翻訳文字データが生成される。これが画像解析/入換部12に供給されて挿入画像データとして用いられる。
撮像装置1においては翻訳処理部19で翻訳処理が行われ、翻訳文字データが生成される。これが画像解析/入換部12に供給されて挿入画像データとして用いられる。
[5.挿入画像データの取得]
撮像装置1では、挿入画像記憶部18に広告画像やメッセージ文字画像としての挿入画像データを格納しており、画像解析/入換部12は、入換画像データを生成する際に、例えば挿入画像記憶部18から挿入画像データを読み出して用いる。
上述のように、挿入画像記憶部18には、予め広告画像やメッセージ文字画像としての挿入画像データが各種格納されていればよいが、特に広告画像や、メッセージ画像として特殊のデザインの画像などを、サーバ装置70から提供されるようにすることで、撮像装置1では多様な内容の挿入画像データを利用できるようになる。
ここでは、撮像装置1がサーバ装置70から挿入画像データを取得する動作例を図10,図11で述べる。
撮像装置1では、挿入画像記憶部18に広告画像やメッセージ文字画像としての挿入画像データを格納しており、画像解析/入換部12は、入換画像データを生成する際に、例えば挿入画像記憶部18から挿入画像データを読み出して用いる。
上述のように、挿入画像記憶部18には、予め広告画像やメッセージ文字画像としての挿入画像データが各種格納されていればよいが、特に広告画像や、メッセージ画像として特殊のデザインの画像などを、サーバ装置70から提供されるようにすることで、撮像装置1では多様な内容の挿入画像データを利用できるようになる。
ここでは、撮像装置1がサーバ装置70から挿入画像データを取得する動作例を図10,図11で述べる。
図10(a)は、例えばサーバ装置70が、定期的或いは随時、撮像装置1に挿入画像データを送信する例である。
サーバ装置70は、例えば企業などの広告主からの要請や契約に基づいて、定期的或いは随時、撮像装置1に対して通信接続を行い、所定の挿入画像データを送信する(S1)。即ちサーバ制御部72は、情報管理部74により画像データベース77から所要の挿入画像データを読み出させ、これを通信部73から送信させる。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S2)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S3)。
このような動作は、例えばサーバ装置70が多数の撮像装置1に対して一斉に所定の挿入画像データを送信する場合などに好適な動作となる。
サーバ装置70は、例えば企業などの広告主からの要請や契約に基づいて、定期的或いは随時、撮像装置1に対して通信接続を行い、所定の挿入画像データを送信する(S1)。即ちサーバ制御部72は、情報管理部74により画像データベース77から所要の挿入画像データを読み出させ、これを通信部73から送信させる。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S2)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S3)。
このような動作は、例えばサーバ装置70が多数の撮像装置1に対して一斉に所定の挿入画像データを送信する場合などに好適な動作となる。
図10(b)は、撮像装置1から挿入画像データを要求する例である。
撮像装置1のシステムコントローラ10は、例えばユーザ操作に基づく任意の時点、或いは定期的なタイミング、或いは画像入換処理を行うタイミングなどにおいて、通信部15からサーバ装置70に対して挿入画像要求の情報を送信させる(S11)。
サーバ装置70のサーバ制御部72は、通信部73において挿入画像要求を受信したことを検知したら(S12)、それに応じて、情報管理部74により画像データベース77から所要の挿入画像データを読み出させる。そしてその挿入画像データを通信部73から要求元の撮像装置1に対して送信させる(S13)。撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S14)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S15)。
このような動作により、撮像装置1側にとって動作上、好適なタイミング、或いはユーザが求めたタイミングで、挿入画像データの提供を受けることができるようになる。
撮像装置1のシステムコントローラ10は、例えばユーザ操作に基づく任意の時点、或いは定期的なタイミング、或いは画像入換処理を行うタイミングなどにおいて、通信部15からサーバ装置70に対して挿入画像要求の情報を送信させる(S11)。
サーバ装置70のサーバ制御部72は、通信部73において挿入画像要求を受信したことを検知したら(S12)、それに応じて、情報管理部74により画像データベース77から所要の挿入画像データを読み出させる。そしてその挿入画像データを通信部73から要求元の撮像装置1に対して送信させる(S13)。撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S14)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S15)。
このような動作により、撮像装置1側にとって動作上、好適なタイミング、或いはユーザが求めたタイミングで、挿入画像データの提供を受けることができるようになる。
図11(a)は、サーバ装置70が日時に応じて撮像装置1に挿入画像データを送信する例である。
サーバ装置70では、情報管理部74が、計時部76による現在日時を確認し、その現在日時に応じて、画像データベース77に格納されている挿入画像データを選定する(S21)。そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S22)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S23)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S24)。
この動作においては、タイムリーな広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えば商品の発売日や、バーゲン等の日時に応じた広告、イベントやスポーツの試合の開催日からみて適切な広告、月日や季節に応じた広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供期日や期間を指定されることに応じて、画像データベース77に、その挿入画像データについて日時情報を対応させて登録しておいたり、広告やメッセージの内容に応じた季節、月日などの情報を、各挿入画像データに日時情報を付加しておくことで、情報管理部74はタイムリーな挿入画像データを画像データベース77から検索することができる。
なお、この図11(a)と図10(b)を組み合わせて、撮像装置1から挿入画像要求を送信した場合に、サーバ装置70がそのときの日時に基づいて挿入画像データを検索して撮像装置1に供給することも考えられる。
サーバ装置70では、情報管理部74が、計時部76による現在日時を確認し、その現在日時に応じて、画像データベース77に格納されている挿入画像データを選定する(S21)。そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S22)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S23)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S24)。
この動作においては、タイムリーな広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えば商品の発売日や、バーゲン等の日時に応じた広告、イベントやスポーツの試合の開催日からみて適切な広告、月日や季節に応じた広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供期日や期間を指定されることに応じて、画像データベース77に、その挿入画像データについて日時情報を対応させて登録しておいたり、広告やメッセージの内容に応じた季節、月日などの情報を、各挿入画像データに日時情報を付加しておくことで、情報管理部74はタイムリーな挿入画像データを画像データベース77から検索することができる。
なお、この図11(a)と図10(b)を組み合わせて、撮像装置1から挿入画像要求を送信した場合に、サーバ装置70がそのときの日時に基づいて挿入画像データを検索して撮像装置1に供給することも考えられる。
図11(b)は、サーバ装置70が撮像装置1の現在位置に応じて挿入画像データを送信する例である。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、位置検出部17で検出される位置情報を通信部15からサーバ装置70に送信させる(S31)。
サーバ装置70では、撮像装置1が送信してきた位置情報を通信部73で受信したら(S32)、サーバ制御部72は、情報管理部74に、その位置情報を与え、位置に応じた挿入画像データを検索させる。情報管理部74は、位置情報に応じて地図データベースから地図情報を読み出し、現在、撮像装置1のユーザが居る位置を把握すると共に、その近辺の店舗や施設などを確認する。そして、近辺の店舗や施設についての広告などの挿入画像データを、画像データベース77から検索する(S33)。
そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S34)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S35)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S36)。
この動作においては、ユーザの現在位置に応じた好適な広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えばユーザの居る位置の近辺の店舗や施設、地域の広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供を行う地域を指定されることに応じて、画像データベース77に、その挿入画像データについて地域情報を対応させて登録しておくことで、情報管理部74はユーザの現在位置に応じた挿入画像データを画像データベース77から検索することができる。
また、企業広告ではなく、各種警報(津波、落雷等の警報)、天気情報、交通情報などを、地域に応じた挿入画像データとして提供することも可能である。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、位置検出部17で検出される位置情報を通信部15からサーバ装置70に送信させる(S31)。
サーバ装置70では、撮像装置1が送信してきた位置情報を通信部73で受信したら(S32)、サーバ制御部72は、情報管理部74に、その位置情報を与え、位置に応じた挿入画像データを検索させる。情報管理部74は、位置情報に応じて地図データベースから地図情報を読み出し、現在、撮像装置1のユーザが居る位置を把握すると共に、その近辺の店舗や施設などを確認する。そして、近辺の店舗や施設についての広告などの挿入画像データを、画像データベース77から検索する(S33)。
そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S34)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S35)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S36)。
この動作においては、ユーザの現在位置に応じた好適な広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えばユーザの居る位置の近辺の店舗や施設、地域の広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供を行う地域を指定されることに応じて、画像データベース77に、その挿入画像データについて地域情報を対応させて登録しておくことで、情報管理部74はユーザの現在位置に応じた挿入画像データを画像データベース77から検索することができる。
また、企業広告ではなく、各種警報(津波、落雷等の警報)、天気情報、交通情報などを、地域に応じた挿入画像データとして提供することも可能である。
図11(c)は、サーバ装置70が撮像装置1のユーザ個人毎に適した挿入画像データを送信する例である。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、ユーザID(又は撮像装置ID)を通信部15からサーバ装置70に送信させる(S41)。
サーバ装置70では、撮像装置1が送信してきたユーザIDを通信部73で受信したら(S42)、サーバ制御部72は、情報管理部74に、そのユーザIDに応じた挿入画像データを検索させる。情報管理部74は、ユーザIDに応じてユーザ情報格納部78を検索し、当該ユーザIDのユーザの情報を読み出す。例えば性別、年齢、趣味、嗜好などの情報を読み出す。そしてそれらのユーザの情報に適した広告などの挿入画像データを、画像データベース77から検索する(S43)。
サーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S44)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S45)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S46)。
この動作により、撮像装置1のユーザ毎に、そのユーザの性別、年齢、趣味、嗜好等に適した広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
サーバ装置70では、例えば各挿入画像データについて、その内容に応じて提供したいユーザの性別、年齢、趣味、嗜好等を登録しておくことで、情報管理部74はユーザ毎に適した挿入画像データを画像データベース77から検索することができる。
なお、撮像装置1からの要求(ユーザID又は撮像装置IDの送信)が無くとも、サーバ装置70が定期的、或いは随時、各撮像装置1に、ユーザIDに基づいて選択した挿入画像データを送信するようにしてもよい。例えば、新たな広告内容の挿入画像データを画像データベースに登録した際に、その広告内容に興味を持つと思われるユーザを検索し、そのユーザIDのユーザが所有する撮像装置1に対して、当該挿入画像データを送信するような処理も可能である。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、ユーザID(又は撮像装置ID)を通信部15からサーバ装置70に送信させる(S41)。
サーバ装置70では、撮像装置1が送信してきたユーザIDを通信部73で受信したら(S42)、サーバ制御部72は、情報管理部74に、そのユーザIDに応じた挿入画像データを検索させる。情報管理部74は、ユーザIDに応じてユーザ情報格納部78を検索し、当該ユーザIDのユーザの情報を読み出す。例えば性別、年齢、趣味、嗜好などの情報を読み出す。そしてそれらのユーザの情報に適した広告などの挿入画像データを、画像データベース77から検索する(S43)。
サーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S44)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S45)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S46)。
この動作により、撮像装置1のユーザ毎に、そのユーザの性別、年齢、趣味、嗜好等に適した広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
サーバ装置70では、例えば各挿入画像データについて、その内容に応じて提供したいユーザの性別、年齢、趣味、嗜好等を登録しておくことで、情報管理部74はユーザ毎に適した挿入画像データを画像データベース77から検索することができる。
なお、撮像装置1からの要求(ユーザID又は撮像装置IDの送信)が無くとも、サーバ装置70が定期的、或いは随時、各撮像装置1に、ユーザIDに基づいて選択した挿入画像データを送信するようにしてもよい。例えば、新たな広告内容の挿入画像データを画像データベースに登録した際に、その広告内容に興味を持つと思われるユーザを検索し、そのユーザIDのユーザが所有する撮像装置1に対して、当該挿入画像データを送信するような処理も可能である。
以上、サーバ装置70から撮像装置1に挿入画像データを提供する手法が考えられる。そして撮像装置1では、サーバ装置70から提供されて挿入画像記憶部18に取り込んだ挿入画像データを、その後、画像解析/入換部12が入換画像データの生成を行う際に用いることができる。
なお、これらの提供の手法は一例にすぎず、さらに多様な提供手法が考えられる。
例えば撮像画像データについて、撮像場所としての位置情報や撮像日時が付加されて保存されている場合において、それらに応じた挿入画像データの提供も可能である。
例えば或る撮像画像データを画像解析/入換部12での処理の対象とする際に、その撮像場所としての位置情報をサーバ装置70に送信し、サーバ装置70が、その撮像場所としての位置情報に応じた挿入画像データを検索して撮像装置1に送信する。
或いは、その撮像画像データの撮像日時情報をサーバ装置70に送信し、サーバ装置70が、その撮像日時に応じた挿入画像データを検索して撮像装置1に送信する。
撮像装置1では、このように提供された挿入画像データを用いて、画像解析/入換部12が入換画像データ生成処理を行うことで、撮像画像データの撮像場所や撮像日時に応じた広告やメッセージ等を挿入した入換画像データを生成できる。
なお、これらの提供の手法は一例にすぎず、さらに多様な提供手法が考えられる。
例えば撮像画像データについて、撮像場所としての位置情報や撮像日時が付加されて保存されている場合において、それらに応じた挿入画像データの提供も可能である。
例えば或る撮像画像データを画像解析/入換部12での処理の対象とする際に、その撮像場所としての位置情報をサーバ装置70に送信し、サーバ装置70が、その撮像場所としての位置情報に応じた挿入画像データを検索して撮像装置1に送信する。
或いは、その撮像画像データの撮像日時情報をサーバ装置70に送信し、サーバ装置70が、その撮像日時に応じた挿入画像データを検索して撮像装置1に送信する。
撮像装置1では、このように提供された挿入画像データを用いて、画像解析/入換部12が入換画像データ生成処理を行うことで、撮像画像データの撮像場所や撮像日時に応じた広告やメッセージ等を挿入した入換画像データを生成できる。
[6.画像保存形式例]
次に、撮像装置1において、画像解析/入換部12の処理結果の保存形式例を説明する。
上述のように、画像解析/入換部12は、処理対象とした撮像画像データの画像内で、入換領域ARiを設定する処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理を行う。
例えば画像解析/入換部12が、これらの処理をおこなって入換画像データを生成した場合、入換画像データをストレージ部14に保存することが考えられるが、そのときには図12のような画像保存形式が考えられる。
次に、撮像装置1において、画像解析/入換部12の処理結果の保存形式例を説明する。
上述のように、画像解析/入換部12は、処理対象とした撮像画像データの画像内で、入換領域ARiを設定する処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理を行う。
例えば画像解析/入換部12が、これらの処理をおこなって入換画像データを生成した場合、入換画像データをストレージ部14に保存することが考えられるが、そのときには図12のような画像保存形式が考えられる。
図12は、ストレージ部14における画像データの保存例を示している。
例えば撮像部3で撮像を行うことで取得した撮像画像データ、或いは通信部15で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データをストレージ部14に保存される。
取得された各撮像画像データは、例えば図のエントリ#1、#2・・・#nとしての撮像画像データVD1,VD2・・・VDnとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報C1,C2・・・Cnが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別(動画/静止画の別など)、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報(撮像時の年月日時分秒)や、撮像時に位置検出部17で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。
そして、これらの撮像画像データVD1,VD2・・・VDnに対応させて入換画像データcVD1,cVD2・・・cVDnを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象として処理して生成した入換画像データcVD1は、撮像画像データVD1に対応させて保存する。
なお、1つの撮像画像データを用いて複数の入換画像データを生成することもできる。その場合も、各入換画像データを、元の撮像画像データに対応させて記憶すればよい。
例えば撮像部3で撮像を行うことで取得した撮像画像データ、或いは通信部15で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データをストレージ部14に保存される。
取得された各撮像画像データは、例えば図のエントリ#1、#2・・・#nとしての撮像画像データVD1,VD2・・・VDnとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報C1,C2・・・Cnが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別(動画/静止画の別など)、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報(撮像時の年月日時分秒)や、撮像時に位置検出部17で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。
そして、これらの撮像画像データVD1,VD2・・・VDnに対応させて入換画像データcVD1,cVD2・・・cVDnを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象として処理して生成した入換画像データcVD1は、撮像画像データVD1に対応させて保存する。
なお、1つの撮像画像データを用いて複数の入換画像データを生成することもできる。その場合も、各入換画像データを、元の撮像画像データに対応させて記憶すればよい。
ところで、画像解析/入換部12では、入換領域ARiを設定する処理と、入換画像データを生成する処理を同時連続的に行っても良いが、入換領域ARiを設定する処理と、入換画像データを生成する処理を別の時点で行うようにしてもよい。また入換領域ARiを設定する処理のみを行って、入換画像データの生成処理を外部機器80において実行させるようにしてもよい。
すると、ストレージ部14において、図13に示すように、撮像画像データに対応して入換領域ARiを示す入換領域情報を保存するという形式も想定される。即ち図示するように撮像画像データVD1,VD2・・・VDnに対応させて入換領域情報E1,E2・・・Enを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象とし、入換領域ARiの設定を行った時点で、その1又は複数の入換領域ARiとしての画素範囲を示す情報を入換領域情報E1として、撮像画像データVD1に対応させて保存する。
このようにすることで、後の時点で、入換領域情報Eで示される画素領域に挿入画像データを挿入して入換画像データを生成することができる。
或いは、例えば表示の都度に入換領域に異なる挿入画像データを挿入して入換画像データを生成するような場合にも好適である。
また、例えば入換領域ARiの設定機能を備えない外部機器80に撮像画像データと入換領域情報を送信し、その外部機器において入換画像データを生成させるということも可能となる。
すると、ストレージ部14において、図13に示すように、撮像画像データに対応して入換領域ARiを示す入換領域情報を保存するという形式も想定される。即ち図示するように撮像画像データVD1,VD2・・・VDnに対応させて入換領域情報E1,E2・・・Enを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象とし、入換領域ARiの設定を行った時点で、その1又は複数の入換領域ARiとしての画素範囲を示す情報を入換領域情報E1として、撮像画像データVD1に対応させて保存する。
このようにすることで、後の時点で、入換領域情報Eで示される画素領域に挿入画像データを挿入して入換画像データを生成することができる。
或いは、例えば表示の都度に入換領域に異なる挿入画像データを挿入して入換画像データを生成するような場合にも好適である。
また、例えば入換領域ARiの設定機能を備えない外部機器80に撮像画像データと入換領域情報を送信し、その外部機器において入換画像データを生成させるということも可能となる。
なお、図12,図13の保存情報を合わせ、入換画像データと入換領域情報の双方とも、撮像画像データに対応させて記憶するようにしてもよい。
[7.画像解析/入換部の処理例I]
画像解析/入換部12は、システムコントローラ10の指示に応じて、システムコントローラ10が指定した撮像画像データを処理対象として、入換画像データの生成のための処理を行う。
ここでは画像解析/入換部12の処理例Iとして、処理対象とした撮像画像データの画像内で入換領域ARiを設定する処理(入換領域設定処理)と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理(画像入換処理)を連続して行う場合の例を述べる。
画像解析/入換部12は、システムコントローラ10の指示に応じて、システムコントローラ10が指定した撮像画像データを処理対象として、入換画像データの生成のための処理を行う。
ここでは画像解析/入換部12の処理例Iとして、処理対象とした撮像画像データの画像内で入換領域ARiを設定する処理(入換領域設定処理)と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理(画像入換処理)を連続して行う場合の例を述べる。
図14はシステムコントローラ10の指示に応じて画像解析/入換部12が実行する処理を示している。
システムコントローラ10は、画像解析/入換部12において図14の処理を実行させる際、その処理対象となる撮像画像データを画像解析/入換部12に転送させる。例えば撮像部3で撮像した撮像画像データを撮像制御部6から画像解析/入換部12に転送させる。或いは通信部15で受信した撮像画像データを画像解析/入換部12に転送させたり、ストレージ部14で撮像画像データを再生させて画像解析/入換部12に転送させる場合もある。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図14の処理をステップF101からF102に進める。
システムコントローラ10は、画像解析/入換部12において図14の処理を実行させる際、その処理対象となる撮像画像データを画像解析/入換部12に転送させる。例えば撮像部3で撮像した撮像画像データを撮像制御部6から画像解析/入換部12に転送させる。或いは通信部15で受信した撮像画像データを画像解析/入換部12に転送させたり、ストレージ部14で撮像画像データを再生させて画像解析/入換部12に転送させる場合もある。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図14の処理をステップF101からF102に進める。
画像解析/入換部12はステップF102で、入力された撮像画像データについて画像解析処理を行い、画像内において1又は複数の入換領域ARiを設定する。画像解析による入換領域ARiの設定手法は上述したとおりである。
入換領域ARiを設定したら、設定した入換領域ARiの数を変数Nに代入する。
入換領域ARiを設定したら、設定した入換領域ARiの数を変数Nに代入する。
続いて画像解析/入換部12はステップF103では、変数N=0であるか否かを確認する。つまり、画像内で入換領域ARiとして設定できる領域が無いという状況であったか否かを確認する。例えば入換領域ARiは、所定形状の領域や空などの認識、文字認識等に基づいて上述した手法で設定するが、画像内容によっては入換領域ARiとできる領域が存在しないことも当然考えられる。
そのためN=0であって、入換領域ARiが1つも設定できなかった場合は、ステップF110に進み、今回処理対象とされた撮像画像データについては、入換画像データの生成が不能である旨をシステムコントローラ10に通知して処理を終える。
そのためN=0であって、入換領域ARiが1つも設定できなかった場合は、ステップF110に進み、今回処理対象とされた撮像画像データについては、入換画像データの生成が不能である旨をシステムコントローラ10に通知して処理を終える。
1以上の入換領域ARiが設定された場合は、画像解析/入換部12の処理はステップF104に進み、まず変数X=1とする。
そしてステップF105で画像解析/入換部12は、挿入画像記憶部18(又は翻訳処理部19)から挿入画像データを入手し、ステップF106で、第Xの入換領域ARi(X)の画素データを、入手した挿入画像データの画素データに入れ換える処理を行う。即ち入換画像データを生成する。
そしてステップF105で画像解析/入換部12は、挿入画像記憶部18(又は翻訳処理部19)から挿入画像データを入手し、ステップF106で、第Xの入換領域ARi(X)の画素データを、入手した挿入画像データの画素データに入れ換える処理を行う。即ち入換画像データを生成する。
この場合、ステップF105で入手する挿入画像データをどのように選択するかは、多様に考えられる。例えば第Xの入換領域ARi(X)が、画像内の看板認識により設定された入換領域であった場合は、広告内容の挿入画像データを選ぶことが考えられるが、挿入画像記憶部18内でランダムに選択して読み出しても良いし、ステップF105の処理を行う毎に順番に選択しても良い。また、第Xの入換領域ARi(X)が、空や海の領域を認識して入換領域とした場合は、飛行船や船舶等、空や海に対応する画像内容の挿入画像データを選択して読み出せばよい。
また、上記図10(a)(b)、図11(a)(b)(c)の動作によりサーバ装置70から供給された挿入画像データとして、最も最近において画像記憶部18に取り込まれた挿入画像データから順に選択していっても良い。
また、この図14の処理を実行する時点で、上記図10(b)又は図11(b)又は図11(c)のようにサーバ装置70にアクセスし、挿入画像データの供給を受けるようにし、それによって挿入画像記憶部18に取り込んだ挿入画像データをステップF105で読み出すようにしてもよい。
また、挿入画像データとしてメッセージ文字画像を用いる場合は、例えばメッセージ文字画像の一覧等を表示部2に表示させ、ユーザの選択操作に応じて、特定のメッセージ文字画像を選択するという手法がある。または、ユーザが実際に文字入力を行ってメッセージ文字画像を生成するということも想定される。
もちろんユーザ入力を介さない選択も可能である。挿入画像記憶部18に記憶された挿入画像データをランダムに選択したり、順番に選択するようにしてもよい。
さらに、上述したように操作入力部11に生体センサを備える場合、生体センサによって検知できるユーザの状況に応じて挿入画像データを選択することも考えられる。例えば脳波、発汗、心拍数・・・等、上述した検出要素からユーザの体調や気分を推定し、その推定されたユーザ状況に適したメッセージ文字画像の挿入画像データを選択することも可能である。
また、挿入画像データとして翻訳文字画像を用いる場合は、ステップF105において、入換領域ARi(X)において認識した文字に基づいて文字データを生成して翻訳処理部19に供給する。そして翻訳処理部19で翻訳された文字データを画像解析/入換部12が受け取ることになる。
また、上記図10(a)(b)、図11(a)(b)(c)の動作によりサーバ装置70から供給された挿入画像データとして、最も最近において画像記憶部18に取り込まれた挿入画像データから順に選択していっても良い。
また、この図14の処理を実行する時点で、上記図10(b)又は図11(b)又は図11(c)のようにサーバ装置70にアクセスし、挿入画像データの供給を受けるようにし、それによって挿入画像記憶部18に取り込んだ挿入画像データをステップF105で読み出すようにしてもよい。
また、挿入画像データとしてメッセージ文字画像を用いる場合は、例えばメッセージ文字画像の一覧等を表示部2に表示させ、ユーザの選択操作に応じて、特定のメッセージ文字画像を選択するという手法がある。または、ユーザが実際に文字入力を行ってメッセージ文字画像を生成するということも想定される。
もちろんユーザ入力を介さない選択も可能である。挿入画像記憶部18に記憶された挿入画像データをランダムに選択したり、順番に選択するようにしてもよい。
さらに、上述したように操作入力部11に生体センサを備える場合、生体センサによって検知できるユーザの状況に応じて挿入画像データを選択することも考えられる。例えば脳波、発汗、心拍数・・・等、上述した検出要素からユーザの体調や気分を推定し、その推定されたユーザ状況に適したメッセージ文字画像の挿入画像データを選択することも可能である。
また、挿入画像データとして翻訳文字画像を用いる場合は、ステップF105において、入換領域ARi(X)において認識した文字に基づいて文字データを生成して翻訳処理部19に供給する。そして翻訳処理部19で翻訳された文字データを画像解析/入換部12が受け取ることになる。
例えばステップF105で以上のようにして挿入画像データを入手し、ステップF106で、入換領域ARi(X)の画像内容を入れ換えた入換画像データを生成したら、画像解析/入換部12はステップF107で、変数Xと変数N(設定した入換領域ARiの数)を比較し、画像内で設定された全ての入換領域ARiについて処理を終えたか否かを確認する。
まだ、未処理の入換領域ARiが存在すれば、ステップF108に進んで変数Xをインクリメントし、ステップF105に戻る。即ち次の入換領域ARi(X)について同様に処理を行う。
まだ、未処理の入換領域ARiが存在すれば、ステップF108に進んで変数Xをインクリメントし、ステップF105に戻る。即ち次の入換領域ARi(X)について同様に処理を行う。
全ての入換領域ARiについて処理を終え、X=Nとなったら、ステップF109に進む。この時点で、全ての入換領域ARiの画像内容が入れ換えられた入換画像データが生成されていることになる。例えば図5(c)、図6(c)、図7(c)、図8(c)、図9(c)で例示したような画像内容の入換画像データが生成されたことになる。
画像解析/入換部12は、システムコントローラ10の指示に従って、このように生成した入換画像データを転送出力する。
例えば入換画像データを表示出力するのであれば表示制御部7に転送する。表示制御部7は供給された入換画像データについての表示を表示部2に実行させる。
また、入換画像データを外部機器80やサーバ装置70に送信出力するのであれば通信部15に転送する。通信部15は供給された入換画像データの送信処理を行う。
また入換画像データを記憶するのであればストレージ部14に転送する。例えばストレージ部14においては、図12のような形式で入換画像データが記憶される。或いは、特に入換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることになる。
画像解析/入換部12は、システムコントローラ10の指示に従って、このように生成した入換画像データを転送出力する。
例えば入換画像データを表示出力するのであれば表示制御部7に転送する。表示制御部7は供給された入換画像データについての表示を表示部2に実行させる。
また、入換画像データを外部機器80やサーバ装置70に送信出力するのであれば通信部15に転送する。通信部15は供給された入換画像データの送信処理を行う。
また入換画像データを記憶するのであればストレージ部14に転送する。例えばストレージ部14においては、図12のような形式で入換画像データが記憶される。或いは、特に入換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることになる。
処理例Iでは以上のように入換領域設定処理(F101〜F103)と、画像入換処理(F104〜F109)が連続して実行される。
なお、撮像画像データを静止画とした場合は、上記処理が1フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。
なお、撮像画像データを静止画とした場合は、上記処理が1フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。
[8.画像解析/入換部の処理例II]
画像解析/入換部12の処理としては、処理対象とした撮像画像データの画像内で入換領域ARiを設定する入換領域設定処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する画像入換処理を、別のタイミングでおこなうようにしてもよい。このような処理を処理例IIとして図15,図16で述べる。
画像解析/入換部12の処理としては、処理対象とした撮像画像データの画像内で入換領域ARiを設定する入換領域設定処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する画像入換処理を、別のタイミングでおこなうようにしてもよい。このような処理を処理例IIとして図15,図16で述べる。
図15は画像解析/入換部12が行う入換領域設定処理を示している。
システムコントローラ10は、画像解析/入換部12において図15の処理を実行させる際、例えば撮像制御部6、或いはストレージ部14、或いは通信部15に指示して、処理対象となる撮像画像データを画像解析/入換部12に転送させる。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図15の処理をステップF201からF202に進める。
システムコントローラ10は、画像解析/入換部12において図15の処理を実行させる際、例えば撮像制御部6、或いはストレージ部14、或いは通信部15に指示して、処理対象となる撮像画像データを画像解析/入換部12に転送させる。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図15の処理をステップF201からF202に進める。
そして画像解析/入換部12はステップF102で入力された撮像画像データについて画像解析処理を行い、画像内において1又は複数の入換領域ARiを設定する。画像解析による入換領域ARiの設定手法は上述したとおりである。
入換領域ARiを設定したら、ステップF203で、入換領域情報を生成する。入換領域情報とは、設定した1又は複数の各入換領域ARiの画素領域を示した情報(もしくは入換領域無しの情報)である。
入換領域情報を生成したら、画像解析/入換部12はステップF204で、その入換領域情報を出力する。この入換領域情報はシステムコントローラ10の制御によりストレージ部14に転送され、ストレージ部14において上記図13のような形式で記憶される。
入換領域ARiを設定したら、ステップF203で、入換領域情報を生成する。入換領域情報とは、設定した1又は複数の各入換領域ARiの画素領域を示した情報(もしくは入換領域無しの情報)である。
入換領域情報を生成したら、画像解析/入換部12はステップF204で、その入換領域情報を出力する。この入換領域情報はシステムコントローラ10の制御によりストレージ部14に転送され、ストレージ部14において上記図13のような形式で記憶される。
例えば図13のように、撮像画像データVDに対応して入換領域情報Eが記憶されることで、後の時点において、撮像画像データVDと入換領域情報Eを用いた入換画像データの生成処理が可能となる。
システムコントローラ10は、画像解析/入換部12に入換画像データを生成させる際には、図13のように対応づけられて保存された、或る撮像画像データVDと入換領域情報Eをストレージ部14に読み出させ、それを画像解析/入換部12に転送させる。
画像解析/入換部12は、或る撮像画像データVDと入換領域情報Eが供給されることに応じて、図16の画像入換処理を行う。
システムコントローラ10は、画像解析/入換部12に入換画像データを生成させる際には、図13のように対応づけられて保存された、或る撮像画像データVDと入換領域情報Eをストレージ部14に読み出させ、それを画像解析/入換部12に転送させる。
画像解析/入換部12は、或る撮像画像データVDと入換領域情報Eが供給されることに応じて、図16の画像入換処理を行う。
画像解析/入換部12は撮像画像データVDと入換領域情報Eが入力されると、処理をステップF301からF302に進め、入換領域情報を確認して、設定されている入換領域の数を変数Nに代入する。
続いて画像解析/入換部12はステップF303で、変数N=0であるか否かを確認する。N=0であって、今回入力された撮像画像データについては、入換領域ARiが1つも設定されていなかった場合は、ステップF310に進む。そして今回処理対象とされた撮像画像データからは入換画像データの生成が不能である旨をシステムコントローラ10に通知して処理を終える。
1以上の入換領域ARiが設定されていた場合は、画像解析/入換部12の処理はステップF304に進み、まず変数X=1とする。このステップF304〜F309の処理に関しては、上記図14のステップF104〜F109と同様であるため、重複説明を避ける。
そしてステップF304〜F309の処理で生成された入換画像データは、ステップF309において表示制御部7に転送されて表示出力されたり、通信部15に転送されて送信処理されたり、ストレージ部14に転送されて内部記録媒体或いは可搬性記録媒体に記憶されたりする。
そしてステップF304〜F309の処理で生成された入換画像データは、ステップF309において表示制御部7に転送されて表示出力されたり、通信部15に転送されて送信処理されたり、ストレージ部14に転送されて内部記録媒体或いは可搬性記録媒体に記憶されたりする。
以上のような処理例IIとして、画像解析/入換部12では、図14の入換領域設定処理と図15の画像入換処理を、それぞれシステムコントローラ10の指示に応じた時点に実行するようにしてもよい。
[9.動作手順例]
画像解析/入換部12では、以上の処理例I又は処理例IIのように、入換領域ARiの設定や、入換画像データの生成が行われる。
このような画像解析/入換部12の処理を利用した本例の撮像装置1の動作手順は非常に多様に考えられる。
以下、図17,図18,図19により、システムコントローラ10の制御によって実行される撮像装置1の動作手順の例を述べていく。各ステップの動作は、システムコントローラ10の制御に基づいて、所要の部位が実行する。
画像解析/入換部12では、以上の処理例I又は処理例IIのように、入換領域ARiの設定や、入換画像データの生成が行われる。
このような画像解析/入換部12の処理を利用した本例の撮像装置1の動作手順は非常に多様に考えられる。
以下、図17,図18,図19により、システムコントローラ10の制御によって実行される撮像装置1の動作手順の例を述べていく。各ステップの動作は、システムコントローラ10の制御に基づいて、所要の部位が実行する。
図17(a)の動作手順は次のようになる。
ステップST100で撮像画像データを取得する。
なお、図17(a)(b)(c)(d)、図18(a)(b)、図19(a)(b)における「画像取得」とは、撮像部3での撮像を行って撮像画像データを取得するか、または通信部15での受信により撮像画像データを取得するか、またはストレージ部14において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップST101では、ステップST100で取得した撮像画像データを画像解析/入換部12に供給し、入換領域設定処理、及び画像入換処理を実行させる。即ち画像解析/入換部12に上記処理例Iを実行させる。
ステップST102では、ステップST100で取得した撮像画像データと、ステップST101で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。つまり図12の1つのエントリ#nとして撮像画像データと入換画像データを対応させて保存させる。
ステップST100で撮像画像データを取得する。
なお、図17(a)(b)(c)(d)、図18(a)(b)、図19(a)(b)における「画像取得」とは、撮像部3での撮像を行って撮像画像データを取得するか、または通信部15での受信により撮像画像データを取得するか、またはストレージ部14において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップST101では、ステップST100で取得した撮像画像データを画像解析/入換部12に供給し、入換領域設定処理、及び画像入換処理を実行させる。即ち画像解析/入換部12に上記処理例Iを実行させる。
ステップST102では、ステップST100で取得した撮像画像データと、ステップST101で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。つまり図12の1つのエントリ#nとして撮像画像データと入換画像データを対応させて保存させる。
図17(b)の動作手順は次のようになる。
ステップST110で撮像画像データを取得する。
ステップST111では、ステップST110で取得した撮像画像データをストレージ部14において保存させる。
ステップST112では、ステップST110で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST113では、ステップST112で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。この時点で図12の1つのエントリ#nとして撮像画像データと入換画像データを対応されて保存される。
ステップST110で撮像画像データを取得する。
ステップST111では、ステップST110で取得した撮像画像データをストレージ部14において保存させる。
ステップST112では、ステップST110で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST113では、ステップST112で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。この時点で図12の1つのエントリ#nとして撮像画像データと入換画像データを対応されて保存される。
以上の図17(a)、図17(b)は、撮像画像データから入換画像データを生成するとともに、ストレージ部14において図12の形式で保存する動作例である。
ストレージ部14に保存された撮像画像データや入換画像データは、後の時点で読み出して、表示出力したり、外部機器80やサーバ装置70に送信したり、可搬性記録媒体に記録することができる。
ストレージ部14に保存された撮像画像データや入換画像データは、後の時点で読み出して、表示出力したり、外部機器80やサーバ装置70に送信したり、可搬性記録媒体に記録することができる。
図17(c)の動作手順は次のようになる。
ステップST120で撮像画像データを取得する。
ステップST121では、ステップST120で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST122では、ステップST101で画像解析/入換部12が生成した入換画像データを出力する。
なお、図17(c)(d)、図18(a)(b)、図19(c)における「入換画像出力」とは、入換画像データを表示制御部7に転送して表示部2で表示出力させるか、または通信部15に転送して送信出力させるか、またはストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることを示す。
ステップST120で撮像画像データを取得する。
ステップST121では、ステップST120で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST122では、ステップST101で画像解析/入換部12が生成した入換画像データを出力する。
なお、図17(c)(d)、図18(a)(b)、図19(c)における「入換画像出力」とは、入換画像データを表示制御部7に転送して表示部2で表示出力させるか、または通信部15に転送して送信出力させるか、またはストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることを示す。
図17(d)の動作手順は次のようになる。
ステップST130で撮像画像データを取得する。
ステップST131では、ステップST130で取得した撮像画像データをストレージ部14において保存させる。
ステップST132では、ステップST130で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST133では、ステップST132で画像解析/入換部12が生成した入換画像データを出力する。
ステップST130で撮像画像データを取得する。
ステップST131では、ステップST130で取得した撮像画像データをストレージ部14において保存させる。
ステップST132では、ステップST130で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST133では、ステップST132で画像解析/入換部12が生成した入換画像データを出力する。
以上の図17(c)、図17(d)は、生成した入換画像データを撮像装置1の内部(ストレージ部14のHDDや固体メモリなどの内部記録媒体)に保存しないで出力する動作例である。
図18(a)の動作手順は次のようになる。
ステップST140で撮像画像データを取得する。
ステップST141では、ステップST140で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST142では、ステップST140で取得した撮像画像データと、ステップST141で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST143では、ステップST142で画像解析/入換部12が生成した入換画像データを出力する。
ステップST140で撮像画像データを取得する。
ステップST141では、ステップST140で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST142では、ステップST140で取得した撮像画像データと、ステップST141で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST143では、ステップST142で画像解析/入換部12が生成した入換画像データを出力する。
図18(b)の動作手順は次のようになる。
ステップST150で撮像画像データを取得する。
ステップST151では、ステップST150で取得した撮像画像データをストレージ部14において保存させる。
ステップST152では、ステップST150で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST153では、ステップST152で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST154では、ステップST152で画像解析/入換部12が生成した入換画像データを出力する。
ステップST150で撮像画像データを取得する。
ステップST151では、ステップST150で取得した撮像画像データをストレージ部14において保存させる。
ステップST152では、ステップST150で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST153では、ステップST152で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST154では、ステップST152で画像解析/入換部12が生成した入換画像データを出力する。
以上の図18(a)、図18(b)は、生成した入換画像データを撮像装置1の内部(ストレージ部14のHDDや固体メモリなどの内部記録媒体)に保存するとともに、その時点で出力する動作例である。
図19(a)の動作手順は次のようになる。
ステップST160で撮像画像データを取得する。
ステップST161では、ステップST160で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST162では、ステップST160で取得した撮像画像データと、ステップST161で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において図13の形式で保存させる。
ステップST160で撮像画像データを取得する。
ステップST161では、ステップST160で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST162では、ステップST160で取得した撮像画像データと、ステップST161で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において図13の形式で保存させる。
図19(b)の動作手順は次のようになる。
ステップST170で撮像画像データを取得する。
ステップST171では、ステップST170で取得した撮像画像データを、ストレージ部14において保存させる。
ステップST172では、ステップST170で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST173では、ステップST172で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において保存させる。結局図13の形式で撮像画像データと入換領域情報が保存されることになる。
ステップST170で撮像画像データを取得する。
ステップST171では、ステップST170で取得した撮像画像データを、ストレージ部14において保存させる。
ステップST172では、ステップST170で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST173では、ステップST172で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において保存させる。結局図13の形式で撮像画像データと入換領域情報が保存されることになる。
以上の図19(a)、図19(b)は、処理例IIの入換領域設定処理の結果としての入換領域情報が、撮像画像データとともに保存されるようにする動作例である。なお、撮像画像データと入換領域情報の保存処理としては、これらを通信部15から外部機器80やサーバ装置70に送信するようにしてもよい。つまり外部機器80やサーバ装置70において入換領域情報が、撮像画像データとともに保存されるようにすることも考えられる。
図19(c)の動作手順は次のようになる。
ステップST180で撮像画像データと入換領域情報を読み出す。即ち上記図19(a)又は図19(b)の動作により、図13の形式で記録されている撮像画像データと入換領域情報をストレージ部14から読み出す。
ステップST181では、ステップST180で取得した撮像画像データと入換領域情報を画像解析/入換部12に供給し、上記処理例IIの画像入換処理(図16)を実行させる。
ステップST182では、ステップST181で画像解析/入換部12が生成した入換画像データを出力する。
ステップST180で撮像画像データと入換領域情報を読み出す。即ち上記図19(a)又は図19(b)の動作により、図13の形式で記録されている撮像画像データと入換領域情報をストレージ部14から読み出す。
ステップST181では、ステップST180で取得した撮像画像データと入換領域情報を画像解析/入換部12に供給し、上記処理例IIの画像入換処理(図16)を実行させる。
ステップST182では、ステップST181で画像解析/入換部12が生成した入換画像データを出力する。
つまりこの図19(c)は、上記図19(a)、図19(b)の動作が行われた後、ストレージ部14において図13のように保存されている撮像画像データと入換領域情報を用いて入換画像データを生成し、出力する動作例である。
なお、外部機器80やサーバ装置70において撮像画像データと入換領域情報が保存されている場合、ステップF180としては、外部機器80やサーバ装置70から送信されてくる撮像画像データと入換領域情報を受信して取り込むという場合もある。或いは撮像画像データと入換領域情報が可搬性記録媒体に保存されている場合、ステップF180としては撮像画像データと入換領域情報を可搬性記録媒体から読み出すということもある。
またステップF182で入換画像データを出力する前後に、入換画像データをストレージ部14に保存するという動作手順の例も考えられる。
なお、外部機器80やサーバ装置70において撮像画像データと入換領域情報が保存されている場合、ステップF180としては、外部機器80やサーバ装置70から送信されてくる撮像画像データと入換領域情報を受信して取り込むという場合もある。或いは撮像画像データと入換領域情報が可搬性記録媒体に保存されている場合、ステップF180としては撮像画像データと入換領域情報を可搬性記録媒体から読み出すということもある。
またステップF182で入換画像データを出力する前後に、入換画像データをストレージ部14に保存するという動作手順の例も考えられる。
以上、撮像装置1の動作を例示したが、動作手順の例は他にも各種考えられる。
[10.実施の形態の効果、及び変形例、拡張例]
以上の実施の形態によれば、撮像画像データにおいて、画像上で違和感がないような画像加工が行われ、例えば図5(c)、図6(c)、図7(c)、図8(c)、図9(c)のような入換画像としての入換画像データが生成される。そしてこの入換画像データによって画像内に広告、メッセージ、翻訳文字などの各種情報が提示される。これによって元の画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
以上の実施の形態によれば、撮像画像データにおいて、画像上で違和感がないような画像加工が行われ、例えば図5(c)、図6(c)、図7(c)、図8(c)、図9(c)のような入換画像としての入換画像データが生成される。そしてこの入換画像データによって画像内に広告、メッセージ、翻訳文字などの各種情報が提示される。これによって元の画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
例えば挿入画像データとして広告情報を用いる場合、広告主から見れば新たな広告機会が実現されることになり、有効な広告媒体として本例のシステムを利用できる。これは本例のシステムが新たなビジネスモデルを創出することにもなる。
またユーザにとっては、広告等の情報提示によって有益な情報を受け取れる。
特に、広告等の内容の挿入画像データについては、日時や現在位置、或いはユーザIDなどに応じてサーバ装置70から提供されることで、タイムリーな広告、現在居る場所において有益な広告、ユーザ個人にとって有益な広告などが提供されることになり、入換画像データの価値を高めることができる。
またユーザにとっては、広告等の情報提示によって有益な情報を受け取れる。
特に、広告等の内容の挿入画像データについては、日時や現在位置、或いはユーザIDなどに応じてサーバ装置70から提供されることで、タイムリーな広告、現在居る場所において有益な広告、ユーザ個人にとって有益な広告などが提供されることになり、入換画像データの価値を高めることができる。
また挿入画像データとしてメッセージ文字画像を用いる場合、メッセージ付加により画像に面白みやユーザの意志を付加するなどの画像カスタマイズが可能となり、ユーザにとっての楽しみを広げたり、画像の新たな利用形態を創出することになる。
また挿入画像データとして翻訳文字を用いることで、ユーザにとって便利なものとなる。例えば図1(a)のようなウェアラブルな撮像装置1を装着し、入換画像データが即時表示部2に表示出力されるようにした場合、ユーザの視界光景に入った看板などに示された外国語が、母国語に翻訳されて表示されることになる。例えば海外旅行の際など、非常に便利となる。
本発明は、上記実施の形態に限られず、撮像装置1の構成例や処理例として各種の変形例や拡張例が考えられる。
本発明の画像処理装置は、撮像装置1として実現する以外に、多様な装置が想定される。
図20は、本発明の画像処理装置としての構成要素として、システムコントローラ10と、画像取得部20と、画像解析/入換部12と、保存処理部22と、画像出力部21と、挿入画像記憶部18を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。
或いは、画像出力部21や保存処理部22の両方又は一方を設けない構成も本発明の画像処理装置として想定される。
本発明の画像処理装置は、撮像装置1として実現する以外に、多様な装置が想定される。
図20は、本発明の画像処理装置としての構成要素として、システムコントローラ10と、画像取得部20と、画像解析/入換部12と、保存処理部22と、画像出力部21と、挿入画像記憶部18を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。
或いは、画像出力部21や保存処理部22の両方又は一方を設けない構成も本発明の画像処理装置として想定される。
画像取得部20は、画像解析/入換部12の処理対象となる撮像画像データを取得する部位である。上記実施の形態の撮像装置1で述べたように、画像取得部20としては、撮像部3及び撮像制御部6や、通信部15や、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブとして実現できる。
また画像取得部20で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。
また画像取得部20で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。
保存処理部22は、入換画像データを保存する処理を行う部位であるが、上記実施の形態のストレージ部14に相当する。
但し、図3(b)(c)のような形態で入換画像データを外部機器80やサーバ装置70に送信して、外部機器80やサーバ装置70において保存を実行させるようにする場合、その送信を行う通信部15は、保存処理部22に相当することになる。もちろん無線送信、有線送信のいずれでも良い。
但し、図3(b)(c)のような形態で入換画像データを外部機器80やサーバ装置70に送信して、外部機器80やサーバ装置70において保存を実行させるようにする場合、その送信を行う通信部15は、保存処理部22に相当することになる。もちろん無線送信、有線送信のいずれでも良い。
画像出力部21は、上記実施の形態の場合では入換画像データを表示出力する表示部2が相当する。また、外部のモニタ装置において表示させるために入換画像データを出力する出力部も、画像出力部21となり得る。
また、入換画像データを図3(b)(c)のように外部機器80やサーバ装置70に有線又は無線で送信する通信部15も、画像出力部21となり得る。
また、入換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部21となり得る。
また、入換画像データを図3(b)(c)のように外部機器80やサーバ装置70に有線又は無線で送信する通信部15も、画像出力部21となり得る。
また、入換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部21となり得る。
このように例えば画像取得部20、画像出力部21、保存処理部22としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存装置、画像合成を行う画像編集装置などとしても実現できる。
また画像解析/入換部12については、入換領域設定処理と画像入換処理を行うものとした。つまり本発明請求項でいう入換領域設定手段と、入換画像生成手段とが、画像解析/入換部12によって実現されるものとして説明した。
しかしながら、撮像装置1等の本発明の画像処理装置では、入換領域設定手段と入換画像生成手段のうちの一方を備える構成も考えられる。即ち装置内で画像解析部を備えて入換領域設定処理のみを行う構成や、装置内で画像入換部を備えて画像入換処理のみを行う構成も考えられる。
例えば或る機器において入換領域設定処理を行って、撮像画像データと入換領域情報を他の機器に提供する。他の機器では、提供された撮像画像データと入換領域情報を用いて画像入換処理を行い入換画像データを生成する、ということも想定される。
しかしながら、撮像装置1等の本発明の画像処理装置では、入換領域設定手段と入換画像生成手段のうちの一方を備える構成も考えられる。即ち装置内で画像解析部を備えて入換領域設定処理のみを行う構成や、装置内で画像入換部を備えて画像入換処理のみを行う構成も考えられる。
例えば或る機器において入換領域設定処理を行って、撮像画像データと入換領域情報を他の機器に提供する。他の機器では、提供された撮像画像データと入換領域情報を用いて画像入換処理を行い入換画像データを生成する、ということも想定される。
1 撮像装置、2 表示部、2a 表示パネル部、3 撮像部、6 撮像制御部、7 表示制御部、10 システムコントローラ、11 操作入力部、12 画像解析/入換部、14 ストレージ部、15 通信部、17 位置検出部、18 挿入画像記憶部、19 翻訳処理部、20 画像取得部、21 画像出力部、22 保存処理部
Claims (15)
- ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。 - 上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する請求項1に記載の画像処理装置。
- 上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する請求項1に記載の画像処理装置。
- 外部通信機器と通信を行う通信部を有し、
上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する請求項1に記載の画像処理装置。 - 上記入換画像生成手段で生成された入換画像データ、及び/又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備えた請求項1に記載の画像処理装置。
- 上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、上記記録媒体に記録する請求項5に記載の画像処理装置。
- 上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、外部通信機器に送信する請求項5に記載の画像処理装置。
- 上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う請求項1に記載の画像処理装置。
- 上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する請求項1に記載の画像処理装置。
- 上記入換領域設定手段は、上記撮像画像データにおける被写体画像の画像解析処理により、上記撮像画像データ内で所定の被写体画像を検出し、検出した被写体画像に基づいて上記入換領域を設定する請求項1に記載の画像処理装置。
- 上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である請求項1に記載の画像処理装置。
- ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、
上記演算処理手段が、
上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、
上記入換画像データについて出力処理を行い、
ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、
上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理方法。 - 画像処理装置と、サーバ装置とが通信可能とされた画像処理システムとして、
上記画像処理装置は、
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、
上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定し、
上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備えた画像処理システム。 - ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。 - ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012230124A JP2013034237A (ja) | 2012-10-17 | 2012-10-17 | 画像処理装置、画像処理方法、画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012230124A JP2013034237A (ja) | 2012-10-17 | 2012-10-17 | 画像処理装置、画像処理方法、画像処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007061735A Division JP5162928B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置、画像処理方法、画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013034237A true JP2013034237A (ja) | 2013-02-14 |
Family
ID=47789673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230124A Pending JP2013034237A (ja) | 2012-10-17 | 2012-10-17 | 画像処理装置、画像処理方法、画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013034237A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140147462A (ko) * | 2013-06-20 | 2014-12-30 | 삼성전자주식회사 | 촬영 제어 방법 및 그 전자 장치 |
JP2015100032A (ja) * | 2013-11-19 | 2015-05-28 | 株式会社Nttドコモ | 映像表示装置、映像提示方法及びプログラム |
JP2019061519A (ja) * | 2017-09-27 | 2019-04-18 | 株式会社Nttドコモ | 情報処理装置 |
US11467798B2 (en) | 2018-11-19 | 2022-10-11 | Samsung Electronics Co., Ltd. | Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06510893A (ja) * | 1991-09-18 | 1994-12-01 | サーノフ コーポレイション | パターン・キー挿入を用いたビデオ合併 |
JPH11265391A (ja) * | 1998-03-17 | 1999-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置 |
JP2000023012A (ja) * | 1998-07-06 | 2000-01-21 | Olympus Optical Co Ltd | 翻訳機能付カメラ |
JP2000350860A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実空間画像の生成方法 |
JP2004173289A (ja) * | 2003-11-27 | 2004-06-17 | Casio Comput Co Ltd | 携帯端末装置またはホスト装置 |
-
2012
- 2012-10-17 JP JP2012230124A patent/JP2013034237A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06510893A (ja) * | 1991-09-18 | 1994-12-01 | サーノフ コーポレイション | パターン・キー挿入を用いたビデオ合併 |
JPH11265391A (ja) * | 1998-03-17 | 1999-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置 |
JP2000023012A (ja) * | 1998-07-06 | 2000-01-21 | Olympus Optical Co Ltd | 翻訳機能付カメラ |
JP2000350860A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実空間画像の生成方法 |
JP2004173289A (ja) * | 2003-11-27 | 2004-06-17 | Casio Comput Co Ltd | 携帯端末装置またはホスト装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140147462A (ko) * | 2013-06-20 | 2014-12-30 | 삼성전자주식회사 | 촬영 제어 방법 및 그 전자 장치 |
KR102092330B1 (ko) * | 2013-06-20 | 2020-03-23 | 삼성전자주식회사 | 촬영 제어 방법 및 그 전자 장치 |
JP2015100032A (ja) * | 2013-11-19 | 2015-05-28 | 株式会社Nttドコモ | 映像表示装置、映像提示方法及びプログラム |
JP2019061519A (ja) * | 2017-09-27 | 2019-04-18 | 株式会社Nttドコモ | 情報処理装置 |
US11467798B2 (en) | 2018-11-19 | 2022-10-11 | Samsung Electronics Co., Ltd. | Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5162928B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP5228307B2 (ja) | 表示装置、表示方法 | |
US9772686B2 (en) | Imaging display apparatus and method | |
JP4424364B2 (ja) | 画像処理装置、画像処理方法 | |
JP4281819B2 (ja) | 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法 | |
TWI384256B (zh) | Display device, display method | |
KR101329419B1 (ko) | 화상 표시 시스템, 표시 장치, 표시 방법 | |
JP4826485B2 (ja) | 画像保存装置、画像保存方法 | |
JP2008198062A (ja) | 画像処理装置、画像処理方法 | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2013034237A (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140107 |