JP2009188865A - 画像処理装置、及び、プログラム - Google Patents

Abstract

【課題】 撮像素子により点滅パターンに変換された画像処理制御情報を受光する場合であっても、確実にこれを受光し、画像処理を行うことができるようにする。
【解決手段】 任意の被写体（１）の近傍に配置され、その被写体の画像処理制御情報（４）を光の点滅パターンで送信する光通信装置（２）と併用される撮像装置（６）であって、前記点滅パターンの点滅の周期をＴａとし、前記撮像装置（６）に含まれる撮像素子（１３）の時系列画像の撮像周期をＴｂとしたとき、Ｔａ＝ＴｂまたはＴａ＜Ｔｂの関係となるようにする。
【選択図】 図１

Description

本発明は、画像処理装置、及び、プログラムに関し、詳細には、被写体側からの要求に応じて、その被写体を含む画像について所定の画像処理を行う画像処理装置、及び、プログラムに関する。

デジタルカメラやカメラ付き携帯電話機またはカメラ付き情報端末などの撮像装置の普及に伴い、絵画等の著作物や人物等を承諾無く勝手に撮影する行為が頻発し、社会問題化している。

こうした行為を防止するための従来技術としては、たとえば、下記の特許文献１に記載された「撮影システム及び光通信装置並びに撮影装置」が知られている。この従来技術は、保護すべき被写体の近くに光通信装置を設置し、その光通信装置の発光部を点滅させて所要の画像処理制御信号を被写体前方に送信すると共に、この被写体を撮影しようとする撮影装置（デジタルカメラ）の側では、撮影装置の前面に設けられた受光部で前記の画像処理制御信号を受信（受光）し、その画像処理制御信号に含まれる規制情報に応じて、当該撮影装置の内部における撮像動作を規制する（たとえば、被写体の撮影禁止または画質劣化等の条件付きで撮影許可する）というものである。

特開２００６−３０１４１７号公報

しかしながら、従来技術にあっては、撮像装置における受光部（被写体側からの画像処理制御信号の受光手段）の取り付け位置が、撮像装置の前面、具体的には、レンズ鏡筒の前面内側や、鏡筒外周面あるいは鏡筒近傍などとなっており、要するに、撮影レンズの光軸から外れた位置となっているため、たとえば、受光部を指先などで隠すといった不正行為を防止できなかった。つまり、受光部が指先で隠された場合には、被写体側からの画像処理制御信号を受光できなくなってしまい、画像処理制御付きの被写体であるにもかかわらず、被写体の撮影動作が許容されてしまうという問題点がある。

また、撮像素子そのものを上記受光部の代わりとして適用する場合、発光部の点滅周期が撮像素子で逐次撮像する周期よりも早い場合、逐次撮像される発光部の明滅状態から画像処理制御情報等の画像処理制御情報を正確に得ることができないという問題が生じる。

そこで、本発明は、撮像素子により点滅パターンに変換された画像処理制御情報を受光する場合であっても、確実にこれを受光し、画像処理を行うことができる画像処理装置、及び、プログラムを提供することにある。

請求項１記載の発明は、特定の点滅パターンに変換された画像処理制御情報を含んだ被写体を、該特定の点滅パターンが有する周期と同じか、或いは該周期よりも短い周期で逐次撮像する撮像手段と、この撮像手段によって逐次撮像される被写体に含まれる点滅パターンを復号し、画像処理制御情報を生成する生成手段と、この生成手段によって生成された画像処理制御情報に基づいて前記撮像手段が逐次撮像する被写体の画像処理内容を制御する制御手段と、を備えたことを特徴とする。
請求項２記載の発明は、上記請求項１記載の発明において、複数種の点滅パターンと対応付けて、画像処理制御情報を記憶する記憶手段を更に備え、前記生成手段は、前記逐次撮像される点滅パターンに基づいて前記記憶手段より対応する画像処理制御情報を読み出すことを特徴とする。
請求項３記載の発明は、上記請求項１又は２記載の発明において、前記画像処理制御情報とは、前記被写体を含む画像の記録許可情報であることを特徴とする。
請求項４記載の発明は、上記請求項１又は２記載の発明において、前記画像処理制御情報とは、前記被写体を含む画像の記録禁止情報であることを特徴とする。
請求項５記載の発明は、上記請求項１又は２記載の発明において、前記画像処理制御情報とは、前記被写体を含む画像の条件付記録許可情報であり、前記制御手段は、前記条件付記録許可情報に基づいて、前記被写体を含む画像を加工して記録部に記録することを特徴とする。
請求項６記載の発明は、特定の点滅パターンに変換された画像処理制御情報を含んだ被写体を逐次撮像する撮像部を具備する画像処理装置が具備するコンピュータを、前記撮像部に対し、該特定の点滅パターンが有する周期と同じか、或いは該周期よりも短い周期で逐次撮像するよう制御する撮像制御手段、この逐次撮像される被写体に含まれる点滅パターンを復号し、画像処理制御情報を生成する生成手段、この生成手段によって生成された画像処理制御情報に基づいて前記撮像手段が逐次撮像する被写体の画像処理内容を制御する制御手段、として機能させることを特徴とする。

本発明によれば、特定の点滅パターンに変換された画像処理制御情報をこの特定の点滅パターンが有する周期と同じか、或いは該周期よりも早い周期で逐次撮像するので、撮像素子により点滅パターンに変換された画像処理制御情報を受光する場合であっても、確実にこれを受光し、画像処理制御を行うことができる。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。

図１は、本実施の形態に係る画像処理制御システムの概念図である。この図において、一例として博物館等の掲示物（ここでは絵画）を画像処理制御対象の被写体１とした場合、この被写体１の近傍には、光通信装置２が設置されており、この光通信装置２は、一つまたは複数（図では便宜的に２個）の発光素子３、３と、この発光素子３、３の点滅パターンを操作して所定の画像処理制御信号４、４を送信する送信部５とを備える。

画像処理制御信号４、４の送信範囲（発光素子３、３の光学的指向範囲）は、被写体１に対する通常の鑑賞位置のほぼ全域をカバーするように設定されており、この鑑賞位置には、被写体１の前方はもちろん、上下左右のやや斜め方向の位置も含まれる。

ここで、光通信装置２は、上記のとおり、発光素子３、３の点滅パターンを操作することによって所要の画像処理制御信号４、４を送信するものであるが、以下、便宜的に、発光素子３、３の点灯を「論理１」、消灯を「論理０」で表すことにし、且つ、その点滅パターンが「１０１０・・・・」の繰り返しのときには、たとえば、“この画像はサンプルです”などといったクレジット（画像）と撮影画像とを合成して記録する画像処理制御情報であり、その点滅パターンが「１１００・・・・」の繰り返しのときには、画質を劣化させて記録する画像処理制御情報であり、その点滅パターンが「１１１０・・・・」の繰り返しのときには、一切の撮影及び、撮影画像の記録を禁止する画像処理制御情報であるものとする。

なお、以上の画像処理制御情報の種類や内容及び点滅パターンの実際は、あくまでも一例に過ぎず、これをもって本発明の技術思想の外縁を把握してはならない。要は、光通信装置２によって何らかの画像処理制御情報を光学的に送信することができるものであればよい。

次に、この画像処理制御システムに用いられるデジタルカメラ（以下、撮像装置）６について説明する。今、撮像装置６の撮影画角をαとしたとき、この撮影画角αに被写体１が含まれている。撮像装置６は、ボディ７の前面に光学系８を収めた鏡筒９（固定式であっても沈胴式であってもよい。）を装着するとともに、そのボディ７の上面及び背面にシャッタボタン１０や各種機能キー１１などの操作ボタン類並びに液晶ディスプレイからなる表示部１２を配置して構成されており、さらに、ボディ７の内部の光学系８の焦点位置にはＣＣＤやＣＭＯＳなどの撮像素子１３が配置されている。

図２（ａ）は、撮像装置６の内部ブロック図であり、この撮像装置６は、光学系８や、撮像素子（ＣＣＤセンサまたはＣＭＯＳセンサなど）１３、画像処理部１４、操作部１５、表示部１２、記憶部１６及び制御部１７などを備える。

また、制御部１７は、本実施の形態で実行する後述のプログラムを記憶するプログラムメモリ１７０と、図２（ｂ）に図示するように、各種点滅パターン（１０１０１０１０・・・・、１１００１１００・・・・、及び、１１１０１１１０・・・・）と上記プログラムメモリ１７０に格納されるプログラムである画像処理制御内容（クレジット〔画像〕と合成して記録、劣化して記録、撮影禁止）とを対応付けて記憶したテーブル１７１とを備えている。なお、これ以外にもストロボ発光部や電源部並びに外部入出力部等を備えるが、ここでは図示及び説明を略す。

次に、撮像装置６の動作を説明するが、まず最初に、通常の撮影と再生の動作、すなわち、撮像画角内に光通信装置２が含まれていない被写体を撮影する場合の動作を説明する。この場合、撮影者は、撮像装置６の不図示の電源スイッチをオンにし、撮像装置６の動作モードを確認して必要であれば（再生モードになっている場合には）撮影モードに切り換える。この撮影モードにおいては、撮像素子１３から毎秒数十枚のフレーム画像（一般的には３０枚／秒、つまり、１秒を単位時間とした場合にその単位時間当たり３０枚の時系列画像のこと。）が継続して出力される。そして、このフレーム画像が画像処理部１４及び制御部１７を介して表示部１２に送られることにより、この表示部１２の画面上に、構図確認用のモニタ画像（いわゆるスルー画像）が表示されるようになっている。撮影者は、このスルー画像を見ながら所望の構図に調整した後、シャッタレリーズ（操作部１５のシャッタボタン１０の押下操作）する。制御部１７は、このシャッタレリーズに応答して、撮像素子１３から出力された静止画を画像処理部１４経由で取り込み、この静止画を圧縮処理するなどした後、撮影済みの画像として記憶部１６に保存する。一方、再生モードにおいては、記憶部１６に保存されている撮影済み画像のサムネイル一覧を表示部１２に表示するなどし、撮影者によってその一覧から選択された画像を記憶部１６から取り出して表示部１２に表示する。

以上が通常の撮影と再生の動作である。本実施形態の撮像装置６にあっては、これに加えて、さらに、撮影画角に光通信装置２の発光素子３、３の点滅パターンが含まれている場合、その点滅パターンから画像処理制御信号４、４を復号し、当該画像処理制御信号４、４に含まれている画像処理制御情報（前記の例示に従えば、クレジット〔合成画像〕と撮影画像とを合成して記録、画質を劣化させて記録、一切の撮影及び、撮影画像の記録の禁止）に従って、撮影動作の制御を行う点に特徴がある。

図２（ｃ）は、発光素子３、３の点滅パターンと撮像素子１３のフレーム画像の対応図である。この図において、発光素子３、３の点滅パターン１８の周期をＴａとすると、撮像素子１３のフレーム画像１９の周期Ｔｂは、Ｔａと同等か、または、Ｔａよりも短いことが条件である。なお、図では発光素子３、３の点滅パターン１８を点灯と消灯を等間隔で繰り返すものとしているが、これは説明のための便宜例である。つまり、論理列で“１０１０１０・・・・”の点滅パターン１８となっているが、他の論理列であっても構わない。要は、「Ｔｂ≦Ｔａ」を満たす所定の周期Ｔａになっていればよい。このことは、撮像素子１３のフレーム画像１９の周期Ｔｂにも当てはまり、前記例示の毎秒３０フレームの周期にかかわらず、要は、「Ｔｂ≦Ｔａ」を満たす所定の周期Ｔｂになっていればよい。

かかる条件（Ｔｂ≦Ｔａ）は、次のことを意味する。
（１）発光素子３、３の点滅パターン１８の周期Ｔａを基準とした場合：
点滅パターン１８の周期Ｔａと同じかまたはそれより短い周期Ｔｂとなるように撮像素子１３の毎秒当たりのフレーム数を設定する。こうすることにより、撮像素子１３のサンプリング周波数（つまり、フレーム周波数）と同じかまたはそれよりも低い周波数で発光素子３、３を点滅させることができ、発光素子３、３の点滅パターン１８に含まれる画像処理制御信号４、４を撮像装置６の側で支障なく受信再生することができるようになる。
（２）撮像素子１３のフレーム画像１９の周期Ｔｂを基準とした場合：
フレーム画像１９の周期Ｔｂと同じかまたは長い周期Ｔａとなるように、発光素子３、３の点滅パターン１８の周期Ｔａを設定する。こうすることにより、（１）と同様に、撮像素子１３のサンプリング周波数（つまり、フレーム周波数）と同じかまたはそれよりも低い周波数で発光素子３、３を点滅させることができ、発光素子３、３の点滅パターン１８に含まれる画像処理制御信号４、４を、撮像装置６の側で支障なく受信再生することができるようになる。

なお、周期Ｔｂが周期Ｔａより短い場合、その周期の短さは整数倍を越えることはなく、周期Ｔａよりもやや短いものとする。

図３は、発光素子３、３の点滅パターン１８が写し込まれたスルー画像の一例を示す図である。この図において、（ａ）の画像２０には被写体１と発光素子３、３が写し込まれており、同様に、（ｂ）の画像２１にも被写体１と発光素子３、３が写し込まれている。相違は、画像２０の発光素子３、３が「点灯」しているのに対して画像２１の発光素子３、３が「消灯」している点にある。画像２０は、図２（ｂ）の点滅パターン１８が「点灯」しているときの撮像素子１３のサンプリング画像（たとえば、時点イのときの画像）に対応し、画像２１は、図２（ｂ）の点滅パターン１８が「消灯」しているときの撮像素子１３のサンプリング画像（たとえば、時点ロのときの画像）に対応する。

これは、「Ｔａ＝Ｔｂ」の場合の説明であるが、「Ｔａ＜Ｔｂ」の場合であっても同様である。たとえば、「Ｔａ＝Ａ×Ｔｂ」とした場合（ただし、Ａ＝２，３，４，・・・・）には、画像２０と画像２１がＡフレームずつ続くことになる。

「Ｔａ＝Ｔｂ」又は「Ｔａ＜Ｔｂ」いずれの場合も、つまり、前記の条件（Ｔｂ≦Ｔａ）に当てはまる場合であれば、撮像素子１３のサンプリング周波数（フレーム周波数）と同じかまたはそれよりも低い周波数で発光素子３、３を点滅させることになるので、発光素子３、３の点滅パターン１８に含まれる画像処理制御信号４、４を、撮像装置６の側で支障なく受信することができるのである。

図４は、撮像装置６の動作フローを示す図であり、このフローは、撮像装置６の制御部１７で実行されるプログラムの要部を示している。このフローにおいては、まず、撮像素子１３から周期Ｔｂごとに継続して出力されるスルー画像を構図確認用のモニタ画像として表示部１２に表示（ステップＳ１）すると共に、そのスルー画像から画像処理制御情報の抽出処理を実行（ステップＳ２）し、そして、シャッタレリーズ操作検出の有無を判定する（ステップＳ３）。

そして、シャッタレリーズ操作が検出されない場合はステップＳ１以降を繰り返す一方、検出された場合は画像処理制御情報の抽出の有無を判定し（ステップＳ４）、画像処理制御情報が抽出されていなければ、通常撮影であると判断して、撮像素子１３から出力された画像を画像処理部１４経由で取り込み、この画像を圧縮処理するなどした後、記憶部１６に記録するという通常の撮影処理を実行（ステップＳ５）してからフローを終了するが、画像処理制御情報が「有り」の場合は、特定の画像処理制御を行うべき被写体画像であると判断して画像処理に所要の制御処理を加えて（ステップＳ６）からフローを終了する。

図５は、画像処理制御情報の抽出処理（図４のステップＳ２）のフローを示す図である。このフローでは、まず、連続する複数フレームのスルー画像を順次取得し（ステップＳ２ａ）、次いで、それらのフレーム画像にテーブル１７１に記憶された点滅パターン（図２の点滅パターン１８参照）が巡回的に含まれているか否かを判定する（ステップＳ２ｂ）。そして、含まれていなければ画像処理制御無しと判断してフローを抜け、一方、点滅パターンが含まれていれば、その点滅パターンからテーブル１７１を参照して画像処理制御情報を抽出する（ステップＳ２ｃ）。

ここで、前記の光通信装置２の例示に従えば、発光素子３、３の点滅パターンが「１０１０・・・・」の繰り返しのときには、たとえば、“この画像はサンプルです”などといったクレジット（画像）を撮影画像に合成して記録するという画像処理制御情報であり、また、発光素子３、３の点滅パターンが「１１００・・・・」の繰り返しのときには、画質を劣化させた状態で撮影画像を記録するという画像処理制御情報であり、さらに、発光素子３、３の点滅パターンが「１１１０・・・・」の繰り返しのときには、一切の撮影と撮影画像の記録を禁止するという画像処理制御情報であるから、このステップＳ２ｃにおいても同様の処理を行うものとすれば、具体的には、点・消灯フレームの並びが「１０１０・・・・」の繰り返しのときには「合成記録」という画像処理制御情報をテーブル１７１から抽出し、又は、点・消灯フレームの並びが「１１００・・・・」の繰り返しのときには「劣化記録」という画像処理制御情報をテーブル１７１から抽出し、又は、点・消灯フレームの並びが「１１１０・・・・」の繰り返しのときには「撮影禁止」という画像処理制御情報をテーブル１７１から抽出することになる。

図６は、画像処理制御処理（図４のステップＳ６）のフローを示す図である。このフローでは、まず、前記のステップＳ２ｃで抽出された画像処理制御情報に従って分岐する（ステップＳ６ａ）。すなわち、たとえば、“この画像はサンプルです”などといったクレジット付きで撮影と撮影画像の保存を許可する合成記録処理（ステップＳ６ｂ）への分岐、画質を劣化させた状態で撮影と撮影画像の保存を許可するという画質劣化処理（ステップＳ６ｃ）への分岐、又は、一切の撮影と撮影画像の保存を禁止するという撮影禁止報知表示処理（ステップＳ６ｄ）への分岐を行い、いずれもそれらの処理を実行した後、フローを抜ける。

図７は、撮影禁止報知表示処理（ステップＳ６ｄ）における報知内容表示の一例を示す図である。この図に示すように、前記の表示処理においては、表示部１２のスルー画像２２の上に、たとえば、“この被写体は撮影できません”などといったメッセージ２３を表示する。

以上のようにしたので、本実施の形態に係る撮像装置６によれば、以下の効果が得られる。
（ａ）本来は被写体の撮像手段である撮像素子１３を、画像処理制御信号４、４の受光手段としても利用するようにした。これにより、この画像処理制御内容の用途を撮影規制に特化した場合においては、その規制を逃れたいユーザは、撮像そのものを諦めなければならなくなり、冒頭で説明した“不正行為”を確実に防止することができる。
（ｂ）撮像素子１３が順次撮像する周期が、発光素子３、３の点滅パターンの周期と同等か短いため、確実に画像処理制御情報を受光（受信）し、画像処理制御を行うことができる。

なお、以上の説明では、画像処理制御情報として、「合成記録（クレジット付き撮影許可）」、「画質劣化撮影許可」または「撮影禁止」の三種類を提示しているが、これらは、あくまでも実用可能な一例を示しているに過ぎない。絵画等の著作物や人物等を承諾無く勝手に撮影する行為を防止するのであれば、「撮影禁止」だけとしてもよい。あるいは、撮像装置６の解像度（撮像素子１３の画素数）や画像のサイズに応じて、特定の解像度以上の精密な撮影のみを禁止したり、特定のサイズ以上の大きさ画像の撮影を禁止したりしてもよい。

本実施の形態に係る画像処理制御システムの概念図である。 （ａ）は撮像装置６の内部ブロック図、（ｂ）は制御部１７に設けられるテーブル１７１の構成図、（ｃ）は発光素子３、３の点滅パターンと撮像素子１３のフレーム画像の対応図である。 発光素子３、３の点滅パターン１８が写し込まれたスルー画像の一例を示す図である。 撮像装置６の動作フローを示す図である。 画像処理制御情報の抽出処理（図４のステップＳ２）のフローを示す図である。 画像処理制御処理（図４のステップＳ６）のフローを示す図である。 撮影禁止警告表示処理（ステップＳ６ｄ）における警告表示の一例を示す図である。

符号の説明

１ 被写体
２ 光通信装置
４ 画像処理制御信号
６ 撮像装置
１３ 撮像手段
１６ 記憶部
１７ 制御部
１７１ テーブル

Claims (6)

1. 特定の点滅パターンに変換された画像処理制御情報を含んだ被写体を、該特定の点滅パターンが有する周期と同じか、或いは該周期よりも短い周期で逐次撮像する撮像手段と、
   この撮像手段によって逐次撮像される被写体に含まれる点滅パターンを復号し、画像処理制御情報を生成する生成手段と、
   この生成手段によって生成された画像処理制御情報に基づいて前記撮像手段が逐次撮像する被写体の画像処理内容を制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 複数種の点滅パターンと対応付けて、画像処理制御情報を記憶する記憶手段を更に備え、
   前記生成手段は、前記逐次撮像される点滅パターンに基づいて前記記憶手段より対応する画像処理制御情報を読み出すことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理制御情報とは、前記被写体を含む画像の記録許可情報であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理制御情報とは、前記被写体を含む画像の記録禁止情報であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記画像処理制御情報とは、前記被写体を含む画像の条件付記録許可情報であり、
   前記制御手段は、前記条件付記録許可情報に基づいて、前記被写体を含む画像を加工して記録部に記録することを特徴とする請求項１又は２に記載の画像処理装置。
6. 特定の点滅パターンに変換された画像処理制御情報を含んだ被写体を逐次撮像する撮像部を具備する画像処理装置が具備するコンピュータを、
   前記撮像部に対し、該特定の点滅パターンが有する周期と同じか、或いは該周期よりも短い周期で逐次撮像するよう制御する撮像制御手段、
   この逐次撮像される被写体に含まれる点滅パターンを復号し、画像処理制御情報を生成する生成手段、
   この生成手段によって生成された画像処理制御情報に基づいて前記撮像手段が逐次撮像する被写体の画像処理内容を制御する制御手段、
   として機能させることを特徴とするプログラム。

Images