JP2017085333A - 撮影システム - Google Patents

Abstract

【課題】デジタルカメラやビデオカメラにおいて、カメラによって撮像された映像を伝送し、表示する場合の伝送遅延と処理遅延を低減し、リアルタイムに近い感覚での操作を可能にする。【解決手段】カメラに対するズーム操作などの制御（外因性の情報入力）が行われた際には、撮影装置でのデータ量を制御するか、あるいは、コントローラでの表示に係る制御を軽減するといった表示に係る処理の負荷を低減させて、遅延を減少させる。【選択図】図５

Description

本発明は、撮影部と表示部を含む撮影システムに関する。

近年のデジタルカメラやビデオカメラは、図１に示したように、スマートホンやデジタルテレビ等の無線コントローラとＷｉ−Ｆｉ（登録商標）等の無線プロトコルによって接続され、スマートホンやデジタルテレビ等から遠隔制御されることが可能となっている。

特開2002-099649 特開2006-325150 特開平09-284627

特許文献１には、デジタルスチルカメラとリモコンをＢｌｕｅｔｏｏｔｈ（登録商標）で接続し、リモコンに表示されるデジタルスチルカメラの撮影画像を見ながら所望の撮影範囲を容易かつ確実に撮影できる無線リモコンを提供するものである。

特許文献２には、デジタルカメラと、デジタルカメラの表示画像を表示する別体の表示部とからなるデジタルカメラにおいて、伝送遅延・処理遅延を解消するために、デジタルカメラで複数の画像を記録しておき、シャッターが押された際に、その複数の画像の中から表示部に表示された画像を特定する方法を教示したものである。

特許文献３には、カメラを含むサーバを端末から遠隔操作するシステムにおいて、サーバが映像信号を端末に送信する際に、映像信号に時刻参照情報を付加して端末に出力し、端末は時刻参照情報から作られた制御時刻情報を制御命令に付加して出力し、サーバはこの制御時刻情報に基づいてカメラを制御命令が出されたときに表示されている映像の状態に戻すことによって遅延によるずれを補正する技術を教示したものである。

近年、デジタルカメラやビデオカメラの映像をスマートホンなどの携帯端末に送信し、携帯端末からカメラのシャッター等の制御を行う技術が盛んに利用されている。一方で、撮像素子の画素数の急激な増加とともにコントローラに送信する映像情報も飛躍的に増大しており、また表示装置も高精細化されており、表示制御に係る負荷も増大している。これに伴い、カメラで撮影した撮像に基づく映像情報をコントローラの表示部に表示する際に生じる遅延（伝送遅延・処理遅延）も従来に比べて著しく大きくなっている。このために、コントローラから撮影装置の制御、特にズーム操作を行った場合など、コントローラの映像を見ながら撮影装置の制御を行うことになるが、コントローラに表示された映像と、実際にその時点での撮像が遅延により異なるために、コントローラから制御信号を送信した際には撮影装置でのズームが行き過ぎているといった問題が生じ、正確な制御ができないという問題がある。また、従来の遅延解消手段は遅延量を測定し、その遅延に応じて撮像や撮影状態を修正することを教示しているが、遅延の量が多くなってきた結果、この補正手段だけでは補正方法としては十分ではない。また、表示負荷を減らすために常時、表示装置への表示映像の品質を下げることも一つの手段ではあるが、ユーザの利便性が下げられることとなる。

撮影装置と、前記撮影装置の撮像が表示され、かつ、前記撮影装置の制御を行うコントローラとが無線通信によって接続された撮影システムにおいて、
前記コントローラから前記撮影装置に制御信号が送信される、または／および、前記映像内に特定のフィーチャが識別されると、
前記撮影装置から前記コントローラに送信される映像情報生成制御および／または前記コントローラでの表示制御に係る制御を変更し、
前記撮影装置からの前記映像情報に基づく前記撮像の表示の遅延が減少されることを特徴とする撮影システム。

前記撮影装置から前記コントローラに送信される映像情報生成制御および／または 前記コントローラでの表示制御に係る制御を変更する処理は、少なくとも、
前記撮影装置から前記コントローラへ送信される映像情報の圧縮率を上げる処理、
前記撮影装置から前記コントローラへ送信される映像情報の圧縮率を下げる処理、
前記撮影装置から前記コントローラへ送信される映像情報の品質を下げる処理、
前記撮影装置から前記コントローラへ送信される映像情報の圧縮方法を変える処理、
前記撮影装置から前記コントローラへ送信される映像情報の画像サイズを下げる処理、
前記撮影装置から前記コントローラへ送信される映像情報のフレームレートを下げる処理、
前記撮影装置から前記コントローラへ送信される映像情報の色情報を下げる処理、
または、
前記コントローラで表示される映像情報の画像サイズを下げる処理、
前記コントローラで表示される映像情報のフレームレートを下げる処理、
前記コントローラで表示される映像情報の色情報を下げる処理、
のいずれかの処理が行われる（ただし、圧縮率を上げる処理と圧縮率を下げる処理は同時に行われない）ことを特徴とする前記撮影システム。

前記撮影システムに使われるデジタルカメラやビデオカメラ、ＷＥＢカメラやカメラ搭載車両などの撮影装置。

前記撮影システムに使われるコントローラ。

合焦位置を表示することを特徴とする前記コントローラ。

スマートホンであることを特徴とする前記コントローラ。

前記コントローラに記憶され、カメラの制御を行うプログラム。

撮像された映像を表示部に表示可能で、かつ、撮像のズーム処理の可能な撮影装置において、ズーム操作が行われた場合に、少なくとも、撮像素子からの情報を間引く、表示解像度を下げる、表示画像のサイズを下げる、色情報を減少させる、フレームレートを下げるといった処理を行って前記映像と前記ズーム操作との処理遅延を減少させる制御を行うことを特徴とする撮影装置または撮像された映像を表示部に表示可能な撮影装置において、映像内に特定のフィーチャを認識した、あるいは特定のフィーチャに焦点があった場合に、少なくとも、撮像素子からの情報を間引く、表示解像度を下げる、表示画像のサイズを下げる、色情報を減少させる、フレームレートを下げるといった処理を行って前記映像と前記ズーム操作との処理遅延を減少させる制御を行うことを特徴とする撮影装置。

本発明によれば、ズーム等の制御（外因性の情報入力）を行った際に、表示部に映された映像と、ズーム等の制御とのずれを解消することができる。特に、携帯端末やデジタルテレビなどのコントローラからカメラを操作する際に、コントローラ上に表示された映像とほとんどずれがなく、リアルタイムに近い感覚でカメラを制御することができユーザの利便性が著しく改善される。

図1は、従来の遠隔制御による撮影システムを示す概念図である。 図２は、本発明のコントローラの表示画面の一例を示す図である。 図３は、本発明に用いられるコントローラのブロック構成図である。 図４は、本発明に用いられる撮影装置のブロック構成図である。 図５は、本発明の撮影システムの制御の流れを示すフロー図である。 図６は、本発明に用いられるデータパケットの一例を示した図である。 図７は、本発明の変形例に用いられるデジタルカメラの概略構成図である。 図８は、本発明の変形例に用いられるスマートホンの撮影システムの概略図である。

本発明の撮影システムには、コントローラとして従来のスマートホンやデジタルテレビ、撮影装置としてデジタルカメラやビデオカメラのハードウェアを使用することができる。ただし、撮影装置からコントローラに送信される映像情報生成制御および／またはコントローラでの表示制御に係る制御が後述のように変更可能であることが必要とされる。また、本発明は、ズーム制御やパン・チルト制御などが行われているような状態で画角や画像が大きく変化する際に静止時に比べて細部に注意が向かないという視覚の特徴を利用したものである。

＜遅延を解消させる方法＞
・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の圧縮率を上げて映像情報の情報量を縮小し、制御情報による制御が解消されると元の圧縮率に戻す。これによってシステムにおける映像情報の送受信の期間を短縮させ伝送遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の圧縮率を下げて（典型的には無圧縮）、制御情報による制御が解消されると元の圧縮率に戻す。これによって撮影装置における符号化および／またはコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・前述の圧縮率を上げる、または圧縮率を下げる処理はいずれかの処理によって伝送遅延または処理遅延を合わせた全体としての遅延がトータルで減少するものを選択すると都合が良い。また、これはコントローラまたは撮影装置に搭載されたプログラムによって検証され、適宜自動的に選択されるようにしてもよい。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の品質を下げて、制御情報による制御が解消されると元の品質に戻す。これによって撮影装置における映像品質の最適化における処理時間を短縮させ処理遅延を減少する。（品質は典型的にはアルゴリズムの相違に起因する。）

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の圧縮方法を変えて、制御情報による制御が解消されると元の圧縮方法に戻す。これによって映像情報の送受信の期間を短縮させ伝送遅延を減少する、あるいは、撮影装置における符号化および／またはコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の画像サイズを変えて、制御情報による制御が解消されると元の画像サイズに戻す。これによって映像情報の送受信の期間を短縮させ伝送遅延を減少する、あるいは、撮影装置における符号化および／またはコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報のフレームレートを減少させて、制御情報による制御が解消されると元のフレームレートに戻す。これによって映像情報の送受信の期間を短縮させ伝送遅延を減少する、あるいは、撮影装置における符号化および／またはコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信される映像情報の色情報を減少させて、制御情報による制御が解消されると元の色情報に戻す。これによって映像情報の送受信の期間を短縮させ伝送遅延を減少する、あるいは、撮影装置における符号化および／またはコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信された映像情報の画像サイズを減少させて、制御情報による制御が解消されると元の画像サイズに戻す。これによってコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信された映像情報のフレームレートを減少させて、制御情報による制御が解消されると元のフレームレートに戻す。これによってコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

・コントローラから撮影装置にズーム等の制御情報が送信された際に、撮影装置からコントローラへ送信された映像情報の色情報を減少させて、制御情報による制御が解消されると元の色情報に戻す。これによってコントローラにおける複合化における処理時間を短縮させ処理遅延を減少する。

＜映像情報の変更の識別方法＞
・コントローラから制御信号を送信したのち、撮影装置から送信される情報に映像情報が変更されたことを示す識別子を挿入する。なお、制御されている期間にわたって識別子を挿入しても、映像情報が変わった時にだけ識別子を挿入してもよい。

・撮影装置から送信される情報に圧縮等の複合化に必要な情報を常時挿入し、コントローラではその情報を見ながら複合化を行う。

＜さらなる遅延解消方法＞
・撮影装置から送信される映像情報に関する情報に時刻情報を挿入するとともに、その時刻情報に対応した撮影情報、場合によっては撮影画像を撮影装置に記憶し、コントローラで制御信号（切替）が送信される際に同時に、表示部に表示されている映像情報に関する情報の中の時刻情報を撮影装置に送信し、撮影装置ではその情報を受信した際にその中の時刻情報に応じた撮影情報等に基づいて撮影装置を制御する。ここでは時刻情報としたが、番号などの識別可能なものならそちらでもよい。

・撮影システムに用いられる、撮影装置とコントローラとの間で生じる遅延量を予め記憶したデータベースを用いて、遅延量を補正する。なお、補正方法は前述と同様に行う。

（実施例１）
本発明の第１の実施例に用いるコントローラを図２に示した。図２ではコントローラとしてスマートホン２０１を用いている。スマートホン２０１ではカメラ制御用アプリケーション（プログラム）がインストールされており、スマートホン２０１の液晶表示画面２０２に図示されたような制御画面が示されている。このアプリケーションではカメラとの無線接続が確立されると、カメラ画像表示部２０３にカメラからの撮像画像が連続的に表示される。続いて、ユーザがカメラのシャッター２０４をタッチするとその時の表示画像がカメラの記憶媒体若しくはスマートホンの不揮発メモリ（図示しない。外部記憶装置に記憶するように構成してもよい）に記憶される。またズームイン２０５をタッチすると、カメラのレンズのズーム倍率が大きくなり拡大表示され、ズームアウト２０６をタッチするとカメラのレンズのズーム倍率が小さくなり縮小表示される。パン−２０７およびパン＋２０８はカメラのオプショナルな機能に対応しており、カメラが水平方向に回転する電動雲台に設置されているとき、パン−をタッチすると一方へ、パン＋をタッチすると逆方向に回転させることが可能である。また図示していないが電動雲台が垂直方向へのチルトアングルの変更にも対応している場合には新たなタッチキーを液晶表示画面上に設けその上下角度をタッチ操作によって切り替えるように設定することも可能である。なお、本実施例では、コントローラとしてスマートホンを例示しているが、デジタルテレビや専用の表示機能付きリモコン、専用のリモコンなどの他のコントローラでも構わない。

次に本実施例のスマホ３０１の機器構成のブロック図を示す。本発明のスマートホン３０１はＲＯＭ３０５に記憶されたオペレーティングシステムをＣＰＵ３０２が動作させ、その上でさらに通信アプリケーションなどのソフトウェア動作させることによって機能している。スマートホン３０１の通信機能は主に無線通信制御部３０９で行われ、専用のＲＯＭ３１０とＲＡＭ３１１を用いて制御することによって安定した動作を保障している（ただし、用途に応じて独立の無線通信制御部を設けずにＣＰＵ３０２、ＲＡＭ３０４、ＲＯＭ３０５を兼用したスマートホンを用いてもよい）。無線通信制御部３０９では３Ｇあるいは４Ｇ（ＬＴＥ（登録商標））などの公衆通信網、あるいは、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、無線LANなどのローカルな通信網との通信制御を行うことが可能である。ＣＰＵ３０２はスマートホン３０１の多くの機能を処理・実行し、外部操作入力部３０７からのユーザの操作入力、表示出力部３０３への表示制御の処理を少なくとも行っている。スマートホン３０１をコントローラとして用いる際には、図示しない不揮発メモリから撮影制御プログラム３０６をＲＡＭ３０４に展開してＣＰＵ３０２によって処理を行う。撮影制御プログラム３０６が実行されると、無線網を介して外部の撮影装置と接続され、無線通信制御部３０９と連携して、撮影装置でＭＰＥＧ２に符号化された映像信号を取得し、符号化された映像信号をＣＰＵ３０２で処理して複合化して表示出力部３０３へリアルタイムの映像として表示する。また、外部操作入力部３０７から、カメラの制御信号が入力された場合、ＣＰＵ３０２で処理し、つづいて無線通信制御部３０９へ送り、無線通信制御部３０９で通信のパケットに制御信号を搭載して外部の撮影装置へと送信する。なお、利用する通信網のプロトコルに合わせた制御信号の送信制御も無線通信制御部３０９で行っている。

本実施例に用いる撮影装置４０1の機器構成のブロック図を示す。具体的にはパン・チルト機能を持った電動雲台に搭載されたデジタルスチルカメラであり、電動雲台はデジタルスチルカメラと接続され、デジタルスチルカメラを介して制御が行われる。ここでは好例はデジタルスチルカメラであるがデジタルビデオカメラなど他の撮影装置でも構わず、電動雲台を用いず、例えば単に三脚や台上に固定されている状態でも構わない。

デジタルカメラ４０１は電源が入れられると、レンズや撮像素子等からなる撮像部からの映像信号を、ＲＯＭ４１２やＲＡＭ４１３と連携するカメラ制御部４０２で処理し、表示出力部４０４にリアルタイムで映像を表示する。外部操作入力部４０７を介してユーザからの操作、例えばシャッター（図示しない）の押下が行われるとカメラ制御部４０２は、記録制御部４０５を介して、記録メディア４０６に撮影画像（動画モードの場合は動画）を記録する。また、デジタルカメラ４０１は記録メディア４０６に記録された、ＪＰＥＧやＭＰＥＧなどに符号化された画像、動画を無線通信制御部４０９を介して外部装置に送信することもできる。また、デジタルカメラ４０１はリアルタイムの映像を無線通信制御部および無線網を介して外部装置に送信することも可能である。無線通信制御部はＲＯＭ４１０およびＲＡＭ４１１と連携して、カメラ制御部から送られてきたＭＰＥＧ等に符号化された映像情報を所望の無線網のプロトコルに合わせて分割して送信する。また、無線通信制御部４０９はコントローラ等の外部装置からのカメラ制御信号（例えば、ズーム、シャッター（撮影）、パン・チルト、露出変更、シャッタースピード変更、絞り変更、ホワイトバランス変更、シーン変更など）を受信し、その信号をカメラ制御部４０２に送信し、所定の制御をおこなわせることも可能である。

続いて、本実施例に従う、デジタルカメラ４０１とスマートホン３０１の連携動作を説明するフロー図を図５に示す。デジタルカメラ４０１とスマートホン３０１は無線ＬＡＮ（IEEE 802.11）に基づくアドホック・モードでのパケット通信を行っている。デジタルカメラ４０１は遠隔操作モードとされ、撮像素子での撮像に関する映像信号をスマートホンに送信し、スマートホン３０１では撮影制御プログラムが実行されており、スマートホン３０１に表示された制御画面をユーザが確認して操作を行うことができる状態にある。

この時、カメラからは、撮像が、画像サイズ「大」で、イメージクオリティ「高」、圧縮率「中」（データサイズが中程度）の条件で符号化されたＭＰＥＧストリームとして符号化されており、無線ＬＡＮに基づくパケットに分割されてスマートホンに連続的な映像となるように繰り返し映像情報が送信（１）されている（ＭＰＥＧストリームへの符号化方法は当業者に周知の方法を用いることができる。また、本実施例では好例としてＭＰＥＧストリームを用いたがカメラでの撮像をコントローラで再生できるように両者で取り決めがなされれば送受される動画のフォーマットに限定はない。画像サイズは例えば１９２０ｘ１０８０、６４０ｘ４８０や３２０ｘ２４０といったサイズを示す。）。なお、図６に本実施例で好適なパケットの一例を示した。この中でパケットには通信制御パラメータ、符号化変更識別子、時刻情報パラメータ、符号化情報パラメータ、映像情報パラメータが含まれる。通信制御パラメータは無線ＬＡＮ接続に必要なパラメータが格納され、符号化変更識別子は、カメラ内での撮像に対する符号化パラメータの変更を示す識別子で、符号化のパラメータは通常時は「０」、変更時には「１」が格納され、時刻情報パラメータはカメラ内で撮像がなされた時刻（または時刻に準ずる時系列的な数など）が格納され、符号化情報パラメータは映像の符号化のパラメータが格納され、映像情報には分割されたＭＰＥＧストリームが格納される。また、スマートホンでは送信されてきたパケットの情報を統合し、元のＭＰＥＧストリームを取得して、その映像を画像表示部に表示している（２）。

続いてユーザが表示を確認し、ズーム操作をタッチした際に（３）、スマートホンからズーム制御信号がデジタルカメラに送信される（４）。この時デジタルカメラでは撮像倍率を所定の値に応じて変更するとともに、画像サイズ「中」、イメージクオリティ「中」、圧縮率「高」（データサイズが小さい）の条件で符号化したＭＰＥＧストリームを送信する（５）。この時送信パケットにおける、符号化変更識別子は、「１」が格納される。

このパケットを受信したスマートホンは、符号化変更識別子から符号化パラメータの変更を認識し、変更に応じたパラメータで複合化を行う（６）。なお、本実施例では符号化変更識別子から符号化の変更を認識したが、符号化情報パラメータあるいは符号化された映像情報から符号化方法の変更を識別するようにしてもよい。また、今回の符号化の変更によって画像サイズが小さくなったので、画像表示部２０３の一部にしか画像が表示されないようになるため、デジタル的に補完して拡大表示してもよい。この表示の拡大化状態はユーザによる終了の操作があるまで続けられる。

続いてユーザが所望のズーム倍率に達したと判断した場合、ユーザはズーム操作終了の動作を行う（７）。ここで、ズーム操作は、ズームキーをタッチしたままの状態の時をズーム状態でズームキーからタッチを外すと非ズーム状態としても、ズームキーをタッチするとズーム状態、ズームキーを再度タッチするとズーム状態解除という制御が想定されるがその他の操作を用いてもよい。

ズーム操作が終了されると、スマートホンからズームの終了に相当する制御信号がデジタルカメラに送信される。この信号を受信すると、デジタルカメラでは撮像のズーム倍率を固定するとともに、スマートホンへ送信する映像の圧縮のパラメータを画像サイズ「大」、イメージクオリティ「高」、圧縮率「中」（データサイズが中程度）の条件、つまりズーム操作が行われる前のパラメータとして、映像情報を符号化し、スマートホンへ送信する。この時送信パケットにおける、符号化変更識別子は、「０」が格納され、つづいてユーザから再度ズーム等の操作が行われるまで、この映像信号の符号化パラメータのまま表示のサイクルが繰り返される。

また、本実施例ではズーム操作終了の動作が入力されてその信号がカメラで受信されたときにズームを停止するように制御しているが、ズーム操作終了の操作が行われた時点での映像のパケットに含まれる時刻情報を基にして、その時刻でのズーム状態を復元するようにカメラを制御するように修正してもよい。この場合、時刻情報とズーム位置との対応をシステム内に記録し、その対応関係に基づいて修正すると都合が良い。

ここでは、ズーム動作を好例として説明を行ったが、電動雲台のパン・チルト操作が要求された際も同様に映像信号の変更制御が行われるようにしても好ましい。カメラを手動や電動で動かした際にその変動を加速度センサーなどで検知し、同様に映像信号の変更制御が行われるようにしてもよい。また、シャッター操作が行われた際に同様に映像信号の変更制御を行ってもよい。シャッター操作について、典型的にはシャッターボタンの半押しによって引き起こされるフォーカス調整の際に同様に映像信号の変更制御を行ってもよい。フォーカス調整の際にはフォーカスポイントの近傍（ユーザによってフォーカスが検出されるように設定された領域など）のみ高情報量の画像を表示し、それ以外の部分は低情報量の画像、典型的には無表示に設定してもよい。さらに、ユーザが表示器の映像を見ながらカメラに撮影の制御を指示するような制御であれば他の制御に適用することもできる。なお、操作がシャッター操作で、操作の時刻修正を行うためには、随時カメラ内で撮像を記録しておき（例えば、フォーカスの合焦を要求するシャッターの半押しを認識しピントの合っている状態で記録しておくなど）、時刻情報と記録画像の対応を記録しておくと都合が良い。また、ズーム動作としては撮影装置での光学的なズーム倍率の変更がもっとも好ましい例であるが、デジタルズームにおいても画像処理による遅延を伴うために効果がある。

（実施例２）
実施例２では、デジタルカメラとコントローラが比較的高速な無線通信網で接続されている点が異なっているが他の点では同様の構成となっている。実施例１との違いは、ユーザがズーム操作を行った後に、カメラから送信される映像情報として、撮像が、画像サイズ「大」で、イメージクオリティ「高」、圧縮率「小」（データサイズが大きい）の条件で符号化されたＭＰＥＧストリームとして符号化されて送信される点が異なっている。このデータ形式をとった場合には伝送遅延が大きくなるが、コントローラでの複合化の処理が少なり処理遅延が抑えられる。したがって、無線通信網の通信速度が大きく、コントローラの処理速度が速くない場合に有効である。さらにイメージクオリティを「中」や「低」としてもよい。また、コントローラの処理速度が遅い場合にはさらに画像サイズを「小」として、処理するデータ量を小さくすると効果的である。

上述の実施例では、遠隔通信網として無線接続されたものを例示したが、有線ＬＡＮなど、あるいは優先ＬＡＮと無線ＬＡＮや、インターネット回線との組み合わせなどで構成されたネットワーク上の撮影装置（好例としてＷｅｂカメラ）とその撮影装置を遠隔制御するコントローラ（好例としてＰＣ）などに適用することも可能である。また、映像のみを送信するシステムではなく、ＳＫＹＰＥ（登録商標）のようなインターネットを利用した映像と音声を伴う通信システムに適用してもよい。このような場合には映像に関する外因性の情報だけでなく、音声情報があるときと音声情報がない（つまり無音）のときで映像／表示制御を変えるように構成してもよい。

また、上述の実施例の撮影システムを、車両の遠隔制御システムに適用することもできる。この場合、車両（自動車、列車など）に搭載された車載カメラからの映像を遠隔地から監視し、車両の回動や速度などの制御を行う際に、映像の制御を行うようにすると都合が良い。

（変形例１）
本発明はカメラとコントローラが無線接続された撮影システムにおいて、その無線接続による伝送遅延およびコントローラでの処理遅延によって生じる遅延を解消する方法として用いるのが最も好適であるが、その他の遅延の解消にも有効である。図７に本発明の変形例を示した。図７にはバリアングル液晶モニタ７０４を有するデジタルカメラ７０１を示したものである。デジタルカメラ７０１に設置されたバリアングル液晶モニタ７０４は対面撮影に用いることができる。レンズ７０２を介して得られた像を撮像素子（図示しない）で電気信号に変換し、さらにその電気信号を映像として液晶画面７０５に表示している。また、その液晶画面７０５で所望の像が得られた際にユーザはシャッターボタン７０３を押下することによって撮影・記録を行う。図７では、デジタルカメラ７０１はバリアングル液晶モニタ７０４を回転した状態になっており、ユーザが対面撮影を行っている状態を示している。液晶画面７０５上にはズームインボタン７０６、ズームアウトボタン７０７、シャッターボタン７０８が画像合成により、液晶画面７０５に表示された撮像の上に合成表示されている。ここで、ユーザが画面上に映ったユーザの手のひらを液晶画面７０５上のズームインボタン７０６の位置に移動させると、デジタルカメラ７０１の制御回路（図示しない）はまず手のひらを認識し、その手のひらがズームインボタン７０６と重なった際にズームインの指示が行われたと判断してレンズ７０２を駆動してズームインを行う。ここで、ズームイン７０６に手のひらが合わせられている間、繰り返しズームインの動作を行うように設定しても、一度手のひらが合わせられると所定の焦点距離分だけズームインするように設定してもよい。ズームアウト７０７についても同様にズームアウトの処理を行う。一方で、シャッターボタン７０８と手のひらが重なるとシャッターを切る動作が行われる。ここではユーザの手のひらでボタンを押すことを例示したが、ユーザの視線移動など他の方法で認識するように設定してもよい。

本実施例では、カメラとコントローラが無線接続されていないが、手のひらの認識、手のひらとボタンの関係の認識などで画像の解析が行われるため、その処理遅延が生じる。したがって、例えば、ユーザがズームインの終了の操作を行ったとしてもその制御が行われるのが遅れ、ズームの行き過ぎなどが生じることとなる。このため、前述の実施例と同様に、ズーム制御時にはデジタルカメラ７０１の液晶画面７０５に映される映像を、撮像素子からの情報を間引く（間引く処理には、撮像素子の２ラインにつき１ラインを省くといった処理と、例えば焦点だけあっているところは高画素のまま、それ以外のところの情報を省くといった処理が含まれる）、表示解像度を下げる、表示画像のサイズを下げる、色情報を減少させる、フレームレートを下げるといった処理を行って制御回路の負荷を低減させ、処理遅延を減少させることが効果的である。なお、本実施例では対面撮影での画像認識する撮影システムを好例として示したが、通常の撮影においても、ズーム操作等の処理と画像表示ではその処理の負荷は大きく異なっており、デジタルカメラの液晶に表示された画面は若干の遅延を生じており、ズーム操作の処理と時系列的に完全には一致していない。したがって、ユーザによるズーム処理が行われたことをきっかけとして、液晶画面に映される映像を、撮像素子からの情報を間引く、表示解像度を下げる、表示画像のサイズを下げる、色情報を減少させる、フレームレートを下げるといった処理を行って制御回路の負荷を低減させ、処理遅延を減少させることはその遅延を解消させることにつながり上述の実施例ほどではないにしても効果的である。

（変形例２）
上述の実施例および変形例ではズーム等のカメラの制御（車両の制御）などをきっかけとして映像の表示の制御を変更する技術を好例として開示してきたが、制御と映像表示のずれが生じるものであればこれに限られない。例えば、映像を解析し、特定のフィーチャ（人物、顔、標識、構造、車両など）が存在することを認識したことをきっかけにして映像の制御を行うようにすることも可能である。

例えば、監視カメラの映像を監視室で監視している際に、監視カメラの映像に犯罪者が認識された場合、上述のような遅延を解消させる手段を用いて映像の遅延を減少させれば犯罪者の動向を逐一把握できる。また、デジタルカメラに適用した場合、例えば、駆け寄ってくる犬に焦点があった、あるいは画像認識で焦点が合っているような状態で映像の遅延解消制御を行なえば、駆け寄ってくる犬の適正な位置を把握しながらシャッターを切ることができる（あるいは連射などにも効果的である）。さらに、遠隔車両制御システムに適用すると、例えば、画面内に人が認識された場合、人と車両の動きをリアルタイムに近く把握することができ事故を予防することができる。これらの時にはさらに認識された対象について、ハイライト表示するなどわかりやすく表示されることが望ましい。画像の認識については、撮影装置側で認識させて、送信される動画のフォーマットを変えてもよいし、コントローラ側で認識させて、コントローラ側で例えば撮影装置の送信情報を制御させてもよいが、遅延を少なくする点からは撮影装置側で認識するようにすると都合が良い。また、ズーム動作などによる制御をきっかけとするものと画像認識をきっかけとするものをそれぞれ個別に用いても組み合わせて用いても良い。

（変形例３）
本実施例ではカメラ８０３を搭載するスマートホン８０１（またはカメラを搭載するタブレット端末）を自撮棒８０６で接続し、液晶画面８０５に映る自ら８０７を撮影する例を示している。スマートホンではその処理を行うために内蔵されたＣＰＵの性能が比較的遅く、表示部が大きいためにカメラでの撮像と液晶表示部の表示に時間的なずれが生じる。したがって、自撮棒８０６を持つユーザが画角を設定しても、その時点での液晶画面８０５に表示される画像が少し前に撮像した画像となり、画角を決めるために時間がかかる。この場合、スマートホンに搭載された加速度センサー（スマートホンに内蔵）によってスマートホンの移動を検出し、その移動量が手振れ等による一定の範囲内と判断されない場合には、表示される映像の解像度を下げる等の処理（前述の遅延を解消させる方法等）を行って、リアルタイム性を改善することによってユーザの利便性が改善される。

上述のように本発明を実施例１、実施例２、変形例を用いて説明してきたが、これは実施例に過ぎず、撮影装置として、デジタルカメラ、ビデオカメラに限られるものではなく、スマートホンや監視カメラなど撮影できるものであればいずれにも適用可能である。また、遅延を解消する方法として、実施例に記載された組み合わせだけでなく、＜遅延を解消させる方法＞、＜さらなる遅延解消方法＞の特定の一つあるいはそれぞれを任意に組み合わせて効果的に遅延を解消することができる。また、いずれか複数の方法を利用可能なプログラムを用いて、事前あるいは動作時に最適な組み合わせを撮影システム内でテスト（これはズーム操作時のみのパラメータ変更だけを対象にしたものでも、通常時のパラメータの最適化も含めてもよい。）し、最適な組み合わせで制御を行うように構成してもよい。

撮影装置とコントローラを接続する無線網は、３Ｇあるいは４Ｇなどの公衆通信網、あるいは、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などのローカルな通信網が好例であるが、それらに限られず、撮影装置とコントローラが無線接続できればいずれの無線通信網であっても構わない。また有線接続や優先接続と無線接続との組み合わせやインターネットとの組み合わせであってもよい。

撮影装置から、コントローラに送信される映像情報の圧縮形式はＭＰＥＧ―２に限られず、ＭＰＥＧ―１、ｍｏｔｉｏｎ ＪＰＥＧ、ＡＶＣＨＤ（登録商標）、ＷＭＶ、ＡＶＩ、ＱｕｉｃｋＴｉｍｅ（登録商標）、ＦＬＶ、ＭＰＥＧ−４、Ｈ２６４、Ｈ２６５、無圧縮など用途に合わせていずれの形式を用いてもよい。

また、本発明に従えば、ズーム等の制御時には画像の解像度が下がったりするためにピント位置の確認がしにくくなることがあるので、合焦位置をハイライト表示するなどしてユーザの利便性を上げるように修正してもよい。

また、撮影時には重要は被写体は中央部に存在することが多いので、ズーム等の制御時には中央部のみ表示する、あるいは中央部に比べて周辺部の解像度等を下げるという処理を行うように修正してもよい。

また、撮影時には重要は被写体は合焦部に存在することが多いので、ズーム等の制御時には合焦部のみ表示する、あるいは合焦部に比べて周辺部の解像度等を下げるという処理を行うように修正してもよい。

以上のように、図面を参照しながら本発明の公的な実施の形態を例示的に説明してきたが、上述の実施例はあくまでも例示であり、この発明の範囲をそれのみに限定する趣旨のものではない。

撮影装置に対するズーム操作などの制御が行われた際には、表示に係る処理の負荷を低減させて遅延を減少させる。これによって、表示装置を見ながらリアルタイムに近い感覚でズーム操作などの制御が行うことができる。撮像素子の高画素化し撮影システムや表示装置が高精細化した撮影システムなどのように撮影画像を表示装置に表示する際に撮影システムに掛かる負荷が非常に大きく、表示の遅延が生じるシステムにおいてもユーザの利便性を損なうことがなく、適用することが可能となる。

１０１ カメラ
１０２ リモコン
１０３ デジタルテレビ
１０４ スマートホン
２０１ スマートホン
２０２ 液晶表示部
２０３ 画像表示部
２０４ シャッタ
２０５ ズームインボタン
２０６ ズームアウトボタン
２０７ パン―ボタン
２０８ パン＋ボタン
３０１ スマートホン
３０２ ＣＰＵ
３０３ 表示出力部
３０４ ＲＡＭ
３０５ ＲＯＭ
３０６ 撮影制御プログラム
３０７ 外部操作入力部
３０８ アンテナ
３０９ 無線通信制御部
３１０ ＲＯＭ
３１１ ＲＡＭ
４０１ 撮影装置
４０２ カメラ制御部
４０３ 撮像部
４０４ 表示出力部
４０５ 記録制御部
４０６ 記録メディア
４０７ 外部操作入力部
４０８ アンテナ
４０９ 無線通信制御部
４１０ ＲＯＭ
４１１ ＲＡＭ
４１２ ＲＯＭ
４１３ ＲＡＭ
４１４ パン制御部
７０１ カメラ
７０２ レンズ
７０３ シャッタ
７０４ バリアングル液晶モニタ
７０５ 液晶画面
７０６ ズームインボタン
７０７ ズームアウトボタン
７０８ シャッタボタン
８０１ スマートホン
８０２ カメラ
８０５ 液晶画面
８０６ 自撮棒
８０７ 被写体

Claims (6)

1. 撮影部と、前記撮影部によって撮像された映像を表示する表示部とを有する撮影システムにおいて、前記撮像された映像を表示している際に、前記撮影システムに外因性の情報の入力がなされると、前記撮影部からの映像情報生成に係る制御および／または表示部の表示制御に係る制御を変更することを特徴とする撮影システム。
2. 前記外因性の情報が、撮影部へのズーム処理、撮影部の動き、撮影部のシャッター操作、または撮像内でのフィーチャの認識であることを特徴とする請求項１に記載の撮影システム。
3. 前記撮影部からの映像情報生成に係る制御および／または表示部の表示制御に係る制御を変更する処理は、少なくとも、
   前記撮影部から前記表示部へ送信される映像情報の圧縮率を上げる処理、
   前記撮影部から前記表示部へ送信される映像情報の圧縮率を下げる処理、
   前記撮影部から前記表示部へ送信される映像情報の品質を下げる処理、
   前記撮影部から前記表示部へ送信される映像情報の圧縮方法を変える処理、
   前記撮影部から前記表示部へ送信される映像情報の画像サイズを下げる処理、
   前記撮影部から前記表示部へ送信される映像情報のフレームレートを下げる処理、
   前記撮影部から前記表示部へ送信される映像情報の色情報を下げる処理、または、
   前記表示部で表示される映像情報の画像サイズを下げる処理、
   前記表示部で表示される映像情報のフレームレートを下げる処理、
   前記表示部で表示される映像情報の色情報を下げる処理、
   のいずれかの処理が行われる（ただし、圧縮率を上げる処理と圧縮率を下げる処理は同時に行われない）ことを特徴とする請求項１または請求項２に記載の撮影システム。
4. 前記撮影部と、前記表示部とは優先ネットワークまたは無線ネットワークで接続されていることを特徴とする請求項１または請求項２に記載の撮影システム。
5. 前記撮影部と、前記表示部とは同一の筐体に含まれていることを特徴とする請求項１または請求項２に記載の撮影システム。
6. 前記撮影システムが、スマートホンまたはデジタルカメラであることを特徴とする請求項５に記載の撮影システム。