JP2013009278A - 撮影機器及びこの撮影機器と通信する外部機器，撮影機器及び外部機器からなるカメラシステム - Google Patents

Abstract

【課題】無線通信状況に応じて送信画像のリサイズ処理を行なって通信状況に関らず画像データ転送を行なって良好な使用感を得ることができる撮影機器を提供する。
【解決手段】撮像素子１５と撮影レンズ１４を備えた撮像手段１１と、撮像手段からの出力画像データを受けて異なる画像処理を同時に並行して実行する二つの画像処理手段２０，２１と、二つの画像処理手段からそれぞれ出力される画像データに基く二画像を一画面上に同時に表示する表示手段１２と、外部機器との間で無線通信を行なう通信制御手段２４と、機器全体を制御する制御手段１７とを具備し、二つの画像処理手段は通信制御手段を介して受信された外部機器からの指示信号に応じて撮像手段が取した画像データに対し異なる画像処理を行なって画像サイズの異なる二種類の画像データを生成し、通信制御手段は、二つの画像処理手段により生成された二種類の画像データを送信する。
【選択図】図１

Description

この発明は、撮影機器及びこの撮影機器と通信する外部機器と、撮影機器及び外部機器からなるカメラシステム、詳しくは外部機器との間で無線通信を行なって画像データを送信し得る撮影機器であって、外部機器からの指示に応じて遠隔操作され得る撮影機器と、その撮影機器及び外部機器からなるカメラシステムに関するものである。

近年、デジタルカメラやビデオカメラ等の撮影機器（以下、これらを総称してカメラという）と外部機器との間で無線通信等を行なうことによって、離れた位置にあるカメラに対する各種の動作指示を外部機器からの操作入力によって実行し得るように構成されたカメラシステムについての提案が種々なされている。

例えば、特開２００７−８１５３７号公報によって開示されているカメラシステムは、主副二台のカメラ間で無線通信を行なうカメラシステムにおいて、使用者から離れた位置にある主カメラによって取得された画像データが、無線通信を用いて使用者の保持する副カメラへと送信され、これにより副カメラの表示部に、主カメラによって取得された映像と、副カメラ自身が取得した映像との二つの映像を同時に表示し得るように構成されている。そして、使用者は、手元に保持する副カメラのタッチパネルを用いることによって、主カメラに対する各種の操作指示を行なうことができるというものである。

無線通信を利用するこの種のカメラシステムにおいては、送信側の装置（主カメラ）から無線通信を介して画像データを支障無く送信し得るのと同時に、送信された画像データを受信側の装置（副カメラ）が支障無く受信し得ると共に、さらに受信側装置（副カメラ）は、受信データに基く映像を自身の表示装置を用いて順次表示させるために、より高速な無線通信技術が要求される。

近年、普及しつつあるカメラにおいては、撮像素子の高画素化が進んでおり、静止画像，動画像共に、一画像（一フレーム）単位の解像度が高くなり画像サイズが大型化する傾向にある。したがって、カメラが取得する画像データは大容量となる傾向にある。一方で、カメラと外部機器との間で行われる無線通信の高速化技術（データ転送レートの向上技術）には限界があるのと同時に、使用環境によって常に最速の高速通信を行ない得るとは限らない。したがって、使用環境によっては低い転送レートでの無線通信を強いられるようなこともあり得る。

特開２００７−８１５３７号公報

ところが、上記特開２００７−８１５３７号公報に記載のカメラシステムにおいては、無線通信を行なう際の画像データの容量やデータ転送レート等についての考慮はされておらず、無線通信の使用環境によっては、通信不能になる等によってシステムが成り立たないこともあり得る。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、外部機器との間で無線通信を行なって画像データを送信し得る撮影機器であって、送信すべき画像データの画像サイズに関する画像処理を、無線通信の使用環境状況や外部機器からの操作指示等に応じて行ない、常に適切な形態の画像データを外部機器へ向けて送信し得るので、無線通信環境が良好な時には高速な画像データ転送を行ない得る一方、たとえ無線通信環境が悪化したとしても画像データの転送を継続して行なうことができ、よって使用感を損ねることのない撮影機器を提供することである。

上記目的を達成するために、本発明の一態様の撮影機器は、撮像素子及び撮影レンズを備えた撮像手段と、上記撮像手段からの出力される画像データを受けてそれぞれが異なる画像処理を同時に並行して実行する二つの画像処理手段と、上記二つの画像処理手段からそれぞれ出力される画像データに基く二画像を一画面上に同時に表示する表示手段と、外部機器との間で無線通信を行なう通信制御手段と、機器全体を制御する制御手段とを具備し、上記二つの画像処理手段は上記通信制御手段を介して受信された上記外部機器からの指示信号に応じて上記撮像手段により取得された画像データに対して異なる画像処理を行なって画像サイズの異なる二種類の画像データを生成し、上記通信制御手段は上記二つの画像処理手段により生成された上記二種類の画像データを送信することを特徴とする。

本発明によれば、外部機器との間で無線通信を行なって画像データを送信し得る撮影機器であって、送信すべき画像データの画像サイズに関する画像処理を、無線通信の使用環境状況や外部機器からの操作指示等に応じて行ない、常に適切な形態の画像データを外部機器へ向けて送信し得るので、無線通信環境が良好な時には高速な画像データ転送を行ない得る一方、たとえ無線通信環境が悪化したとしても画像データの転送を継続して行なうことができ、よって使用感を損ねることのない撮影機器を提供することができる。

本発明の一実施形態の撮影機器（カメラ）及び外部機器（端末機器）の概略構成を示す要部ブロック構成図、 図１の外部機器（端末機器）における表示部の表示形態の一例を示す図、 図１の外部機器（端末機器）における表示部の表示形態の具体例を示す図、 図１の外部機器（端末機器）の作用を説明する図であって、撮影機器（カメラ）への操作指示を行なう際の一例を示す図、 図４の操作の結果が反映された外部機器（端末機器）の表示部の表示例を示す図、 図１の外部機器（端末機器）の作用を説明する図であって、撮影機器（カメラ）への操作指示を行なう際の別の例を示す図、 図６の操作の結果が反映された外部機器（端末機器）の表示部の表示例を示す図、 図１の撮影機器（カメラ）の作用を示すカメラ制御のフローチャート、 図１の外部機器（端末機器）の作用を示す端末機器制御のフローチャート、 図１の撮影機器（カメラ）が通信状況（転送レート）に応じて転送データの画像処理を行なう際の条件テーブルを示す図、

以下、図示の実施の形態によって本発明を説明する。

本発明の一実施形態の撮影機器であるカメラは、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換し、こうして生成されたデジタルデータを記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像又は動画像を表示装置に再生表示し得るように構成され、さらに外部機器との間で無線通信を行ない得る通信機能を備えた撮影機器（カメラ）を例示するものである。

また、本発明の一実施形態の外部機器は、上記撮影機器（カメラ）との間で無線通信を行なって上記撮影機器の操作制御信号を送信し上記撮影機器の遠隔操作を行ない得るリモートコントロール機能を備えると共に、上記撮影機器から送信された画像データを受信して、その受信した画像データを表示装置に表示する映像再生機能を有する外部機器を例示するものである。

そして、本発明の一実施形態のカメラシステムは、上記撮影機器と上記外部機器とを組み合わせて構成されるカメラシステムを例示するものである。

まず、本発明の一実施形態の撮影機器及び外部装置の概略構成を、図１のブロック構成図を用いて以下に説明する。なお、図１においては、本発明に関連する主な構成のみを図示するものとする。したがって、通常の撮影機器であるカメラが具備すべき一般的な構成部材については、図示を省略すると共に、その詳細説明も省略する。

また、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。

図１に示すように、撮影機器であるカメラ１は、カメラ側制御手段１０と、撮像ユニット１１と、表示装置１２と、記録装置１３等によって主に構成されている。
カメラ側制御手段１０は、カメラ１側の電気的な制御全般を行なう制御手段である。このカメラ側制御手段１０は、制御部１７と、信号処理部１８と、ＤＲＡＭ１９と、第１の画像処理部２０と、第２の画像処理部２１と、表示処理部２２と、記録処理部２３と、通信制御部２４等を含んで主に構成されている。

制御部１７は、ＣＰＵ等を含み本カメラ１の全体的な制御を行なう制御回路である。信号処理部１８は、撮像ユニット１１からの出力信号を受けて画像信号の前処理を施す処理回路部である。ＤＲＡＭ１９は、画像データを一時的に記憶させておく一時メモリ手段である。第１の画像処理部２０，第２の画像処理部２１は、撮像ユニット１１により取得された画像データについての画像処理を行なう画像処理回路部であり、画像処理手段である。

表示処理部２２は、表示装置１２との間に介在し、ＤＲＡＭ１９に一時記憶されている画像データを受けて表示装置１２によって取り扱い得る表示用画像データに変換するデータ処理等を行なう処理回路部である。

記録処理部２３は、記録装置１３との間に介在し、ＤＲＡＭ１９に一時記憶されている画像データを受けて記録装置１３によって取り扱い得る記録用画像データに変換するデータ処理や、記録装置１３に含まれる記録媒体に記録済みの画像データを読み込んで本制御手段１０において扱い得る所定の形態の画像データに変換しＤＲＡＭ１９へと出力するデータ処理等を行なう処理回路部である。

通信制御部２４は、外部機器（後述する端末機器２）との間で、所定の通信規格等に準拠したデータ通信を行なうための制御回路部であり通信制御手段である。本実施形態において、通信制御部２４は、無線通信を行なう機能を有するものとする。

なお、本実施形態のカメラ１においては、上述したように二つの画像処理部、即ち第１の画像処理部２０と第２の画像処理部２１とを具備している点に特徴がある。これら二つの画像処理部（２０，２１）のそれぞれに対して撮像ユニット１１からの出力信号を入力させると、それぞれが異なる画像処理を同時に行なうことができ、よって、異なる二つの画像データを同時に生成することができる。

撮像ユニット１１は、撮影レンズ１４と、撮像素子１５と、アナログデジタル変換器（Ａ／Ｄ）１６等を含んで主に構成される撮像手段である。

撮影レンズ１４は、複数の光学レンズと、これら複数の光学レンズを光軸方向に駆動する駆動機構等によって構成される。、撮影レンズ１４は、光学的な被写体像を形成し、撮像素子１５の受光面上に結像させるものである。撮影レンズ１４（の駆動機構等）は、制御手段１０の制御部１７によって、その駆動制御が行なわれる。

撮像素子１５は、ＣＣＤ，ＣＭＯＳ等の光電変換素子からなり、撮影レンズ１４により結像された光学像を電気的な画像データに変換するための電気部品である。撮像素子１５は、制御手段１０の制御部１７によって、その駆動制御が行なわれる。

アナログデジタル変換器（Ａ／Ｄ）１６は、撮像素子１５からのアナログ出力を受けて、デジタル信号に変換するアナログデジタル変換器である。

表示装置１２は、上記表示処理部２２により変換生成された表示用画像データを受けて画像を表示する表示手段であって、例えばＬＣＤ等が適用される。なお、表示装置１２としては、本カメラ１と一体に構成される形態の他、本カメラ１とは別体に構成され、接続ケーブル等で接続される独立した形態の装置を適用することもできる。

記録装置１３は、上記記録処理部２３により変換生成された記録用画像データを記録するための装置であって、記録媒体と、そのドライブ回路や駆動機構等を含んで構成される。なお、記録装置１３についても、上記表示装置１２と同様に、本カメラ１と一体構成とする形態の他、本カメラ１とは別体構成とした形態の装置としてもよい。

一方、外部機器である端末機器２は、端末側制御手段３０と、操作部材３１と、端末側表示装置３２等によって主に構成されている。
端末側制御手段３０は、端末機器２側の電気的な制御全般を行なう制御手段である。この端末側制御手段３０は、端末側制御部３７と、端末側画像処理部３８と、端末側ＤＲＡＭ３３と、端末側通信制御部３４と、操作制御部３５と、端末側表示処理部３６等を含んで主に構成されている。

端末側制御部３７は、ＣＰＵ等を含み本端末機器２の全体的な制御を行なう制御回路である。端末側ＤＲＡＭ３３は、カメラ１側から送信され通信制御部３４を介して受信した画像データを一時的に記憶させておく一時メモリ手段である。端末側画像処理部３８は、端末側ＤＲＡＭ３３に一時記憶された画像データについての画像処理を行なう画像処理回路部である。端末側表示処理部３６は、表示装置３２との間に介在し上記端末側ＤＲＡＭ３３に一時記憶されている画像データを受けて表示装置３２によって取り扱い得る表示用画像データに変換するデータ処理等を行なう処理回路部である。端末側通信制御部３４は、上記カメラ１の通信制御部２４との間で、所定の通信規格等に準拠したデータ通信を行なうための制御回路部である。なお、本実施形態において、端末側通信制御部３４は、無線通信を行なう機能を有するものとする。

操作制御部３５は、該端末機器２側のタッチパネルを含む操作部材３１からの指示信号を受けて対応する操作制御を行なう制御回路部である。

操作部材３１は、該端末機器２に対する各種の指示を入力するための入力部材等であり、通常のボタン式，スライド式，回転式，シーソー式等のスイッチ部材等に加え、表示装置３２の表示画面上に配設されるタッチパネル等が適用される。操作部材３１としてタッチパネルが適用される場合、操作制御部３５は、端末側表示処理部３６との連繋による制御を行なう。

端末側表示装置３２は、上記端末側表示処理部３６により変換生成された表示用画像データを受けて画像を表示する表示手段であって、例えばＬＣＤ等が適用される。

このように構成された上記カメラ１と上記端末機器２とからなるカメラシステムの作用の概略を、以下に説明する。

まず、カメラ１がオン状態にあり、かつ撮影モードに設定されているものとする。このとき、カメラ１の制御手段１０の制御部１７は、撮像ユニット１１，表示装置１２等を制御して表示画面にライブビュー画像を表示させる。これらの作用は、従来の通常のカメラによって一般に行なわれている処理である。

しかしながら、本実施形態のカメラ１においては、上述したように二つの画像処理部（第１の画像処理部２０と第２の画像処理部２１）を具備している。そこで、本カメラ１においては、通常のライブビュー画像表示形態、即ち表示装置１２の全表示領域に単一の画像を表示させる形態とは異なる形態のライブビュー画像表示、例えば複数画像を同時に表示させるマルチライブビュー表示等を実行し得る。

マルチライブビュー画像表示形態の具体例としては、例えば、表示装置１２の全表示領域を使って単一の画像を表示させるのと同時に、これに重畳させて小サイズの画像表示枠を設け、この小サイズ画像表示枠に、全表示領域に表示中の画像とは異なる画像を表示させる形態等が考えられる。

具体的には図２に示すように、第１の画像処理部２０によって生成処理した画像データに基く画像を、表示装置１２の全表示領域（以下、メイン画面Ｍというものとする。図２の符号Ｍで示す領域）に表示させる一方、第２の画像処理部２１によって生成処理した画像データに基く画像を、小サイズ画像表示枠（以下、サブ画面Ｓというものとする。図２の符号Ｓで示す領域）に表示させる。

この場合において、メイン画面Ｍのサイズに対するサブ画面Ｓのサイズとして、面積比で４：１若しくはそれ以下とするのが望ましい。換言すれば、例えばメイン画面Ｍの画面解像度をＶＧＡ（６４０ピクセル×４８０ピクセル）とし、これに対してサブ画面Ｓの画面解像度をＱＶＧＡ（３２０ピクセル×２４０ピクセル；この場合面積比４：１）等とすればよい。また、両画像データの合成処理若しくは重畳表示処理は、表示処理部２２等で行なえばよい。

このように本カメラ１においては、ライブビュー画像表示形態として、通常表示モードの他に、マルチライブビュー表示モード等、複数の表示形態でライブビュー表示を行ない得る。

そして、このようなライブビュー表示形態は、該カメラ１と無線通信によって接続される端末機器２においても再現可能となっている。そのために、カメラ１から端末機器２に対して無線通信を介してライブビュー表示用の画像データが送信される。端末機器２は、これを受けて表示装置３２を用いてライブビュー表示を行なう。

この場合において、ライブビュー表示を円滑に実行し続けるためには、大量のデータ通信を連続的に行なう必要があるが、使用状況によっては、例えば通信劣化によって通信速度が低下する等、常に良好な無線通信を継続し得るとは限らない。

そこで、本実施形態のカメラシステムにおいては、無線通信状況の変化に応じて、カメラ１から端末機器２へと転送すべき画像データ量の調整を行なうようにしている。これにより、端末機器２側では常に円滑なライブビュー表示を見ることができるようになる。

一方、端末機器２においては、操作部材３１を用いて所望の操作指示を行うと、その指示信号が無線通信を介してカメラ１側へと伝達される。これにより、端末機器２側からカメラ１の遠隔操作を行なうことができるようになっている。

このような本実施形態のカメラシステムによる作用を、図８，図９のフローチャートによって以下に説明する。なお、図９はカメラ１側の処理シーケンスを示し、図９は端末機器２側の処理シーケンスを示している。そして、図８，図９は同時進行で実行される。

まず、カメラ１の電源状態がオフ状態にあるとき、使用者が電源操作スイッチ（不図示）を操作して、カメラ１の電源状態をオン状態に切り換える。これによりカメラ１は起動する。

通常のカメラにおいて、起動直後の動作モードとしては、撮影動作を実行し得る撮影モードで起動するのが普通である。したがって、本実施形態のカメラ１においても、電源オン操作後に撮影モードで起動するものとする。

このようにしてカメラ１が起動すると、図８のステップＳ１０１において、制御部１７は、ライブビュー表示モードの確認を行なう。

続いて、ステップＳ１０２において、制御部１７は、設定されているライブビュー表示モードがマルチライブビュー表示モードであるか否かの判断を行なう。ここで、マルチライブビュー表示モードに設定されている場合には、次のステップＳ１０３の処理に進む。また、マルチライブビュー表示モードではない場合には、ステップＳ１０４の処理に進む。

ステップＳ１０３において、制御手段１０の制御部１７は、撮像ユニット１１，表示装置１２等を制御してマルチライブビュー表示を実行する。このマルチライブビュー表示は、次のように行われる。即ち、撮影レンズ１４により結像される光学像が撮像素子１５によって光電変換される。これにより生成されたアナログ画像信号は、Ａ／Ｄ１６によってデジタル画像信号に変換される。これにより生成された画像信号は、信号処理部１８に入力されて所定の信号処理が施された後、ＤＲＡＭ１９に一時的に記憶される。

ＤＲＡＭ１９に一時記憶された画像データは、第１の画像処理部２０及び第２の画像処理部２１のそれぞれに入力されて、制御部１７の制御下において各別の画像処理が施される。

ここで、本カメラ１の撮像素子１５によって取得され得る画像データのサイズとして、例えば最大画像サイズが１６００万画素（１６メガ画素；４６０８×３４５６ピクセル）の画像データを取り扱い得るものとする。

ライブビュー表示用画像の画像サイズとしては、通常の場合、ＶＧＡサイズ（６４０×４８０ピクセル）の画像であればよい。また、その場合の表示用フレームレートは３０ｆｐｓ程度あるのが望ましい。したがって、第１の画像処理部２０においては、１６メガ画素の画像データをＶＧＡサイズの画像データとする縮小処理（リサイズ処理）等をフレームごとに行なう。

一方、第２の画像処理部２１においては、例えば撮像素子１５によって取得された全画像領域のうちから一部の領域を切り取るトリミング処理を行なって、例えばＱＶＧＡサイズ（３２０×２４０ピクセル）程度の小サイズ画像を生成する。

この場合において、第２の画像処理部２１が対象とする小サイズ画像の対象としては、例えば顔認識技術等を利用して全画像範囲ないから識別された特定人物の顔を含む所定の領域等を対象とすればよい。

こうして、第１の画像処理部２０，第２の画像処理部２１によってそれぞれ生成された二つの異なる画像データは、ＤＲＡＭ１９に一時的に記憶された後、表示処理部２２を介して表示装置１２へと出力される。これにより、表示装置１２の表示画面上には、上述の図２に示すような形態のマルチライブビュー表示がなされる。

このときのマルチライブビュー表示の具体例を、図３に示す。図３は、カメラ１の表示装置１２（若しくは端末機器２の表示装置３２）の表示画面の表示例である。図３に示すように、メイン画面Ｍの領域には複数の人物等を含む被写体像が表示されている状態にある。このとき、サブ画面Ｓの領域には、顔認識技術に基く顔認識マーク３２ａによって識別された被写体人物１００の顔部分を含む所定範囲の小サイズ画像が表示されていることを表している。

なお、ライブビュー表示とは所定のフレームレートにて連続的に画像表示が切り換わるものであるが、図３においては、カメラ１のライブビュー表示の一場面のみが紙面上に図示されているものに過ぎない。

図８に戻って、ステップＳ１０４において、制御部１７は、設定されているライブビュー表示モードが通常ライブビュー表示モードであるか否かの判断を行なう。ここで、通常ライブビュー表示モードに設定されている場合には、通常ライブビュー表示モードの処理に進む。また、通常ライブビュー表示モードではない場合には、その他の処理に進む。なお、ここで、「通常ライブビュー表示モード処理」や「その他の処理」については、本発明とは直接関連しない部分であるので、その図示及び詳細説明は省略する。

続いて、ステップＳ１０５において、制御部１７は、通信制御部２４を制御して端末機器２との間における接続状況の確認処理を実行する。接続状況確認処理とは、例えば所定の信号を発信し、それに対する所定の信号が受信する等、無線通信を行なう機器システムにて一般的に行われる処理である。

ここで、カメラ１と端末機器２との間での無線通信接続が確認されて、通信が確立されるためには、端末機器２側も電源オン状態で待機状態になっている必要がある。

そして、上述のステップＳ１０５の処理にて、カメラ１から所定の通信確認信号等が発信されたとき、端末機器２は、その信号を受信した後、対応する確認信号を返信する必要がある。

即ち、図９のステップＳ２０１において、端末機器２の端末側制御部３７は、カメラ１との間の接続状況の確認処理を行なう。

ステップＳ２０２において、端末側制御部３７は、カメラ１からの通信確認信号を受信したか否か、即ちカメラ１との接続が確認されたか否かの判断を行なう。ここで、接続確認がなされた場合には、制御部１７による端末側通信制御部３４の制御によって、例えば返信の確認信号を送信した後、ステップＳ２０４の処理に進む。また、接続確認がなされなかった場合には、ステップＳ２０３の処理に進む。

ステップＳ２０３において、端末側制御部３７は、端末側表示処理部３６を介して端末側表示装置３２を制御して、所定の警告表示を実行する。この警告表示とは、例えば、「カメラとの接続が確立できませんでした」等といった文字等によるメッセージ表示等である。その後、ステップＳ２０１の処理に戻り、以降の処理を繰り返す。

上述したように、図９のステップＳ２０２の処理にて、返信の確認信号が送信されると、カメラ１側の通信制御部２４は、これを受信する。これを受けて、カメラ１では、図８のステップＳ１０６において、端末機器２との間の無線通信接続が確認されたものと判断されて、次のステップＳ１０７の処理に進む。一方、端末機器２側からの確認信号を受信できずに、端末機器２との接続が確認されなかった場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

ステップＳ１０７において、制御部１７は、通信制御部２４を監視して端末機器２からの操作指示信号を確認する処理を行なう。ここで、カメラ１は指示待機状態になる。

一方、端末機器２側では、図９のステップＳ２０４において、端末側制御部３７が操作制御部３５を介して操作部材３１からの指示信号を確認する。

ステップＳ２０５において、端末側制御部３７は、使用者が操作部材３１を操作して、ライブビュー表示の切り換え指示のための操作を行なったか否かの確認を行なう。
ここで、ライブビュー表示切換指示操作についての操作例を、図４を用いて以下に簡単に説明する。図４は、端末機器２の表示装置３２の表示画面において、ライブビュー表示切り換え指示の操作例を説明する図である。図４においては、サブ画面Ｓ領域に表示されるサブ画像を変更する指示操作の操作例を説明している。

図４に示すように、表示装置３２の表示画面上においては、上述の図３で示す状態と同様のマルチライブビュー画像が表示されているものとする。この状態において、サブ画面Ｓの領域には、メイン画面Ｍの領域中の特定の人物１００の顔部分（顔認識マーク３２ａで示される部分）が表示されているものとする。

ここで、使用者は、手指を用いて表示装置３２の表示画面（操作部材３１としてのタッチパネルが設けられているものとする）上の図４の符号１１０ａの位置から同図４の符号１１０ｂの位置であって、メイン画面Ｍの領域中の別の人物１１０の顔部分辺りに顔認識マーク３２ａをスライド移動させる操作を行なう。

このスライド操作指示は、端末機器２から無線通信を介してカメラ１側へと伝達され、これを受けたカメラ１の制御手段１０は、表示中のライブビュー画像に代えて上記操作指示に応じた画像処理を実行する。具体的には、サブ画面Ｓの領域に表示する画像を、図４の表示状態（被写体人物１００の顔画像）から図５の表示状態（被写体人物１０１の顔画像）へと変更する処理等である。これにより、表示装置３２の表示画面は、図５に示すようになる。

また、ライブビュー表示切換指示操作についての他の操作例を、図６を用いて以下に簡単に説明する。図６は、端末機器２の表示装置３２の表示画面において、ライブビュー表示切り換え指示の他の操作例を説明する図である。図６においては、メイン画面Ｍ領域とサブ画面Ｓ領域にそれぞれ表示される画像を切り換える指示操作の操作例を説明している。

図６に示すように、表示装置３２の表示画面上においては、上述の図５に示す状態と同様のマルチライブビュー画像が表示されているものとする。この状態においては、メイン画面Ｍの領域には撮像素子１５によって取得された画像データに基く画像の全領域（全体画像という）が表示されており、サブ画面Ｓの領域にはメイン画面Ｍの領域中の特定の人物１０１の顔部分（顔認識マーク３２ａで示される部分）のトリミング画像が表示されているものとする。

ここで、使用者は、手指を用いて表示装置３２の表示画面（操作部材３１としてのタッチパネルが設けられているものとする）上のサブ画面Ｓの領域を、図６に示すようにタッチ操作する。

このタッチ操作指示は、端末機器２から無線通信を介してカメラ１側へと伝達され、これを受けたカメラ１の制御手段１０は、表示中のライブビュー画像に代えて上記操作指示に応じた画像処理を実行する。具体的には、メイン画面Ｍとサブ画面Ｓのそれぞれに表示している画像を入れ換えて、メイン画面Ｍの領域に上記トリミング画像を、サブ画面Ｓの領域に上記全体画像をそれぞれ表示させる処理等である。これにより、表示装置３２の表示画面は、図７に示すようになる。

図９に戻って、上述のステップＳ２０５の処理にてライブビュー表示切換指示信号が確認された場合には、ステップＳ２０６の処理に進む。また、ライブビュー表示切換指示信号が確認されない場合には、次のステップＳ２０７の処理に進む。

なお、本実施形態においては、ライブビュー表示切換指示信号が確認されない場合にステップＳ２０７の処理に進むようにしているが、その他の操作指示が確認された場合には、その操作指示に応じた別の処理シーケンスが実行されることになる。この「その他の操作指示」の場合の処理シーケンスについては、本発明と直接関連しないので、その図示及び説明は省略する。また、ステップＳ２０４の確認処理にて、操作指示が何もなかった場合には、図示を省略しているが、端末側制御部３７等の有する内部時計を参照して所定時間経過後に次のステップＳ２０７の処理に移行するようにすればよい。

ステップＳ２０６において、端末側制御部３７は、上述のステップＳ２０５の処理にて確認された指示信号を、端末側通信制御部３４を制御して送信処理する。その後、本端末機器２は待機状態になる。

こうして、端末機器２側の端末側通信制御部３４から送信されたライブビュー表示切換指示信号は、上述の図８のステップＳ１０７において待機中のカメラ１において、通信制御部２４を介して制御部１７により受信される。

そして、カメラ１側においては、図８のステップＳ１０８において、制御部１７は、受信した指示信号がライブビュー表示切り換え指示信号であるか否かの確認を行なう。ここで、受信した指示信号がライブビュー表示切り換え指示信号であることが確認された場合には、次のステップＳ１０９の処理に進む。また、受信指示信号がライブビュー表示切り換え指示信号ではないことが確認された場合（その他の指示若しくは操作指示のない場合）には、次のステップＳ１１０の処理に進む。

ステップＳ１１０において、制御部１７は、現在設定されている設定情報に基いて第１の画像処理部２０，第２の画像処理部２１，表示処理部２２等を制御してライブビュー表示処理を実行する。

ステップＳ１０９において、制御部１７は、上述のステップＳ１０８の処理にて受信した指示内容に応じた設定情報に基いて第１の画像処理部２０，第２の画像処理部２１，表示処理部２２等を制御してライブビュー表示処理を実行する。

次に、カメラ１側では、図８のステップＳ１１１において、制御部１７は、通信制御部２４を制御してライブビュー表示情報を送信する。

続いて、ステップＳ１１２において、制御部１７は、通信制御部２４を制御してライブビュー表示用の画像データを送信する。

これを受けて、端末機器２側では、図９のステップＳ２０７において、端末側制御部３７は、端末側通信制御部３４を制御してライブビュー表示情報を受信する。

続いて、ステップＳ２０８において、端末側制御部３７は、端末側通信制御部３４を制御してライブビュー表示用の画像データを受信する。

次に、端末機器２側では、ステップＳ２０９において、無線通信の状況の確認、例えば転送レート等の確認を行なう。この確認処理は、例えば上述のステップＳ２０８の処理による画像データの受信結果に基いて転送レートを類推するといった処理である。

例えば、画像サイズをＶＧＡ（６４０ｘ４８０ピクセル），フレームレートを３０ｆｐｓとする二画面分のライブビュー表示用画像データの場合、必要とする転送レートは、約１４７Ｍｂｐｓとなる。

一方、既存の無線通信規格としては、例えば広く普及している無線ＬＡＮ関連規格の一つであるＩＥＥＥ ８０２．１１等がある。この規格には、伝送規格によって複数種類の規格グループが策定されている。各規格グループにおけるデータ転送についての公称速度は、
ＩＥＥＥ８０２．１１ｂ ： １１Ｍｂｐｓ／２２Ｍｂｐｓ
ＩＥＥＥ８０２．１１ａ ： ５４Ｍｂｐｓ
ＩＥＥＥ８０２．１１ｇ ： ５４Ｍｂｐｓ
ＩＥＥＥ８０２．１１ｎ ： ６００Ｍｂｐｓ（実効速度は１００Ｍｂｐｓ程度）
等とされている。以上のことから、現在における既存の無線通信規格に基く通信を行なう場合、画像サイズの条件が上記の条件である二画面分のライブビュー表示用画像を無線転送しようとすると、非常に厳しいことがわかる。

さらに、端末機器２側では、受信したライブビュー表示用画像データに対する表示用の処理を行なうことになるので、ライブビュー表示用画像データの転送速度低下に影響を及ぼす可能性もある。

したがって、本実施形態のカメラ１においては、無線通信状況に応じて送信すべきライブビュー表示用画像データを最適化処理（画像サイズ縮小化やフレームレート低減化等の各種の処理；リサイズ処理）等の画像処理を行なって、無線通信による画像データの転送を支障無く行なって、かつ端末機器２側での再生動作をスムーズに違和感なく行ない得るようにしている。

なお、ライブビュー表示用画像データの最適化処理を行なうのに際しては、無線通信状況に応じてフレームレートの低減若しくは画像サイズの縮小化等のリサイズ処理等を行なうが、その場合には、画質を優先しながら、各種の画像劣化処理を行なうようにしている。

具体的には、例えば図１０の示す表を参照して、メイン画面Ｍ用の画像データとサブ画面Ｓ用の画像データのそれぞれの画像サイズ，フレームレートを、無線通信状況（通信レート等）に応じて決定する。

なお、メイン画面Ｍに表示させる画像とサブ画面Ｓに表示させる画像とで、異なる表示レートとすることができないので、図１０の表中において、例えば符号Ａで示す条件による送信がなされた場合、メイン画面Ｍにおいて６フレーム分の表示を行なう間、サブ画面Ｓにおいては１フレーム分の表示を継続する、という表示形態とすればよい。

ところで、無線通信を利用する場合、データ転送中に通信が途切れてしまうことがあるので、通常の無線通信によるデータ転送は、パケット通信方式により、パケット単位でチェックコードを付加するようにして、データ転送が正しく行なわれたかどうかを確認することができるようにしている。このチェック処理を利用すれば、単位時間あたりのデータ転送時間を類推でき、これによって無線通信状況を確認することができる。

図９に戻って、上述のステップＳ２０９の処理にて、上述したような手段によって転送レートを確認すると、次のステップＳ２１０において、端末側制御部３７は、端末側通信制御部３４を介して転送レート情報を送信する。

これを受けて、カメラ１側の制御部１７は、図８のステップＳ１１３において、通信制御部２４を介して当該転送レート情報を受信する。

続いて、ステップＳ１１４において、制御部１７は、受信した転送レート情報についての確認を行ない、通信状況が良好であるか否かの確認を、上述の図１０の表を参照して行なう。なお、図１０で示す参照表データは、図示しない内部メモリ（ＲＯＭ）領域等、若しくは記録装置１３に含まれる記録媒体等に予め記憶されているものとする。ここで、通信状況が良好であると判断された場合には、ステップＳ１１６の処理に進む。また、通信状況が良好ではないと判断された場合には、ステップＳ１１５の書ルに進む。

ステップＳ１１５において、制御部１７は、第１の画像処理部２０，第２の画像処理部２１を制御して、上記受信した転送レート情報に基く画像処理、即ちライブビュー表示用の画像サイズやフレームレートの変更処理を実行する。その後、ステップＳ１１６の処理に進む。

ステップＳ１１６において、制御部１７は、通信制御部２４を監視して、端末機器２からの操作指示の有無を確認する。

ステップＳ１１７において、制御部１７は、端末機器２からの操作指示を確認した場合には、ステップＳ１１８の処理に進む。また、確認しなかった場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

ステップＳ１１８において、制御部１７は、上記確認された操作指示内容に応じた処理を実行する。その後、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

一方、端末機器２側においては、図９のステップＳ２１１において、端末側制御部３７は、表示処理部３６を介して表示装置３２を制御して、受信済みのライブビュー表示用画像データに基くライブビュー画像を表示する。

続いて、ステップＳ２１２において、端末側制御部３７は、操作制御部３５を介して操作部材３１からの操作指示信号の有無を確認する。

ステップＳ２１３において、端末側制御部３７は、操作指示信号が確認された場合には、次のステップＳ２１４の処理に進み、このステップＳ２１４において、端末側制御部３７は、端末側通信制御部３４を介して上記確認された操作指示信号を送信する。なお、この指示信号は、上述の図８のステップＳ１１６，Ｓ１１７の処理にて確認受信される信号に相当する。

上記ステップＳ２１３の処理にて、操作指示信号が確認されない場合には、上述のステップＳ２０１の処理に戻り、以降の処理を繰り返す。

以上説明したように上記一実施形態によれば、二つの画像処理手段（２０，２１）を設け、表示装置１２の表示画面に、二種の画像データに基く二つの画像を同時に表示し得るようにしたカメラ１と、このカメラ１の通信制御部２４から送信された上記二種の画像データを受信して、カメラ１側の表示と同様の表示を行ない得るようにした端末機器２とによってカメラシステムを構成している。

カメラ１は、二つの画像処理手段（２０，２１）を設けたので、撮像素子１５によって取得した一つの画像データに基いて、同時に異なる画像処理を行なって、二種の画像データを生成することが容易にできる。こうして生成した二種の画像データに基いて、二つの画像を表示装置１２の表示画面に同時に表示し得るようにしたので、表示形態の多様化に寄与することができる。

端末機器２は、上記カメラ１から無線通信を利用して送信された画像データを受信して、上記カメラ１の表示装置１２に表示されるのと同様の形態の画像を、端末側表示装置３２の表示画面に表示させることができる。

そして、上記カメラ１と上記端末機器２とによって構成されるカメラシステムにおいては、端末機器２において操作指示を行なうと、その指示信号が無線通信によってカメラ１側に伝達され、カメラ１側では、その指示信号に応じた画像処理が行なわれる。そして、その画像処理によって生成された画像データは、カメラ１側から端末機器２側へと送信され、これを受信した端末機器２は、操作指示に基いて生成された画像データに基く画像を表示させることができる。

この場合において、無線通信の状況を確認し、通信状況が良好ではない場合には、自動的に画像データのリサイズ処理等が行われるので、通信状況が悪化した場合にも通信が途切れることなく状況に応じた画像データを受信することができる。したがって、端末機器２は、常に画像データを受信して、これに基く画像を表示させることができる。

上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器にも適用することができる。

１…カメラ，２…端末機器，１０…カメラ側制御手段，１１…撮像ユニット，１２…表示装置，１３…記録装置，１４…撮影レンズ，１５…撮像素子，１６…アナログデジタル変換器，１７…制御部，１８…信号処理部，１９…ＤＲＡＭ，２０…第１の画像処理部，２１…第２の画像処理部，２２…表示処理部，２３…記録処理部，２４…通信制御部，３０…端末側制御手段，３１…操作部材，３２…端末側表示装置，３３…端末側ＤＲＡＭ，３４…端末側通信制御部，３５…操作制御部，３６…端末側表示処理部，３７…端末側制御部，３８…端末側画像処理部

Claims (5)

1. 撮像素子及び撮影レンズを備えた撮像手段と、
   上記撮像手段からの出力される画像データを受けて、それぞれが異なる画像処理を同時に並行して実行する二つの画像処理手段と、
   上記二つの画像処理手段からそれぞれ出力される画像データに基く二画像を一画面上に同時に表示する表示手段と、
   外部機器との間で無線通信を行なう通信制御手段と、
   機器全体を制御する制御手段と、
   を具備し、
   上記二つの画像処理手段は、上記通信制御手段を介して受信された上記外部機器からの指示信号に応じて、上記撮像手段により取得された画像データに対して異なる画像処理を行なって画像サイズの異なる二種類の画像データを生成し、
   上記通信制御手段は、上記二つの画像処理手段により生成された上記二種類の画像データを送信することを特徴とする撮影機器。
2. 上記二つの画像処理手段のうちの第１の画像処理手段は、上記撮像手段により取得された画像データのリサイズ処理を行ない、第２の画像処理手段は、上記撮像手段により取得された画像データに基く画像中の一部の領域を切り取るトリミング処理を行なうことを特徴とする請求項１に記載の撮影機器。
3. 撮影機器との間で無線通信を行なう通信制御手段と、
   上記通信制御手段を介して受信した画像データに基く画像を表示する表示手段と、
   操作入力指示を行なう操作部材と、
   機器全体を制御する制御手段と、
   を具備し、
   上記通信制御手段は、上記操作部材による操作指示信号を上記撮影機器へと送信し、該撮影機器を遠隔操作し得ることを特徴とする外部機器。
4. 上記操作部材はタッチパネルからなり、
   上記操作部材による入力指示信号は、上記通信制御手段を介して上記撮影機器へと送信されることを特徴とする請求項３に記載の外部機器。
5. 撮像素子及び撮影レンズを備えた撮像手段と、上記撮像手段からの出力される画像データを受けて異なる画像処理を行なう二つの画像処理手段と、上記二つの画像処理手段から出力される画像データに基く画像を表示する表示手段と、外部機器との間で無線通信を行なう通信制御手段と、機器全体を制御する制御手段とを具備する撮影機器と、
   上記撮影機器との間で無線通信を行なう端末側通信制御手段と、上記端末側通信制御手段を介して受信される画像データに基く画像を表示する端末側表示手段と、操作入力指示を行なう操作部材と、機器全体を制御する端末側制御手段とを具備する外部機器と、
   を具備し、
   上記二つの画像処理手段は、上記操作部材から生じ上記端末側通信制御手段から送信され上記通信制御手段を介して受信された操作入力指示信号に応じて、上記撮像手段によって取得された画像データに対して異なる画像処理を行なって画像サイズの異なる二種類の画像データを生成し、
   上記通信制御手段は、上記二つの画像処理手段により生成された上記二種類の画像データを送信し、
   上記端末側通信制御手段は、上記二種類の画像データを受信して、上記端末側表示手段によって画像表示することを特徴とするカメラシステム。

Images