JP2014082765A

JP2014082765A - 撮像機能付き無線通信端末の通信システム

Info

Publication number: JP2014082765A
Application number: JP2013229195A
Authority: JP
Inventors: Tomoya Kono; 智哉河野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2013-11-05
Filing date: 2013-11-05
Publication date: 2014-05-08

Abstract

【課題】自分は撮像対象から離れた場所にいる場合であっても、望む画像データを取得することができる撮像機能付き無線通信端末の通信システムを提供する。
【解決手段】被写体に近位したユーザーが操作する送信側の携帯端末と、被写体から遠位したユーザーが操作する受信側の携帯端末と、の間で画像データの送受信を行う。
送信側携帯端末は、カメラ部と、カメラ部にて取得された画像を含むプローブパケットを生成するプローブパケット処理部と、カメラ部にて取得された画像をストリーム配信するためのストリーミング配信用パケットを生成するストリーミング処理部と、プローブパケットおよびストリーミング配信用パケットを送信する送信部と、を備える。受信側携帯端末からプローブパケットに対する返信があった場合に、送信側携帯端末はストリーミング配信を開始し、受信側携帯端末はストリーミング配信用パケットに含まれる画像データを受信して取得する。
【選択図】図2

Description

本発明は、撮像機能付き無線通信端末の通信システム、および、撮像機能付き無線通信端末の通信制御方法、および、携帯端末に関する。

携帯電話機、PHS（Personal Handy phone System）、PDA（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）等の携帯端末装置の多くはカメラ機能を有している。
人が大勢いるような場所で撮影対象から離れたユーザーが遠方にある撮影対象を撮影したい場合がしばしばある。
このような場合、ユーザーは、大勢の人の頭の上から撮像するように端末を持った手を上方に高く挙げ、さらに、カメラのズーム機能を用いて撮影する必要がある。
しかし、このような撮影方法では疲れるうえ、手振れが起こりやすいのでいい画像を取得することはかなり難しい。
さらには、人の頭等の各種障害物によって遮られてしまい、そもそも対象を撮影できない場合もある。

ここで、近年では、赤外線通信やブルートゥース（Bluetooth：登録商標）などの近距離無線通信機能が発達してきたので、これを利用して、良い画像を取得した別の人から画像データをもらうことも可能ではある。
しかし、この場合、撮影後にいちいち他人にお願いして互いの端末の通信を確立し、画像データを送ってもらわなければならない。
このようなデータのやり取りは大変面倒でもあり、また、相手に手間や時間を取らせることになるので、申し訳なく恐縮してしまう。

ここで、特許文献1（特開2008-60948）には、画像データを撮像中に他の機器に送るための構成が開示されている。
この特許文献1に開示の技術では、撮像機器（第1端末）が被写体を撮像している最中に、この撮像機器（第1端末）からの距離が一定の範囲内に位置する他の機器（第2端末）に向けて、他の機器（第2端末）の宛先情報の送信を要求する宛先情報要求を送信する。そして、他の機器（第2端末）が、宛先情報要求に応じて自己の宛先情報を前記撮像機器（第1端末）に送信する。すると、撮像機器は、宛先情報を送信した他の機器に対して、撮像した撮像データを送信する。これにより、他の機器のユーザーは、別の人物が撮像機器で撮像している最中にデータの送信を受けて画像データを取得することができる。

特開2008-60948号公報

特許文献1が想定している状況では、撮像機器（第1端末）だけが撮影を行うものであり、他のユーザーはこの第1端末からデータを送ってもらえばいいことが確定している。
このような状況は、例えば、図8のように、ユーザーAが第1端末を用いてユーザーB、ユーザーCおよびユーザーDの集合写真を撮影するような場合に起こり得る。
この場合には、ユーザーB、ユーザーC、ユーザーDは、ユーザーAの端末と通信を確立すればよい。
したがって、ユーザーAから送られてくる宛先要求に対して、自己の宛先情報を送り返せばユーザーAの第1端末から自分達の集合写真が得られることは間違いない。

ところが、会場やホールなどの大勢の人がいる場所で、自分はステージから遠く離れたところにいる一方、何人かはステージの近くにいて良好な画像を撮像しているといった場合がある。このような場合において、通信手段を介して画像データをもらうとしても、誰が良好な画像を撮像しているのか、誰と通信を確立して画像をもらうべきか、がそもそもわからない。

本発明の目的は、大勢の人がいて、さらに、自分は撮像対象から離れた場所にいる場合であっても、望む画像データを取得することができる撮像機能付き無線通信端末の通信システム、および、撮像機能付き無線通信端末の通信制御方法を提供することにある。

本発明の携帯端末は、
相手側の携帯端末との間で近距離無線通信を行う携帯端末であって、
被写体を撮像するカメラ部と、
前記カメラ部にて取得された画像を含むプローブパケットを生成するプローブパケット処理部と、
前記カメラ部にて取得された画像をストリーム配信するためのストリーミング配信用パケットを生成するストリーミング処理部と、
前記プローブパケットおよび前記ストリーミング配信用パケットを送信する送信部と、を備え、
前記プローブパケットに対して返信があった場合に、ストリーミング配信を開始し、
前記プローブパケットには、プレビュー用の静止画と送信側携帯端末を特定する送信者特定情報とが含まれている
ことを特徴とする。

第1実施形態に係る通信システムの全体構成とともにその使用状況を説明するための図である。携帯端末の機能ブロック図である。カメラ機能の起動から特定の処理を選択するまでの動作手順を示すフローチャートである。選択画面の一例を示す図である。送信側処理の動作手順を示すフローチャートである。受信側処理の動作手順を示すフローチャートである。表示部の表示例を示す図である。背景技術を説明するための図である。

本発明の実施の形態を図示するとともに図中の各要素に付した符号を参照して説明する。
（第1実施形態）
本発明に係る第1実施形態について説明する。
図1は、本実施形態に係る通信システムの全体構成とともに、その使用状況を説明するための図である。
図1に示すように、Aさん、Bさん、・・・Kさんらは撮影対象10に対して比較的近いにいる。その一方、Sさんは撮影対象10から離れた遠いところにおり、撮影対象10を直接には撮像できない。
この状況でAさん、Bさん、・・・Kさんらを介してSさんが所望の画像データを取得したいという状況を想定する。
このような状況は、パーティー等の人が多く集まるところではしばしば発生する状況である。

Aさんが携帯端末100Aを所持し、Bさんが携帯端末100Bを所持し、Kさんが携帯端末100Kを所持し、Sさんが携帯端末100Sを所持しているとする。
これら端末100Aから100Sは、基本的に同じ機能を有する端末であるとする。

ここで、Aさんが撮影対象10をやや斜め上から撮像した画像データを取得でき、Bさんが撮影対象10を正面から撮像した画像データを取得でき、Kさんが撮影対象をやや斜め下から撮像した画像データを取得できるとする。
そして、Bさんとしては、例えば、撮影対象10を正面から撮像した画像データがほしいとする。
この場合、Sさんは、Bさんの端末100Bで撮像されている画像データを自身の端末100Sに取得したいと考える。

以上のような状況において、Sさんが所望の画像データを取得できるようにする本実施形態のシステム構成およびその動作について順に説明する。

（構成）
図2は、携帯端末の機能ブロック図である。
ここでは、端末100として説明するが、端末100Aから100Sは、基本的に同じ機能を有する携帯端末である。
携帯端末100は、画像等の各種情報を表示する表示部110と、被写体を撮像するカメラ部120と、無線で情報通信を行うための送受信部130と、データ保存用のメモリ140と、入力操作用の操作部150と、全体動作を制御する制御ユニット160と、を備える。

表示部110は、例えば、液晶パネル、ELパネル等であり、タッチパッド機能を備えていてもよい。
カメラ部120は、カメラレンズ（不図示）と、レンズからの像を取得する画像取得手段（不図示）と、を有している。
画像取得手段は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などで構成された光電変換素子である。

送受信部130は、アンテナを介してデータを無線通信する。例えば、Bluetooth（登録商標）、WLAN（ワイヤレスローカルエリアネットワーク）
メモリ140は、例えば画像データを保存する記憶部である。
操作部150は、キーパッドやジョグダイヤルである。
なお、操作部150には、カメラ機能を操作するためのシャッターボタンと、メニュー選択を行うための選択ボタンが含まれる。

制御ユニット160は、画像処理部161と、ストリーミング処理部162と、プローブパケット処理部163と、データ交換制御部164と、を備えている。

画像処理部161は、画像データの処理を行う。画像データは、カメラ部120を介して取得される。また、本実施形態では、送受信部130を介しても画像データは取得される。取得された画像データは画像処理部161に送られる。

画像処理部161は、画像データに対して所定の編集処理（サイズ調整、コントラスト調整）等を行って表示部110、プローブパケット処理部163またはストリーミング処理部162に画像データを供給する。
また、ユーザーがシャッターボタンを操作して画像の取り込みが指示された場合、画像処理部161は、画像データを取り込んでメモリ140に保存させる。

ストリーミング処理部162は、ストリーミング配信用パケットを処理する。
具体的には、ストリーミング処理部162は、画像処理部161で生成された画像データをキャプチャーし、このキャプチャーした画像データからストリーミング配信用パケットを生成する。
または、送受信部130にてストリーミングデータを受信した場合には、そのなかの画像データを画像処理部161に送る。

プローブパケット処理部163は、通信相手探索を行うプローブパケットの生成および解析を行う。プローブパケットの詳しい構成については後述する。

データ交換制御部164は、ストリーミング処理部162およびプローブパケット処理部163の動作を制御する。データ交換制御部164による制御動作については、図3、図5のフローチャートを参照しつつ後述する。

（動作）
このような構成を備える携帯端末の動作について説明する。
図3は、カメラ機能の起動から特定の処理を選択するまでの動作手順を示すフローチャートである。
まず、画像データを送信する側の携帯端末の動作について説明する。
ユーザーA、B、Kは被写体を直接撮影できる位置にいるので、彼らは自らの携帯端末100A、100B、100Kで被写体を撮像すべくカメラ機能を起動させる（ST100）。
すると、カメラ部120を介して画像データが取得され、この画像データは順次処理されてプレビュー画像として表示部110に表示される（ST110）。

プレビュー画像が表示されたところで、データ交換制御部164により、画像データを他の携帯端末と共有するか否かの選択画面が表示される（ST120）。
図4は、選択画面の一例を示す図である。
ここでは、送信側の携帯端末の場合であるので、ユーザーA、B、Kは、画像データの公開を指示する（ST120：YES）。すると、データ交換制御部164は、送信側処理を開始する（ST121）。

（送信側処理）
続いて、図5を参照して、送信側処理について説明する。
送信側処理として、まず、プローブパケット処理部163によってプローブパケットを生成する（ST130）。
プローブパケットは、所定のタイミングで取り込んだプレビュー画像のデータを含んでいる。
ここで、表示部110に表示されるプレビュー画像は時々刻々変化する動画に近いものであるが、プローブパケットに含まれる情報としてはこの携帯端末がどのような画像を取得できるかをおおよそ示せればよい。
そこで、プレビュー画像を所定タイミングで取り込んだ静止画のデータをプローブパケットに埋め込む。
この静止画をプレビュー静止画と称する。
プレビュー静止画は、データ量を少なくするように圧縮処理がされていてもよい。
さらに、プローブパケットには、送信者（つまり、送信者の携帯端末）を特定するための情報が含まれる。

このように生成されたプローブパケットは送受信部130から送信される（ST131）。

プローブパケットの送信後、データ交換制御部164は、このプローブパケットに対する返信があるか否かを所定時間モニタする（ST132）。
そして、返信があった場合（ST132：YES）、データ交換制御部164は、ストリーミング処理部162にストリーミング処理を開始させる（ST133）。

ストリーミング処理を開始するにあたり（ST133）、データ交換制御部164はストリーミング処理部162を起動する（ST134）。すると、ストリーミング処理部162は、プレビュー画像のキャプチャーを開始する（ST135）。すなわち、画像処理部161にて順次生成されるプレビュー画像を順番に取り込んでいく。そして、この画像データをストリーミング送信するためのストリーミングパケットを生成する（ST136）。
ストリーミング処理部162は、このように生成したストリーミングパケットを送受信部130に送る。すると、送受信部130からストリーミングパケットが送信される（ST137）。

なお、一回のストリーミング送信の時間が予め決められていてもよく（例えば数秒から数十秒）、ユーザーが停止操作を行うことによってストリーミング送信を終了させてもよい（ST138）。

（受信側処理）
次に、画像データを受信する側の携帯端末の処理動作について説明する。
ユーザーSさんは、自ら撮影対象を撮像できないので、A、B、Kさんのうちの誰かから画像データを取得することを考える。
ユーザーSさんも、まずはカメラ機能を起動させる（ST100）。すると、プレビュー画像の表示（ST110）に続いて画像を公開するかの選択画面が表示されるので(ST120)、受信側であるSさんとしては、画像を公開しない（非公開）を選択する（ST120：NO）。

画像を公開しない場合（ST120：NO）、画像データを受信するか否かの選択画面が表示される（ST122）。
ユーザーSさんとしては、画像データの受信を指示する（ST122：YES）。すると、データ交換制御部164は、受信側処理を開始する（ST123）。

受信側処理について、図6を参照して説明する。
受信側の処理として、まず、プローブパケットの受信を行う（ST200）。ここで、プローブパケットは、Aさん、Bさん、Kさんから送信されている。したがって、Sさんの携帯端末100Sは、複数のプローブパケットを受信する。

受信したプローブパケットの情報は、プローブパケット処理部163にてデコード処理され、表示部110に表示される（ST210）。
図7にこのときの表示部110の表示例を示す。
表示部110には、図7に示されるように、プローブパケットに含まれるプレビュー静止画とその送信者が表示される。

続いて、ユーザーSさんは、ボタン等を操作し、自分が所望する画像データを送信している送信者（つまりはその送信者の携帯端末）を選択する（ST220）。
選択指示を受けた場合（ST220：YES）、データ交換制御部164は、選択された送信者のプローブパケットを解析し、送信者を特定する。そして、特定した送信者（つまりはその送信者の携帯端末）に返信を行う（ST230）。

返信を行うと（ST230）、返信を受けた携帯端末ではストリーミング処理が開始されるので、このように配信されるストリーミングを受信する（ST240）。
受信したストリーミングデータは、ストリーミング処理部162および画像処理部161によって所定の加工を受けた後、表示部110に表示される(ST250)。

ユーザーSさんは、表示部110に表示される画像を見て、自分でいいと思ったタイミングでシャッター操作を行う（ST260）。すると、画像処理部161がそのタイミングで表示していた画像データを取り込んでメモリ140に保存する（ST270）。なお、取り込む画像データは、静止画でもよく、動画でもよい。
このようにして、被写体から離れたところにいたとしても、Sさんは所望の画像データを取得する。

被写体を正面から撮像したデータのみならず、Aさん、Kさんが撮像している画像についても取得したいと考えた場合には、Sさんは、プローブパケットの受信（ST200）に戻ってAさん、Kさんの画像を選択すればよい。
このようにして、Sさんは、被写体から離れたところにいても、様々な視点から被写体を撮像した画像を得る。

なお、画像を非公開とし（ST120：NO）、かつ、画像の受信も行わない（ST122：NO）場合には、通常のカメラ撮影の動作を行う（ST124）。
また、送信側処理（ST121）を行っている際に任意のタイミングでシャッターボタンが操作された場合には、画像処理部161がそのタイミングで画像データを取り込んでメモリ140に保存する。これにより、送信側処理をおこなっている場合であっても通常のカメラ動作は可能となる。

このような本第1実施形態によれば次の効果を奏することができる。
（１）撮影対象10から離れたところにいたとしても、撮影対象10に近いユーザー（A、B、Kさん）が撮像した画像データを受信することにより、所望の画像を取得することができる。
このように離れたところにいても所望の画像データを取得できるので、大勢の人混みの背後から手を伸ばしたりする必要もなく、また、手ぶれ等に起因する不満の残る画像で我慢する必要もなくなる。

（２）画像データを受信する側としては、予めプローブパケットに含まれるプレビュー静止画を見て、自分が所望する画像を選択することができる。

（３）本実施形態では、パケット交換通信によるストリーミング配信を行うようにしているので、回線を占有することが無く、不特定多数を相手に通信することができる。
さらにアドホック通信を行うので、Webサーバやスレーブサーバ、別途の通信経路を用意する必要が無く、簡便である。

（４）送信側の携帯端末としては、受信側携帯端末からプローブパケットに対する返信があった場合にのみストリーミングを開始するようにしている。
このように要求に応じてストリーミングを行うので、相手がいない場合にまで無駄にストリームを送信しないようにできる。
したがって、電力の消費を抑えることができる。
また、受信側携帯端末からプローブパケットに対する返信を受けた場合には、受信相手を特定したデータ交換ではなく、ストリーム配信を行うようにしている。
したがって、受信側との通信接続を確立するなどの手間が必要なく、簡便な送受信によって画像データの受け渡しを行うことができる。

（変形例1）
上記第1実施形態では、プローブパケットには、プレビュー静止画とその送信者情報とが含まれている場合を例示した。
プローブパケットには、その他の情報を示すタグをつけてもよい。
タグに含ませる情報としては、例えば、現在何を撮影しているのかを示すシーン情報、日付情報、位置情報などが例として挙げられる。

（変形例2）
受信側携帯端末の画像処理機能として、同じ被写体を複数の視点から撮像した画像データを組み合わせて、3D映像を作るような機能が備えられていてもよい。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
携帯端末としては特に限定されるものではなく、携帯電話機、PHS（Personal Handy phone System）、PDA（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）、デジタルカメラ、カメラ機能付きのモバイルノートパソコン、カメラ付き携帯ゲーム等、カメラ機能と通信機能とを有する携帯端末であればよい。

10…撮影対象、100A、100B、100K、100S…携帯端末、110…表示部、120…カメラ部、130…送受信部、140…メモリ、150…操作部、160…制御ユニット、161…画像処理部、162…ストリーミング処理部、163…プローブパケット処理部、164…データ交換制御部。

Claims

相手側の携帯端末との間で近距離無線通信を行う携帯端末であって、
被写体を撮像するカメラ部と、
前記カメラ部にて取得された画像を含むプローブパケットを生成するプローブパケット処理部と、
前記カメラ部にて取得された画像をストリーム配信するためのストリーミング配信用パケットを生成するストリーミング処理部と、
前記プローブパケットおよび前記ストリーミング配信用パケットを送信する送信部と、を備え、
前記プローブパケットに対して返信があった場合に、ストリーミング配信を開始し、
前記プローブパケットには、プレビュー用の静止画と送信側携帯端末を特定する送信者特定情報とが含まれている
ことを特徴とする携帯端末。
前記プローブパケットには、前記カメラ部にて取得された画像に関する、現在何を撮影しているのかを示すシーン情報、日付情報、および位置情報のうち少なくとも一つ以上を示すタグがつけられている
ことを特徴とする請求項１に記載の携帯端末。
前記プレビュー用の静止画は、圧縮処理がされている
ことを特徴とする請求項１又は２に記載の携帯端末。
前記ストリーミング配信の時間が予め決められていて、決められた時間が経過するとストリーミング配信が終了する
ことを特徴とする請求項１〜３のいずれか１項に記載の携帯端末。
前記プローブパケットの送信後に、前記プローブパケットに対する返信があるか否かを所定時間モニタし、前記所定時間内に返信がなかった場合に、前記プローブパケットを再び送信する
ことを特徴とする請求項１〜４のいずれか１項に記載の携帯端末。
前記相手側の携帯端末のユーザーが停止操作を行うことにより、前記ストリーミング配信が終了する
ことを特徴とする請求項１〜５のいずれか１項に記載の携帯端末。