JP2000092464A

JP2000092464A - 画像通信装置及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP2000092464A
Application number: JP10254161A
Authority: JP
Inventors: Shigeo Yoshida; 茂夫吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-09-08
Filing date: 1998-09-08
Publication date: 2000-03-31

Abstract

(57)【要約】【課題】使い勝手のよい移動ＴＶ会議装置を得る。【解決手段】メモリ５０９には予め所定の画像が記憶
されている。カメラ等の画像入力装置５０１からの画像
とメモリ５０９からの画像とは画像スイッチ５０８で切
り替えられる。画像スイッチ制御部５０７は通信部５０
４の通信確立後、まずメモリ５０９の画像が選択される
ように画像スイッチ５０８を制御する。この画像は通信
部５０４から相手側に送信される。相手側はこの画像を
みて準備中であることを知ることができる。その後、入
力部５０２による使用者の指示又はタイマ５０６による
一定時間経過後に画像入力部５０１に切り替えるように
画像スイッチ５０８を制御する。従って、準備段階で、
狭いスペースに配されたカメラが相手側に判らないよう
な画像を撮影して送信してしまうようなことを防止でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＴＶ会議装置に用い
て好適な画像通信装置及びこの装置で用いられるコンピ
ュータ読み取り可能な記憶媒体に関するものである。

【０００２】

【従来の技術】近年、半導体技術等の進歩やデジタルネ
ットワークの進歩、標準規格（Ｈ３２０／Ｈ３２３／Ｈ
３２４）の制定により、ＴＶ会議装置が発展している。
この装置は、送信画像を撮影するためのカメラ等の画像
入力装置と送信画像および受信画像等を表示するための
表示部、音声を通話するためのマイクやスピーカ、これ
らの情報を限られたバンド幅の情報伝送路へ通信するた
めの圧縮伸長装置、通信を制御する制御装置、通信装
置、使用者からの操作を入力する入力装置、公衆回線等
の回線に接続するためのインターフェースから構成され
ている据え置き型の構造である。

【０００３】通常この装置の前面には表示部があり、そ
の上部には画像入力装置が設置されて人物の撮影画像
（視線）が不自然にならないようになっている。また、
表示部の近傍には入力装置が設置され、通信の接続／切
断、各種設定に使用される。ＴＶ会議を行うためには、
まずこの入力装置を使用して電話番号を直接もしくは電
話帳アプリケーションを利用して入力する。

【０００４】表示部には回線非接続時に自画像やシステ
ムの状態表示が行われているが、回線接続後、圧縮され
た相手画像の伸長を行い、表示が行われる。またスピー
カからは圧縮された相手からの音声が再生される。さら
に、画像入力部からの入力画像と入力音声も回線接続後
に相手に対して、情報量を圧縮した上で伝送が行われ
る。回線の切断は通常の電話と同様に行われる。

【０００５】一方、最近、無線基地局等のインフラスト
ラクチャの充実により、移動体電話装置の普及にはめざ
ましいものがある。これらは非常に便利なものである
が、音声のみの通信装置であるために、コミュニケーシ
ョン能力という面では映像やデータ伝送能力の充実が求
められている。

【０００６】

【発明が解決しようとする課題】移動体ＴＶ会議装置を
構成する場合、装置は小型でなければ携帯に不便なため
に、従来の据え置き型のＴＶ会議装置とは異なり、入力
装置、画像入力装置、表示部、マイク、スピーカの物理
的な配置には自由度が少なく、理想的な位置関係を保て
ない場合が多い。このため、入力装置（キーボードやポ
インティングデバイス）と画像入力装置とが同一面にあ
るとは限らないので、入力装置を使用者の正面に設置し
た場合、この入力装置を操作中に画像入力装置が意図し
ない画像を撮影し、送信してしまう場合もあり得る。こ
の場合は、結果的に受信者は何が起きているのかわから
ず、混乱を生ずることになる。

【０００７】また、ハンズフリーフォン機能を利用し
て、通信の確立を確認すると周辺の迷惑になる場合があ
るため、通常は受話口に耳をあてて呼び出し音を確認す
る場合が多いが、このような操作姿勢の場合も画像入力
装置は使用者の意図しない画像を撮影し、送信してしま
うことが多い。さらに、移動体ＴＶ会議装置はその使用
形態を考えると、どこかの場所に固定して使用するより
も、携帯して使うことが多いと言える。従って、撮影画
像は手持ちによる揺れが多くなりがちであり、その場合
は長時間の使用は受信者にとって見苦しいものとなる。
これは通信相手にとって、あまり好ましい事態とは言え
ない。

【０００８】このような事情を考慮すると、移動体ＴＶ
会議装置は、送信準備が整った時、あるいは送信したい
時に動画を通信する方がより使い勝手の良いＴＶ会議装
置となることになる。

【０００９】従って、本発明は上記のように使い勝手の
よい移動ＴＶ会議装置を実現することを目的としてい
る。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明による画像通信装置においては、画像信号
を入力する画像入力手段と、予め画像信号が記憶される
画像記憶手段と、上記画像入力手段からの画像信号と上
記画像記憶手段からの画像信号とを切り替える画像切り
替え手段と、上記画像切り替え手段を切り替え情報に応
じて制御する制御手段と、上記画像切り替え手段により
切り替えられた画像信号を送信する通信手段とを設けて
いる。

【００１１】また、本発明による他の画像通信装置にお
いては、画像信号を入力する画像入力手段と、上記入力
された画像信号を送信する通信手段と、装置の移動を検
出する検出手段と、上記移動の検出に応じて上記送信さ
れる画像信号の画像の送信レートを制御する制御手段と
を設けている。

【００１２】また、本発明による記憶媒体においては、
画像信号を入力する画像入力処理と、上記画像入力処理
された画像信号と予め画像信号が記憶された画像記憶手
段からの画像信号とを切り替え情報に応じて切り替える
画像切り替え処理と、上記画像切り替え処理により切り
替えられた画像信号を送信する通信処理とを実行するた
めのプログラムを記憶している。

【００１３】さらに、本発明による他の記憶媒体におい
ては、画像信号を入力する画像入力処理と、装置の移動
を検出する検出処理と、上記移動の検出に応じて画像の
送信レートを制御しながら上記入力された画像信号を送
信する通信処理とを実行するためのプログラムを記憶し
ている。

【００１４】

【発明の実施の形態】以下、本発明の第１〜第４の実施
の形態を図面と共に説明する。まず第１の実施の形態を
説明する。図５は本発明に基づく装置の各モードにおけ
る機能説明図、図６、図７は装置外観図、図８はパワー
スイッチを兼ねたＭＯＤＥＤＩＡＬの正面図である。

【００１５】図８のパワースイッチを含むＭＯＤＥＤ
ＩＡＬ１０１はカメラのシャッタボタン１０２のまわり
を回転する構造になっており、電源を切った状態（ＯＦ
Ｆ）、電話の送受信を行える状態（ＴＥＬ）、本体に記
憶された画像、音声、テキストを表示する状態（ＶＩＥ
Ｗ）、カメラ撮影可能な状態（ＣＡＭＥＲＡ）を回転に
よって切り替えることができる。

【００１６】ＯＦＦ以外のモードでは、電話の着信を受
けることが可能である。ＴＥＬモードでは通常のＰＨＳ
電話機の機能が動作可能である。すなわち図６、図７に
おいて、本体のキーボード１０３からの電話番号入力や
白黒液晶１０４への入力番号表示、電話帳表示が可能
で、通話は、本体に内蔵したスピーカ１０５とマイク１
０６を用いて行う。必要に応じてカラー液晶１０７の表
示を使うことも可能であり、色分けなどによって複雑な
オプシ機能を容易に選択できる。尚、ここでの電話の送
受信とは、近年ＰＨＳや携帯電話で可能となったデータ
通信の送受信も含むものである。

【００１７】ＶＩＥＷモードは、後述するカメラモード
で撮影した画像、録音した音声、受信した画像・音声・
テキストを選択し、再生や表示を行うモードである。

【００１８】ＣＡＭＥＲＡモードは、本体に設けたレン
ズ１０８を介して結像した画像をＣＣＤなどの光電変換
素子によって電気信号に変え、必要に応じて本体で画像
の処理を加え、フラッシュメモリなどの記憶手段に記憶
するモードである。本体のレンズ１０８上方にはストロ
ボ１０９が配置されており、ポインティングデバイス１
１０を使ってカラー液晶１０７に表示されるメニューか
ら発光条件を選択し被写体を照明する。またＣＡＭＥＲ
Ａモード内には、撮った画像を確認して不要ならば消去
したり、アノテーションとして音声を記録したり、メー
ルとして所望のところへ送信する機能を備えている（Ｐ
ｌａｙｂａｃｋ機能）。

【００１９】本実施の形態の構成は、ＣＰＵ部、Ｓｕｂ
ＣＰＵ部、ＰＨＳ部、カメラ部の４つの主なブロック
から成り、これらが協調動作することにより、上記ＴＥ
Ｌ、ＶＩＥＷ、ＣＡＭＥＲＡ各モード下で、各機能を実
現している。以下では、各ブロック別により詳細に説明
する。

【００２０】［カメラ部］図９はカメラ部のブロック図
である。２０１はカメラ部の制御を行うＣＰＵであり、
２０２は全体の制御を行うＣＰＵ、メモリコントロー
ラ、シリアルインタフェースを持つ混在型ＩＣから成る
制御部である。２０３はＣＣＤで、光情報を電荷に変換
し、その電荷を画像の電気信号として出力するものであ
る。本実施の形態ではこのＣＣＤ２０３が形成する画像
の大きさを横１２８０画素、縦９６０画素とする。

【００２１】２０４はＣＤＳ／ＡＧＣ回路で、ＣＣＤ２
０３から出力される電気信号をサンプリングし、信号振
幅を制御する。２０５はアナログの画像信号をデジタル
に変換するＡＤコンバータであり、２０６はホワイトバ
ランス等の補正を行い、そのデータをＣＣＤの色空間か
らＲＧＢ系のデータに色空間変換を行って、画像データ
として出力する画像処理回路である。２０７はＣＣＤ２
０３を駆動する信号の電圧振幅を変換する垂直ドライバ
であり、２０８はＣＣＤ２０３に画像を形成させるため
のタイミングを作り出すタイミングジェネレータ（Ｔ
Ｇ）である。２０９はレンズであり、光を通して屈折さ
せてＣＣＤ２０３の電荷面に光を集光させるものであ
る。

【００２２】２１０は本装置の全体を制御する制御部２
０２とＣＰＵ２０１とが通信するための信号線であり、
２１１は画像処理回路２０６に対してカメラ部を制御す
るＣＰＵ２０１が出す制御信号であり、この制御信号２
１１により画像処理回路２０６の内部レジスタが読み書
きしている。２１２はＣＣＤ２０３からの画素信号であ
り、アナログで出力される。２１３はＣＤＳ／ＡＧＣ回
路２１４で変換された画素信号であり、２１４は画素信
号２１３をデジタル化した信号である。本実施の形態で
は１０本のデータバスが用いられるものとする。２１５
は画素信号を画像処理しＹＵＶの形成に変換した画像バ
スである。本実施の形態では８本のデータバスとする。

【００２３】２１６はＣＣＤ２０３が画像を形成する基
となるタイミング信号であり、２１７はＣＣＤ２０３へ
与える電圧変換を必要とするタイミング信号である。２
１８は画素信号をサンプリングする基となるクロック信
号であり、２１９は制御部２０２が作り出す水平同期、
垂直同期信号である。２２０は制御部２０２が作り出す
カメラ部全体のタイミングの基となるクロック信号であ
る。２２１はＣＤＳ／ＡＧＣ回路２１３に与えるサンプ
ルホールドのタイミング信号である。

【００２４】以上の各ブロック間の信号の流れを以下に
説明する。全体を制御する制御部２０２からクロック信
号２２０と水平、垂直同期信号２１９をＣＣＤ２０３の
表示タイミングでタイミングジェネレータ２０８へ入力
する。タイミングでタイミングジェネレータ２０８はそ
の信号に同期して、ＣＣＤ２０３にＣＣＤ駆動信号２１
６、２１７を、ＣＤＳ／ＡＧＣ回路４にサンプルホール
ド信号２１を、ＡＤコンバータ２０５にはサンプルクロ
ック１８を供給する。

【００２５】ＣＣＤ２０３はこれらの駆動タイミングに
合わせて撮影画像信号を横１２８０ｄｏｔ、縦９６０ｄ
ｏｔのアナログ信号で出力する。出力された撮影画像信
号２１２はＣＤＳ／ＡＧＣ回路２１４でサンプルされノ
イズを取り除き、ゲイン処理を行い画素信号２１３を出
力する。ＡＤコンバータ２０５で１０ｂｉｔのデジタル
に変換して画素信号２１４となり、画像処理回路２０６
へ出力する。画像処理回路２０６では、ＣＰＵ２０１の
制御の基にホワイトバランス、ＡＥ等の画像処理を行
い、制御部２０２へＹＵＶ８ｂｉｔのフォーマットで画
像出力する。

【００２６】図７のレンズ１０８（図９のレンズ２０
９）は３倍のズームレンズを含み、手動によりズーム位
置を移動可能である。このレンズ１０８は３５ｍｍカメ
ラに換算すると３４ｍｍ〜１０３ｍｍの焦点距離を持っ
ており、レンズ位置をホール素子によりＣＰＵ２０１に
伝えることによって各種画像処理を行う。またこのレン
ズ１０８の明るさはＦ２．４〜Ｆ３．５である。光学的
絞りは開放と絞り込みの２種類持っており手動により操
作を行う。この絞り位置はＣＰＵ２０１が検出を行うこ
とができ、光量不足も光量オーバーの際の警告を後述す
るＭＡＩＮ−ＣＰＵに伝えることによって使用者に操作
を促す。

【００２７】図７のストロボ１０９は調光回路付きスト
ロボであり、ガイドナンバは７で、ＣＰＵ１により充電
制御や発光の制御を行う。このストロボ１０９はズーム
レンズの位置をＣＰＵ２０１より受け取ることで、調光
制御のリファレンスレベルを変動させることにより、ズ
ームレンズの位置がどこにあっても適切な発光が得られ
るようになっている。

【００２８】図１０は本実施の形態の上記カメラ部とそ
れ以外のブロック図である。［ＳｕｂＣＰＵ部］図１０において、ＳｕｂＣＰＵ
部は、以下に示すような機能を有する。Ｓｕｂ−ＣＰＵ１はＭＡＩＮ−ＣＰＵと通信を行い
コマンドやデータをやり取りする。通信の手段として
は、１３本の信号線１９（８本のデータＢＳＵ、１本の
アドレス信号、Ｉ／ＯＲＥＡＤ信号、Ｉ／ＯＷＲＩ
ＴＥ信号、チップセレクト信号、ＩＮＴＥＲＲＵＰＴ信
号）を使用したパラレル転送で行われる。

【００２９】また、ＭＡＩＮ−ＣＰＵに対するリセット
要求信号２０の端子も有する。さらに、カメラ部の制御
を行うカメラマイコンへのリセット要求信号２１の端子
も有する。

【００３０】Ｓｕｂ−ＣＰＵ１はＰＨＳＭｏｄｕ
ｌｅ４８と接続され通信を行い、コマンドやデータをや
り取りする。通信の手段としては、シリアルデータ転送
信号（ＴｘＤ、ＲｘＤ）１６、ＲＩＮＧ信号１７、Ｗａ
ｋｅＵｐ信号１８を使用したシリアル転送で行われる。
また、ＰＨＳＭｏｄｕｌｅに対するリセット要求信号
１８の端子も有する。

【００３１】Ｓｕｂ−ＣＰＵ１は電話番号等を表示
するためのＬＣＤディスプレイ２に対し、ＣＳ、ＲＳ、
ＳＤＡ、ＳＣＬの信号線３にて、コマンドや表示データ
をシリアル転送し表示制御を行う。また、ＢＬ−ＯＮ信
号にて、バックライトのＯＮ／ＯＦＦ制御も行う。

【００３２】Ｓｕｂ−ＣＰＵ１はカレンダーや時刻
の情報を生成するＲＴＣ４と１２Ｃ−ＢＵＳ（Ｉｎｔｅ
ｒＩＣＢＵＳ：Ｐｈｉｌｉｐｓ社提唱）５で接続さ
れ、日付や時刻の情報を得ることができる。また、アラ
ーム信号６を割り込み入力端子に入力することにより、
あらかじめ設定された時刻で割り込みが入るようにする
ことができる。このＲＴＣは、３２．７６８ＫＨｚの動
作クロック４９で動作する。そして、動作クロック出力
をＰＨＳモジュール４８に供給する。

【００３３】Ｓｕｂ−ＣＰＵ１は各種のスイッチや
キーボードの入力を検出することができる。７はモード
切替えスイッチであり、ＯＦＦ（電話遮断）、電話、再
生、カメラの４つのモードを識別する。そのために、４
本のスイッチ入力端子８を使用する。

【００３４】９はシャッタスイッチであり、半押し状態
と全押し状態とを識別できる２段階スイッチである。そ
のために、２本のスイッチ入力端子１０を使用する。１
１はジョグダイヤルであり、画面に表示された複数の項
目の中から１つの項目を選択するような場合に、ダイヤ
ルを回してカーソルを目的の項目上に移動させ、ダイヤ
ルを押し込むことにより決定すると言うような使い方が
できる。

【００３５】また、このジョグダイヤル１１は左右に傾
けることもでき、例えば、左に倒せば前の画面に戻り、
右に倒せば次の画面に進むといったような使い方ができ
る。そのために、ダイヤルの回転方向判別に２本、ダイ
ヤルの押し込み判別に１本、ダイヤルの左右の傾き判別
に２本の、合計５本のスイッチ入力端子１２を使用す
る。

【００３６】１３は電話のテンキー等に使用される。キ
ーマトリクス方式のスイッチである。このキーマトリク
ス１３は８ｘ２の構成であり、８本の出力端子１４と２
本の入力端子１５でスキャンされる。

【００３７】以上説明した、各種スイッチの入力端子が
変化した時に割り込みが入る特別なボードを使用してい
る。そのために、Ｓｕｂ−ＣＰＵ１が実行するべきＪＯ
Ｂがなくスタンバイ状態になっている時に、各種スイッ
チの入力が変化することにより自動的にスタンバイ状態
からＦｕｌｌ−Ｏｎ状態になり、スイッチ入力変化に伴
なって行うべき処理を実行することができる。

【００３８】Ｓｕｂ−ＣＰＵ１は電池２２とＲｘＤ
２６によるシリアル通信で接続され、電池エネルギーの
残量や、充電時の電池の情報（電圧、温度等）を受け取
り、その情報に応じた処理を行う。また、電池２２から
ＤＣ−ＤＣコンバータ２４を経由して各部に電力が供給
ている。

【００３９】Ｓｕｂ−ＣＰＵ１はこのＤＣ−ＤＣコンバ
ータ２４の出力のＯＮ／ＯＦＦを出力端子２５で制御し
パワーマネージメントを行う。また、電池２２の取り出
し口の蓋のノブに連動した、着脱検出スイッチ２７を入
力し、電池２２が抜かれそうになるとパワーオフ処理を
行い、メモリのデータ等が破壊されないようにする。さ
らに、Ｓｕｂ−ＣＰＵ１は電池２２の出力電圧をＡ／Ｄ
コンバータ入力端子２８に入力し電池電圧を監視して、
過充電や過放電のような異常を検出した場合は、保護処
理を行う。

【００４０】［ＣＰＵ部］本ＣＰＵチップではシリアル
ポートは３つ存在している。以下順に説明する。３８は
シリアルライン０である。カメラ部との通信に使用す
る。本ラインを使用したカメラ部に対して、ＣＰＵチッ
プは露光条件の指示、ストロボの指示、撮影モードの指
定、撮影タイミング指示等を信号線１９により通信す
る。

【００４１】３７はシリアルライン１である。本インタ
ーフェースを使用し、ＩｒＤＡ通信をホストコンピュー
タと行うための使用する。本実施の形態では３５ＩｒＤ
ＡＭｏｄｕｌｅによりシリアルデータをＩｒＤＡに変復
調し、３６ドライバ／レシーバによって赤外線通信を行
う。

【００４２】３４はシリアルラン２であり、信号線１８
により無線通信部とのデータ通信に使用する。本実施の
形態においては、上記通信部に対してのコマンドはＳｕ
ｂＣＰＵ１、シリアル通信線１５を通じて伝送し、通
信データそのものは本シリアルラインを使用する。この
ような構成をとることにより、無線伝送中にその伝送を
中断すること無く無線通信部への指示や情報収集が可能
である。例えば、電界強度情報の入手に使用できる。

【００４３】１９はＳｕｂＣＰＵ１とＭａｉｎ−Ｃ
ＰＵを接続するためのパラレルインターフェースであ
る。２９は本実施の形態において映像のキャプチャリン
グ、映像信号の補間および間引き処理、ディスプレイへ
の出力、カメラマイコンとの通信、ＳｕｂＣＰＵとの
通信、無線通信部との通信、外部ホストコンピュータと
の通信、およびＴＣＰ／ＩＰ等のインターネットにおい
て通常使用されるプロトコルを処理、メールやＷＷＷ等
のユーザアプリケーションの実行を行うＣＰＵである。

【００４４】これらの処理を行うためにＣＰＵ２９はシ
リアルポート、カメラ部インターフェース、ディスプレ
イインターフェース、メモリインターフェース、パラレ
ルインターフェース、ＧｅｎｅｒａｌＰｕｒｐｏｓｅ
ＩＯ（以下ＧＰＩＯ）、演算部、キャッシュメモリ、Ｄ
ＭＡコントローラ、インタラプトコントローラ、タイ
マ、圧縮伸張エンジンを備えている。

【００４５】インタラプトの要因としては、カメラ部イ
ンターフェース、ディスプレイインターフェース、タイ
マ、ＤＭＡコントローラ、ＧＰＩＯ、シリアルインター
フェース、パラレルインターフェース、圧縮伸張エンジ
ンであり、各々の動作を変化時等にインタラプトを起こ
すことができる。

【００４６】ＤＭＡチャネルとしては、カメラ部インタ
ーフェース、ディスプレイインターフェース、シリアル
インターフェース、圧縮伸張エンジンが割り当てられて
おり、データがそろい次第演算部の介在なしにデータ転
送を行うことができる。

【００４７】３０は、ＥＤＯＤＲＡＭであり、ＯＳや
アプリケーションソフトウェアの作業領域となる。本実
施の形態においては３．３Ｖの１６Ｍ（１Ｍ×１６）ｂ
ｉｔのＥＤＯＤＲＡＭを２個使用する。なお、本メモ
リは、ＳｅｌｆＲｅｆｒｃｓｈモードをサポートして
おり、２９ＣＰＵのメモリコントローラの制御により低
消費電力状態へ移行する。

【００４８】３１はＦｌａｓｈＲＯＭである。本実施
の形態ではＮＯＲ型のメモリを搭載しており、ハードウ
ェアインターフェースとしては通常のＳＲＡＭと同様な
形態で接続がなされている。本メモリはカメラ部で撮影
された画像の保存用や着信したメールやｔｒｐ通信によ
り得たデータ、通話時やＰＨＳ部に接続されているマイ
クからの音声データや各種パラメータの記録用に用いら
れる。本メモリをｗｒｉｔｅする方法は、ＣＰＵ２９上
で実行されるソフトウェアプログラムにより実行される
プロトコルである。

【００４９】３２は１６ＭｂｉｔＭａｓｋＲＯＭで
あり、ＯＳやアプリケーションソフトウェアのプログラ
ム自体が格納されている。ＣＰＵ２９の電源立ち上げし
た時、Ｒｅｓｃｔ解除した後には本ＲＯＭが選択され、
ブートストラップコードが実行される。

【００５０】４６、４７はＣＰＵ２９の内部で使用され
る周波数を作り出す水晶発振器である。水晶発振器４６
はシステム全体の制御とＮＴＳＣ符号化に用いられる。
水晶発振器４７はカメラ部からの入力のこれらの水晶発
振器群４６、４７は低消費電力状態２では発振を停止す
る。

【００５１】３９はカメラ部インターフェースである。
上記説明の通り、カメラ部より伝送される画像信号をＣ
ＰＵチップ２９部へ格納するために用いられる。この画
像信号はＣＣＤＲａｗデータをＩｍａｇｅＰｒｏｃ
ｅｓｓｏｒにて色空間変換や画像補間、自動露光調整や
オートホワイトパランス、オートフォーカス制御等の画
像処理した後に送られてくる４：２：２フォーマットで
ある。このため、通常のＣＣＤＲａｗデータの２倍の
サンプリング周波数が必要となる。

【００５２】４０は水平同期信号ＨＤと垂直同期信号Ｖ
Ｄである。この信号をＣＰＵ２９からカメラ部のＩｍａ
ｇｅＰｒｏｃｃｓｓｏｒやＴＧに伝えることにより、
画素データの格納のタイミングを同期して行うことがで
きる。４１はディスプレイインターフェースである。Ｃ
ＰＵ２９からのＮＴＳＣ信号を外部コネクタ４２とＬＣ
ＤＣｏｎｔｒｏｌｌｅｒ４５へ伝える。ＬＣＤＣｏ
ｎｔｒｏｌｌｅｒ４５はＮＴＳＣ信号をＣｏｌｏｒＬ
ＣＤ４３へ変換する。４４は電圧変換デバイスである。

【００５３】図１１は、ＣＡＭＥＲＡモードと呼ばれる
カメラ撮影動作の制御手順を示すフローチャートであ
る。ステップＳ３０１において、電源投入、またはＣＡ
ＭＥＲＡモードにスイッチが切り替えられると、まずス
テップＳ３０２においてストロボ発光用のコンデンサに
充電を開始する。ストロボ撮影にモードが切り替えられ
た場合に、すぐにストロボ発光ができるよう準備するた
めである。次に、ステップＳ３０３においてＣＣＤコン
トローラを含むＣＣＤモジュールを動作可能な状態（ｅ
ｎａｂｌｅ）にし、続いてステップＳ３０４において、
撮影時に被写体を確認するための電子ビューファインダ
（ＥＶＦ）の動作を開始する。

【００５４】次にステップＳ３０５以下に、カメラ部よ
り取り込んだ映像をＥＶＦへ表示するまでの連続処理を
説明する。ステップＳ３０５では、カメラレンズから取
り込んだ被写体の光情報をＣＣＤによって電気信号に変
換する処理を行う。この出力信号はノンインターレスア
ナロク信号で、処理速度を上げるために、６４０×４８
０ｄｏｔの総画素ではなく、間引き処理により、３２０
×２４０ｄｏｔの縮小サイズのデータを出力する。ステ
ップＳ３０５で取り込まれた信号は、次にイメージプロ
セッサーに送られ、ステップＳ３０６において、オート
ホワイトバランス、ＡＥ、またストロボ撮影時の補正な
どの処理、あるいはＹＣｒＣｂ（４：２：２）フォーマ
ットへの信号変換などの処理を行う。

【００５５】このＹＣｒＣｂ変換された信号はさらにス
テップＳ３０７において、ＣＣＤからの入力画像とＥＶ
Ｆへの出力画像の処理周波数の違いによるアスペクト比
のずれを補正する処理、あるいはエンディアン変換処理
などをソフトウェアによって行う。次に、ステップＳ３
０８において、ＮＴＳＣエンコータによりＮＴＳＣ信号
に変換された後、ステップＳ３０９においてＬＣＤコン
トローラへＮＴＳＣ信号を出力する。このＬＣＤコント
ローラからの出力信号を受けて、ステップＳ３１０にお
いてＥＶＦによる被写体映像の表示が行われる。

【００５６】以上、ステップＳ３０５からステップＳ３
１０までの処理を３０分の１秒のサイクルで連続的にル
ープすることにより、被写体映像がＥＶＦ上に常にモニ
タされる。さて、この映像をモニタしているループの間
で撮影者によるキー操作が検出された場合は、検出信号
によって割り込みイベントが発生し、割り込み処理Ａへ
処理が移行する。

【００５７】図１２は、カメラ撮影操作中のキー操作に
よる割り込み処理の制御手順を示すフローチャートであ
る。このキー操作が発生した段階では、内部的には２種
類のモードのどちらかの状態となっている。ひとつは通
常モードであり、図７で説明した映像のモニタ動作が電
源投入から連続的に行われているモードである。もうひ
とつは半押しモードであり、いったんシャッタが半押し
された各種カメラ設定がロックされた状態で、映像のモ
ニタ動作が行われているモードである。図では処理の開
始位置を通常モードからの処理と半押しモードからの処
理の２通りの場合で分けて説明している。

【００５８】ステップＳ３２１は、通常モードからの割
り込み処理において、どのキー操作がなされたかをチェ
ックするためのキーステータス読み込み処理である。こ
こで、ステップＳ３２２においてシャッタースイッチが
押されたことを検出した場合には、ステップＳ３２３に
おいて、オートホワイトバランス、ＡＥ、ストロボ撮影
の場合のストロボ補正など、イメージプロセッサー内の
各種カメラ設定を現在の設定値でロックし、続いてステ
ップＳ３３７において、ＣＰＵによる処理の負荷を軽減
するためにＥＶＦの動作を停止する。

【００５９】次にステップＳ３３８においては、図１０
で説明したように、映像のモニター処理では処理速度を
上げるために縮小加増の画素数の信号の取り込みしか行
わなかったが、撮影画像としてはＶＧＡ規格（６４０×
４８０ｄｏｔ）のフル画像のキャプチャー信号の取り込
みを行い、イメージプロセッサにおける所定の処理の
後、ＹＣｒＣｂ信号のデータをメモリ（ＤＲＡＭ）へ書
き込む。

【００６０】このデータは、ステップＳ３３９におい
て、ＪＰＥＧ規格に準拠した画像圧縮処理を行った後、
ステップＳ３４０において、圧縮データをフラッシュメ
モリへ画像ファイルとして書き込む。その後、ステップ
Ｓ３４１において停止していたＥＶＦの動作を再開し、
ステップＳ３４２において、撮影された画像を確認でき
るようにＥＶＦへ画素データの表示を一定時間行った
後、ステップＳ３４３において、割り込み処理を終了
し、再び図１１のループへ戻り、映像モニタ処理を再開
する。

【００６１】次に、ステップＳ３２１におけるキーステ
ータス読み込みから、ｐｌａｙｂａｃｋキーが押され
たことを検出（ステップＳ３２４）した場合には、後述
するｐｌａｙｂａｃｋ機能（Ｂ）の処理の実行へ進
む。ステップＳ３２５において、シャッター半押しスイ
ッチが押されたことを検出した場合は、ステップＳ３２
６において、まず内部の状態設定を半押しモードに設定
し、ステップＳ３２７において、ステップＳ３２３と同
様に、オートホワイトバランス、ＡＥ、ストロボ撮影の
場合のストロボ補正など、イメージプロセッサー内の各
種カメラ設定を現在の設定値でロックする。その後ステ
ップＳ３２８において、割り込み処理を終了し、図１１
のループへ戻る。

【００６２】また、キーステータスよりステップＳ３２
９において、撮影条件の変更を行うためのキーが押され
たことを検出した場合には、ステップＳ３３０におい
て、オートホワイトバランス、ＡＥ、ストロボ撮影の場
合のストロボ補正など、イメージプロセッサー内の各種
カメラ設定を条件変更に合わせた補正を行った後、ステ
ップＳ３２８のリターン処理へ進む。

【００６３】また、キーステータスよりステップＳ３３
１において、ＯＦＦキーが押されたことを検出した場合
は、まずＥＶＦの動作の終了（ステップＳ３３３）、次
にＣＣＤモジュールの動作の終了（ステップＳ３３３）
を行い、ステップＳ３３４において、その他の撮影動作
の終了処理を行った後、システムのパワーオフ処理を実
行する。

【００６４】また、ステップＳ３３１において、ＯＦＦ
キーが検出されなかった場合は、有効なキーやスイッチ
が検出されなかったということで、何も処理を行わずス
テップＳ３２８のリターン処理へ進む。

【００６５】次に、半押しモードにおける割り込み処理
の流れを説明する。ステップＳ３３５は、半押しモード
からの割り込み処理において、どのキー操作が押された
かをチェックするためのキーステータス読み込み処理で
ある。ここで、ステップＳ３３６においてシャッタース
イッチが押されたことを検出した場合には、以前の半押
しキーの検出（ステップＳ３２５）でロックされたイメ
ージプロセッサ内の各種カメラ設定（ステップＳ３２
７）を有効にしたまま、ステップＳ３３７以降の撮影処
理（前述）の実行へすすむ。

【００６６】また、キーステータスがステップＳ３４５
に示すように、半押し解除キーが押されたことを検出し
た場合には、ステップＳ３４６において、内部の状態設
定を半押しモードから解除し、ステップＳ３４３のリタ
ーン処理へ進む。ステップＳ３４５において半押し解除
キーが検出されなかった場合は、有効なキーやスイッチ
が検出されなかったということで、何も処理を行わずス
テップＳ３４３のリターン処理へ進む。

【００６７】図１３は、図１１における操作キー判断処
理（ステップＳ３２４）において、ｐｌａｙｂａｃｋ
キーが押されたことを検出した場合のｐｌａｙｂａｃ
ｋ処理（Ｂ）の制御手順を示すフローチャートである。
ｐｌａｙｂａｃｋ機能とは、カメラ撮影直後の撮影画
像に対してモードの切り替えを行うことなく、簡単なキ
ー操作によって音声等の情報の付加、電子メールによる
画素転送、画像の削除などのアクションを起こすことの
できる機能であり、以下のフローチャートに従って説明
する。

【００６８】図１３において、ステップＳ３５１では、
直前に撮影した画像があるかどうかのチェックを行う。
直前の画像というのは、シャッタボタン操作による撮影
動作後、モードの切り替えなどの他の機能の実行を行う
まで有効となっている撮影画像のことである。ここで直
前画像がない場合には、ステップＳ３６０においてリタ
ーン処理、つまり割り込み処理を終了し、再び図１１の
ループへ戻り画像モニタ処理を再開する。

【００６９】また、直前の画像がある場合には図７ステ
ップＳ３０７からステップＳ３１０の処理と同様に、ま
ず、ステップＳ３５２において、ＤＲＡＭ上に書き込ま
れている直前画像に対して処理周波数の違いによるアス
ペクト比のずれを補正する処理などのソフトウェア処理
を行い、次に、ステップＳ３５３において、ＮＴＳＣエ
ンコーダによりＮＴＳＣ信号に変換された後、ステップ
Ｓ３５４においてＬＣＤコントローラへＮＴＳＣ信号を
出力する。

【００７０】このＬＣＤコントローラからの出力信号を
受けて、ステップＳ３５５において、ＥＶＦによる直前
画像の表示が行われる。その後、ステップＳ３５６にお
いて、ユーザーによって選択されたｐｌａｙｂａｃｋ
機能の種別をチェックし、それぞれのｐｌａｙｂａｃ
ｋ処理へ分岐する。つまり、音声付加機能が選択された
場合は、ステップＳ３５７において、音声付加処理が実
行され、電子メールによる画像転送機能が選択された場
合には、ステップＳ３５８において、メール転送処理が
実行され、さらに、撮影画像の削除機能が選択された場
合には、ステップＳ３５９において、画像の削除処理が
実行される。

【００７１】図１４は、ＶＩＥＷモードと呼ばれる撮影
された画像を再生（表示）する場合の制御手順を示すフ
ローチャートである。ステップＳ３７１において、電源
投入、またはＶＩＥＷモードにスイッチが切替えられる
と、まずステップＳ３７２において、撮影時に被写体を
確認するための電子ビューファインダ（ＥＶＦ）の動作
を開始する。

【００７２】次にステップＳ３７３において、図１２の
撮影動作ステップＳ３４０で書き込まれた圧縮画像デー
タファイルをフラッシュメモリから読み出し、ステップ
Ｓ３７４において、画像の解凍処理、つまりＪＰＥＧ規
格に準拠した圧縮データを元データ（ＹＣｒＣｂ）へ変
換する処理を実行した後、ステップＳ３７５において、
解凍された元データをメモリ（ＤＲＡＭ）へ書き込む。

【００７３】以降、図１１のステップＳ３０７からステ
ップＳ３１０の処理と同様に、まず、ステップＳ３７６
において、ＤＲＡＭ上に書き込まれている画像データに
対して処理周波数の違いによるアスペクト比のずれを補
正する処理などのソフトウエア処理を行い、次に、ステ
ップＳ３７７において、ＮＴＳＣエンコーダによりＮＴ
ＳＣ信号に変換された後、ステップＳ３７８においてＬ
ＣＤコントローラへＮＴＳＣ信号を出力する。このＬＣ
Ｄコントローラからの出力信号を受けて、ステップＳ３
７９において、指定された選択画像の表示がＥＶＦ上に
行われる。

【００７４】以下、図１５〜図１７を用いて電子メール
の送受信を行うためのソフトウエアの流れをフローチャ
ートを用いて説明する。図１５のフローチャートを用い
て、電話回線を使用したＰＰＰ（ＰｏｉｎｔｔｏＰｏ
ｉｎｔＰｒｏｔｏｃｏｌ）のＴＣＰ／ＩＰのリンク確
立の手順を示す。Ｓ１０１において、ＡＴコマンドによ
って電話回線接続開始する。Ｓ１０２において、回線接
続が確立したか判断し、接続したならばＳ１０３に進
む。

【００７５】Ｓ１０３において、ＰＰＰによるＴＣＰ／
ＩＰの接続を開始する。Ｓ１０４において、ＬＳＣ（Ｌ
ｉｎｋＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）により、
データリンク層のリンク確立を行う。Ｓ１０５におい
て、ユーザ認証が必要かどうかを判断し、必要ならばＳ
１０６に進む。必要でないならばＳ１０７に進む。Ｓ１
０６において、ユーザ認証ブロトコルを行う。Ｓ１０７
において、ＮＣＰ（ＮｃｔｗｏｒｋＣｏｎｔｒｏｌ
Ｐｒｏｔｏｃｏｌ）による設定の確認を行う。Ｓ１０８
において、ＰＰＰ接続確立する。Ｓ１０９において、Ｔ
ＣＰ接続確立する。

【００７６】次に図１６のフローチャートを用いて、Ｓ
ＭＴＰ（ＳｉｍｐｌｅＭａｌｌＴｒａｎｓｆｃｒＰ
ｒｏｔｏｃｏｌ）による電子メールの送信手順を示す。
Ｓ２０１において、ＳＭＴＰクライアントは、ＳＭＴＰ
サーバに対して電子メール送出のための接続要求を行
う。Ｓ２０２において、サーバが接続されると、サーバ
は、接続ＯＫである応答コード２２０を返す。Ｓ２０３
において、クライアントは、ＨＥＬＯコマンドで自分の
ドメイン名をサーバに伝える。

【００７７】Ｓ２０４において、サーバは、クライアン
トのドメイン名が認識できた場合には、正常の応答コー
ド２５０とサーバのドメイン名を返す。Ｓ２０５におい
て、クライアントは、ＭＡＩＬコマンドで、Ｆｒｏｍ情
報の通知し、送信元のユーザ名を指定する。これによっ
て、クライアントは、メールの送信開始の宣言を行う。
Ｓ２０６において、サーバは、このメールの受信準備が
できていて、送り元のアドレスに間違いなければＯＫの
応答を返す。Ｓ２０７において、クライアントは、ＲＣ
ＰＴコマンドにより、メールの宛先を指定する。複数人
なら複数の指定を行う。

【００７８】Ｓ２０８において、サーバは、指定された
メールの宛先が自分で扱えるかどうかを判断し、扱える
場合はＯＫの返事を返す。扱えない場合は、別のＳＭＴ
Ｐサーバに転送するよう応答する。Ｓ２０９において、
クライアントは、ＤＡＴＡコマンドによって、メール本
体を送る宣言をする。

【００７９】Ｓ２１０において、サーバは、受信準備が
できている場合には、応答コード３５４（メールの送信
許可コード）を返す。Ｓ２１１において、クライアント
は、本文を送出する。Ｓ２１２において、クライアント
は、＜ＣＲ＞＜ＬＦ＞＜ＣＲ＞＜ＬＦ＞というコードを
送り、本文終了を宣言する。

【００８０】Ｓ２１３において、サーバは、応答コード
２５０を返し、リクエストが正常に終了したことを示
す。Ｓ２１４において、クライアントは、ＱＵＩＴコマ
ンドによって、ＳＭＴＰ通信の終了を宣言する。Ｓ２１
５において、サーバは、終了の応答コード２２１を返
し、ＴＣＰ接続が切断される。

【００８１】図１７のフローチャートを用いて、ＰＯＰ
３（ＰｏｓｔＯｆｆｉｃｅＰｒｏｔｏｃｏｌＶｅ
ｒｓｉｏｎ３）による電子メールの受信手順を示す。Ｓ
３０１において、ＰＯＰクライアントは、ＰＯＰサーバ
に対し電子メール受信のための接続要求を行う。Ｓ３０
２において、サーバは、ＯＫとサーバ名のメッセージを
返す。Ｓ３０３において、クライアントは、ＵＳＥＲと
ＰＡＳＳコマンドを送信し、ユーザ認証のためのユーザ
名とパスワードをサーバに知らせる。

【００８２】Ｓ３０４において、サーバは、ユーザが認
識されれば、ＯＫのメッセージを返す。Ｓ３０５におい
て、クライアントは、必要に応じて、ＳＴＡＴコマンド
（メール数等のメールボックスの受信状態）、ＬＩＳＴ
コマンド（メールボックスにあるメールのリスト）を送
信し、メールボックスの情報を要求する。Ｓ３０６にお
いて、クライアントは、ＲＥＴＲコマンドを送信し、必
要なメールを要求する。Ｓ３０７において、サーバは、
Ｓ３０６において要求されたメールをクライアントに送
出する。

【００８３】Ｓ３０８において、クライアントは、必要
に応じて、Ｓ３０５に戻る。Ｓ３０９において、クライ
アントは、ＱＵＩＴコマンドを発行し、サーバにメール
ボックスの更新処理を実行させ、ＰＯＰ３の通信を終了
する。Ｓ３１０において、サーバは、ＯＫのメッセージ
を返す。

【００８４】図１は本実施の形態を概念的に示すブロッ
ク図である。図１において、５０１は画像入力部であ
る。図９、図１０におけるカメラ部全体を表す。５０２
は入力部で、図１０のキー１３やジョグダイヤルであ
り、使用者が送信準備を完了したことの指示や各種操作
に使用する。５０３は表示部で、ＬＣＤ部全体を表す。

【００８５】５０４は図１０のＰＨＳｕｎｉｔ４８の
ＰＨＳＭｏｄｕｌｅＳｏｕｎｄｅｒに相当する通信
部である。通信確立直後に送信準備が整っていない場
合、画像は予め記録してある画像を送出するが、音声に
関してはそのまま通信を行うので、相手の様子を察知す
ることが可能となる。５０５は図１０のＰＨＳｕｎｉ
ｔ４８のマイク／スピーカである。音声の入力／出力を
行う。

【００８６】５０６はＣＰＵ２９に含まれるタイマであ
る。通信の接続開始時刻、切断時刻を管理する。５０７
はＣＰＵ２９で実行されるソフトウェアによって実現さ
れる画像スイッチ制御部である。通信部５０４、タイマ
５０６、入力部５０２等から得られる情報を使用して画
像入力部５０１で現在撮影している画像を送信するか、
予めメモリ５０９に記録してある画像を送るかを判断す
る。

【００８７】５０８はＣＰＵ２９で実行されるソフトウ
ェアによって実現される画像スイッチ２０９である。本
実施の形態では、画像の表示もしくは送信をカメラ部と
各周辺送信側とのＤＭＡ動作によって実現しているの
で、画像の入力元を画像入力部５０１にするか、メモリ
５０９にするかＤＭＡコントローラの設定を変更するこ
とによって動作させることが可能である。

【００８８】５０９はメモリであり、撮影準備が完了し
ていないときの画像を画像入力部５０１からの画像や他
のコンピュータから受信したデータ、文字やグラフィッ
ク画像の電子的合成結果を用いて、予めこのメモリ５０
９へ記録しておく。この画像は静止画であっても良い。
静止画の場合の例を図２に示す。なお、予め記録してあ
った画像が動画であった場合、送信準備ができるまでの
間は繰り返し同じデータを送信する。

【００８９】図３は画像スイッチ制御部５０７のソフト
ウェアのアルゴリズムを示すフローチャートである。Ｓ
１１７１０はスタートである。Ｓ１１７１１で送信準備
に要する時間を設定する。これは使用者が入力部５０２
等を使用して予め設定した値や工場出荷時の設定値を使
用する。この値は固定値であってもいくつか選べる可変
値であってもよい。

【００９０】Ｓ１１７１２で画像スイッチ５０８をメモ
リ５０９側に設定しておく。この操作により、通信が確
立した直後は予め画像を記録してあるメモリ５０９から
通信部５０４と表示部５０３へデータが送られる。通信
部５０４へのデータは通信相手に送信するためであり、
表示部５０３へ送るのは現在送出中のデータを使用者が
確認するためである。通常、表示部５０３で表示されて
いる画像は、通信先からの相手画像と現在撮影している
画像であるので、この時は３つの画像が映し出されるこ
とになる。この様子を図４に例示する。この制御によ
り、通信確立直後の撮影準備が整っていない画像を送信
することを防ぐことができる。

【００９１】Ｓ１１７１３では、通信が確立したかどう
かを判断する。もし何らかの理由で通信が確立しなけれ
ば、この制御は終了である。Ｓ１１７１４では通信が確
立したので、タイマ５０６をスタートさせる。このタイ
マ５０６は通信時間を判別するためのものである。な
お、音声は通信の確立と同時に実時間のデータ交換を行
う。すなわち、相手と直ぐに会話することが可能であ
る。その理由は、音声は通信の際の準備に要する時間が
短いためである。

【００９２】Ｓ１１７１５において、前項でスタートし
たタイマ５０６がＳ１１７１１で設定した送信準備時間
を過ぎたかどうか判定する。もし過ぎていなければ、Ｓ
１１７１６で通信が終了したかどうかを判定し、終了し
ていなければ、再びＳ１１７１５で送信準備時間を超す
までループする。

【００９３】送信準備時間を過ぎた場合、送信の準備が
できたということであるので、Ｓ１１７１６で画像スイ
ッチ５０８を画像入力部５０１へ変更し、実時間で撮影
している動画が通信されることになる。この時、Ｓ１１
７１２で説明した現在送出中の画像と現在撮影している
画像とは同一になるので、どちらかの画像の表示を中止
すれば良い。すなわち、表示画像は２つになる。

【００９４】なお、画像スイッチ５０８を変更したとき
に、ベル音等使用者への注意音を発生させれば、使用者
にとっては送出画像が変わったことが気づきやすくなる
ので、正常に通信が開始するまで別の作業を行うことが
可能となり、より便利である。Ｓ１１７１８では通信が
終了したかどうか判定する。すなわち、通信が終了する
までカメラ部で撮影している実時間の映像を送信し続け
る。Ｓ１１７１９は終了である。

【００９５】次に図２において、予め記憶させておく画
像の例を静止画を用いて説明する。Ａは予めカメラ部を
使用して撮影したコーヒーカップである。どのような画
像でも使用者の好むように記憶させておけばよい。Ｂは
使用者が前もって入力させておいた文字情報である。こ
こでは、しばらく画像を送出できない、という説明のた
めに「しばらくお待ち下さい」とある。Ｃは画像Ａと文
字情報Ｂとを合成した結果の送出元画像である。この合
成は予め行ってメモリ５０９に記憶させておいても良い
し、送出時に合成して送出してもよい。

【００９６】また、画像Ａと合成する付加情報は文字情
報に限らず、グラフィック情報や別のイメージ情報であ
っても構わない。なお、この予め記憶させておく送出元
画像Ｃにこの装置の使用者の画像と名前を記憶させてお
けば、通信の冒頭時に通信先に表示されるので、誤り通
信の防止につながる。

【００９７】図４は本実施の形態における表示部５０３
の表示画像の典型的を示したものである。Ｄは通信確立
直後の画面を示しており、相手画像、現在の日時や通信
状態表示、現在撮影している画像、そして送出中の画像
がある。この時はまだ使用者の画像の送出準備が整なわ
ないため、予め記憶してあるコンピュータカップの画像
が送られるわけである。従って、表示している画面は３
つとなる。Ｅは通信確立後しばらくたった後の画面を示
している。使用者の画像の送出準備が整っているため
に、撮影している画像をそのまま送出している。従っ
て、表示している画面は２つである。

【００９８】次に第２の実施の形態を説明する。本実施
の形態は、構成は図１の実施の形態と同様であるが、全
体の制御方法が第１の実施の形態と異なる。すなわち、
予めメモリ５０９へ記憶してある画像と現在撮影してい
る画像の切り替えタイミングとして通信時間を用いるの
ではなく、使用者による入力部５０２からの情報を用い
るものである。

【００９９】尚、使用者からの入力情報として、音声発
声、カメラ部の操作など、通信確立直後に自然に行われ
る動作を選べば、余計な動作をすることなく、ごく自然
な動作で上記切り替えを行うことができるので便利であ
る。

【０１００】図１８は画像スイッチ制御部５０７のソフ
トウェアのアルゴリズムを示すフローチャートである。
Ｓ１２０１０はスタートである。Ｓ１２０１１で画像ス
イッチ５０８の制御に用いる使用者の入力部５０２を選
択する。キーボード入力、音声入力、カメラ部の操作
（ピントの調整、自動露出の調整他）など、使用者の好
みの方法を選択すれば良い。

【０１０１】Ｓ１２０１２で画像スイッチ５０８をメモ
リ５０９側に設定しておく。この操作により、通信が確
立した直後は予め画像を記録してあるメモリ５０９から
通信部と表示部へデータが送られる。Ｓ１２０１３で
は、通信が確立したかどうか判断する。もし何らかの理
由で通信が確立しなければ、この制御は終了である。

【０１０２】Ｓ１２０１４において、Ｓ１２０１１で選
択した画像スイッチ５０８の切り替え信号に用いる使用
者の入力がなされたかどうかを判断する。まだその入力
がなされていなければ、Ｓ１２０１５で通信が終了した
かどうかを判定し、終了していなければ、Ｓ１２０１４
で使用者が入力情報を検査する。

【０１０３】使用者から該当する入力があった場合は、
送信の準備ができたということであるので、Ｓ１２０１
６で画像スイッチ５０８を画像入力部５０１側へ変更
し、実時間で撮影している動画が通信されることにな
る。Ｓ１２０１７では通信が終了したかどうかを判定す
る。すなわち、この通信が終了するまでカメラ部で撮影
している実時間の映像を送信し続ける。Ｓ１２０１９は
終了である。

【０１０４】次に第３の実施の形態を説明する。図１９
は本実施の形態を概念的に示すブロック図であり、図１
と対応する部分には同一番号を付して重複する説明を省
略する。

【０１０５】本実施の形態は、画像に加えて、音声も予
めメモリへ記憶させておき、通信確立直後はメモリから
の音声を再生し、通信状態によって実時間の音声送出に
切り替えることを特徴とするものである。画像と音声の
切り替えは同時である必要はない。一般的には音声の方
が先に送出準備ができるので、音声を先に切り替え、次
に画像を切り替えることになる。

【０１０６】５１２はＣＰＵ２９で実行されるソフトウ
ェアによって実現される音声スイッチである。本実施の
形態では、音声の再生もしくは送信をマイク５１３と各
周辺装置とのＤＭＡ動作によって実現しているので、音
声の入力元をマイク５１３にするか、メモリ５１４にす
るかＤＭＡコントローラの設定を変更することによって
動作させることが可能である。

【０１０７】５１３はマイクである。マイク単体の他に
Ａ／Ｄ変換装置やＤＭＡ送出の機能がある。５１４はメ
モリである。送出準備が完了していない時の音声をマイ
ク５１３からの音声や音楽、他のコンピュータから受信
したデータ、文字からの音声合成結果を用い、予めこの
メモリ５１４へ記録しておく。

【０１０８】図２０は画像スイッチ５０８と音声スイッ
チ５１２のスイッチ制御部５１１のソフトウェアのアル
ゴリズムを示すフローチャートである。Ｓ１２１０はス
タートである。Ｓ１２１１にて音声スイッチ５１２をメ
モリ５１４側へ設定する。この操作により、通信が確立
した直後は予め音声を記録してあるメモリ５１４から通
信部５０４へデータが送られる。

【０１０９】Ｓ１２１２で画像スイッチ５０８をメモリ
５０９側に設定しておく。この操作により、通信が確立
した直後は予め画像を記録してあるメモリ５０９から通
信部と表示部へデータが送られる。Ｓ１２１３では、通
信が確立したかどうかを判断する。もし何らかの理由で
通信が確立しなければ、この制御は終了である。

【０１１０】Ｓ１２１４では通信が確立したので、メモ
リ５１４に記録してある音声を再生する。例えば「吉田
です。画像通信の準備が出来るまで音声通信のみとなり
ます。」といった制御方法特有の注釈メッセージであ
る。その後、音声スイッチ５１２をマイク５１３側へ変
更し、リアルタイム音声の通信を開始する。

【０１１１】Ｓ１２１５において、画像スイッチ５０８
の切り替え信号に用いる使用者の入力部５０２による入
力がなされたかどうか判断する。まだその入力がなされ
ていなければ、Ｓ１２１６で通信が終了したかどうか判
定し、終了していなければ、Ｓ１２１５で使用者の入力
情報を検査する。

【０１１２】使用者から該当する入力があった場合、送
信の準備ができたということであるので、Ｓ１２１７で
画像スイッチ５０８を画像入力部５０１へ変更し、実時
間で撮影している動画が通信されることになる。Ｓ１２
１８では通信が終了したかどうか判定する。すなわち、
この通信が終了するまでカメラ部で撮影している実時間
の映像を送信し続ける。Ｓ１２１９は終了である。

【０１１３】なお、本実施の形態では、音声スイッチ５
１２を先にメモリ５１４からマイク５１３へ切り替え、
その後使用者からの入力により画像スイッチ５０８をメ
モリ５０９からカメラへ切り替えたが、切り替えタイミ
ングは同時であっても、また独立していてもよい。

【０１１４】次に第４の実施の形態を説明する。図２１
は本実施の形態を概念的に示すブロック図であり、図
１、図１９と対応する部分には同一番号が付されてい
る。本実施の形態は、画像の送出レートを機器の移動情
報に応じてダイナミックに変動させるものである。すな
わち、携帯型のＴＶ会議装置の場合、移動中では安定し
た画面を撮影できる確立は低いので、移動中の場合は、
撮影のフレームレートを低くし、受信者にとって見やす
い画像を通信する。

【０１１５】図２１において、５１５はＣＰＵ２９で実
行されるソフトウェアによって実現されるフレームレー
ト制御部である。通信部５０４での親機の捕捉情報、入
力画像を画像処理して得られる移動情報、加速度検出部
５１７から得られる信号を使用し、送信するフレームレ
ートを決定し、画像入力部５０１を制御する。

【０１１６】５１６はＣＰＵ２９で実行されるソフトウ
ェアによって実現される画像差分量検出部である。本実
施の形態では、現在撮像した１つ前のフレームのエッジ
抽出した画面を記憶させておき、現在撮影したエッジ画
面との差分を見ることによって、使用者が移動している
かどうかを判断する。５１７は加速度検出部であり、ジ
ャイロを用いて機器の移動加速度を７フレームレート制
御部５１５へ伝える。

【０１１７】図２２はフレームレート制御部５１１のソ
フトウェアのアルゴリズムを示すフローチャートであ
る。Ｓ１２２０はスタートである。Ｓ１２２１で現在捕
捉している基地局のＩＤを記憶する。もし複数捕捉して
いる場合は、複数の基地局の中間地点にいるということ
なので、複数記憶しておく。

【０１１８】Ｓ１２２２にてフレームレート制御部５１
５はカメラ部に対してフレームレートを１フレーム／秒
にするように指示する。この程度の速度であれば、例え
使用者が移動体に乗車していたとしても、画面の振れか
たが遅いので、受信者が見にくくなることは無い。Ｓ１
２２３では、通信が確立したかどうか判断する。もし何
らかの理由で通信が確立しなければ、この制御は終了で
ある。

【０１１９】Ｓ１２２４では基地局が変動しないかどう
か現在捕捉している基地局のＩＤと以前捕捉していた基
地局のＩＤを比べて判断する。特にＰＨＳに代表される
ようなコードレスフォンシステムはセルサイズが小さい
ので、移動の判定が容易である。もし、ＩＤが変更して
いた場合は、使用者が移動しているということなので、
Ｓ１２２５において、カメラ部に対してフレームレート
を１フレーム／秒に落とすように指示する。また、ＩＤ
に変更が無かった場合は、使用者が移動していないとい
うことなので、Ｓ１２２６においてフレームレートを１
０フレーム／秒に上げる。

【０１２０】Ｓ１２２７では、一定時間の間、Ｓ１２２
５もしくはＳ１２２６において決定したフレームレート
で通信を行う。これはフレームレートの変動が激しいと
また使用者にとって使いづらいからである。Ｓ１２２８
では通信が終了したかどうか判定する。もし終了してい
なければ、Ｓ１２２４にて再び捕捉基地局に変更が無い
かどうか判定する。Ｓ１２２９は終了である。

【０１２１】なお、図２２に示したフレームレート制御
手順では、使用者の移動の判定材料として無線通信部の
基地局の捕捉情報を用いたが、加速度検出部５１７や画
像差分量検出部５１６から得られる情報を用いて移動を
判定してもよい。この場合、図２２のＳ１２２４で各々
の移動判定を行うことになる。

【０１２２】また本実施の形態では、低いフレームレー
トとして１フレーム／秒、高いフレームレートとして１
０フレーム／秒を用いたが、機器の性能や通信装置の性
能によって別の値を選んでも良い。さらに、本実施の形
態ではフレームレートを低下させるために画像入力部を
制御することによって行っているが、同様に画像入力部
は通常通りに撮影し、通信部の制御によりフレームレー
トを下げてもよい。

【０１２３】ここで、上述した第１〜第４の実施の形態
を概略的に説明する。第１の実施の形態は、通信時間に
よって予め記憶させておいた画像と現在撮影している画
像とを切り替えるものである。例えば通信確立直後は、
予め記憶させてある静止画を送信し、送信側の準備が整
い次第、現在撮影している画像の送信を始めるものであ
る。

【０１２４】このような制御を行えば、通信確立直後の
不本意な撮影画像を送ることなく、コミュニケーション
が可能となる。また、このような制御は発呼側だけでな
く、受信側も同様に行なえば不意の受信によって不用意
な画像の送信を避けることが可能となる。

【０１２５】また、この通信確立直後に送る画像に、送
話者／受話者の名前や写真を登録した画像を使えば、誤
通信を行った場合でも、すぐに気付くことが可能とな
る。このためには、予め記憶してある画像に文字情報等
の付加情報を合成して送れば良い。また、表示装置に相
手画像、自画像に加えて、現在送出中の画像を表示する
ことによって、現在がどのような制御状態になっている
かを使用者に的確に伝えることが可能である。

【０１２６】第２の実施の形態は、使用者からの入力部
による情報を利用して、予め記憶させておいた画像と現
在撮影している画像を切り替えるものである。すなわ
ち、音声発声、あるいはキーボードやポインティングデ
バイスの入力、カメラ部の操作等の入力情報を用いる。

【０１２７】通常通信が確立するまでは、使用者はその
呼の状態に関心をもっており、他の操作は行っていない
ものである。例えば音声では、通信が確立した時、通常
使用者は「もしもし」等の音声により会話を開始するの
で、音声を検知するまでは予め記録されている静止画や
動画を送信し、検知された時点で現在撮影されている画
像に切り替えれば良い。

【０１２８】また、入力部からの各部操作情報（特定の
キー操作やカメラ部の操作）からも、同様に通信が確立
し、撮影準備が整ったということを検出可能である。従
って、この動作も切り替えのタイミングとすればよい。

【０１２９】これらの制御を行うことにより、使用者に
とって自然な操作感が得られることになる。

【０１３０】第３の実施の形態は、画像に加えて、音声
も予めメモリへ記憶させておき、通信確立直後はメモリ
からの音声を再生し、通信状態によって実時間の音声送
出に切り替えることを特徴とする。画像と音声の切り替
えは同時である必要はない。一般的には音声の方が先に
送出準備が出来るので、音声を先に切り替え、次に画像
を切り替えることになる。

【０１３１】この制御を行うことにより、通信確立直後
の予めメモリに記録させておいた画像の再生の際に、そ
の注釈を自動的に送出することが可能となる。

【０１３２】第４の実施の形態は、機器が移動状態にあ
るかないかを判定し、その情報を元に送信画像のフレー
ムレートを変動させる。すなわち、移動状態であるとい
うことは画像の揺れが多く、受信者にとって見にくい画
面になっている可能性が高いので、フレームレートを下
げ、静止状態である時に動画モードへ移行する。

【０１３３】この機器が移動しているかどうかの判断の
ためにはいくつかの方法が考えられる。例えば、無線基
地局の捕捉情報を用いるものである。ＰＨＳ等の小出力
コードレスフォンの場合、１つの親機が捕捉できるセル
サイズは狭く、これにより位置の特定と使用者の移動検
出が可能となる。これを利用し、移動中の場合はフレー
ムレートを下げ、停止中の場合は現在撮影中の画像を伝
送するようにすれば受信者にとって見やすい画像通信が
可能となる。

【０１３４】また、カメラ部の物理的移動加速度を検出
し、この値に応じて、フレームレートを変動させても良
い。さらに、カメラ部からの入力画像をフレームごとに
記録し、前フレームのエッジ抽出画面と最新画像のエッ
ジ抽出画面の差分を計算し、その差が一定以下の場合に
は動画を送信し、一定以上の場合はフレームレートを下
げてもよい。

【０１３５】以上の制御を行えば、移動体である場合が
多い携帯機器であっても常に見やすい画像による通信が
可能となる。

【０１３６】次に、本発明による記憶媒体について説明
する。本発明の各実施の形態によるシステムは、ハード
的に構成してもよく、また、ＣＰＵやメモリ等からなる
マイクロコンピュータシステムに構成してもよい。コン
ピュータシステムに構成する場合、上記メモリは本発明
による記憶媒体を構成する。この記憶媒体には、各図の
フローチャートについて前述した動作を制御するための
処理手順を実行するためのプログラムが記録される。

【０１３７】また、この記録媒体としてはＲＯＭ、ＲＡ
Ｍ等の半導体メモリ、光ディスク、光磁気ディスク、磁
気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッ
ピィディスク、磁気媒体、磁気カード、不揮発性メモリ
カード等に構成して用いてよい。

【０１３８】従って、この記憶媒体を各実施の形態に示
したシステム以外の他のシステムあるいは装置で用い、
そのシステムあるいはコンピュータがこの記憶媒体に格
納されたプログラムコードを読み出し、実行することに
よっても、前述した各実施の形態と同等の機能を実現で
きると共に、同等の効果を得ることができ、本発明の目
的を達成することができる。

【０１３９】また、コンピュータ上で稼働しているＯＳ
等が処理の一部又は全部を行う場合、あるいは、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た拡張機能ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づいて、上記拡張機能
ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一
部又は全部を行う場合にも、各実施の形態と同等の機能
を実現できると共に、同等の効果を得ることができ、本
発明の目的を達成することができる。

【０１４０】

【発明の効果】以上説明したように、本発明によれば、
携帯型のＴＶ会議装置の持つ小型で画面が安定しにくい
という物理的な欠点を解消することができる。このた
め、即時性の高い通信と即時性の高い撮影動作かつ安定
した見やすい受信画像という難しい要求を満足すること
が可能となり、小型で使用者にとって使いやすい移動Ｔ
Ｖ会議装置を構成することが可能となる。

【０１４１】また、本発明を画像伝送装置およびＣＰ
Ｕ、メモリ等の制御によって実現することにより、簡便
であり、通常構成の携帯型ＴＶ会議装置においてソフト
ウェアで実現が可能である。従って、携帯型ＴＶ会議装
置の小型化、低消費電力化、低コスト化を阻害するもの
ではなく、今後とも将来にわたって有意義な発明である
と言える。

【図面の簡単な説明】

【図１】本発明の第１、第２の実施の形態を概念的に示
すブロック図である。

【図２】本発明の第１の実施の形態における、予め記憶
させておく画像の例を示す構成図である。

【図３】本発明の第１の実施の形態における、画像スイ
ッチ制御手順を示すフローチャートである。

【図４】本発明の第１の実施の形態における、表示例を
示す構成図である。

【図５】本発明の第１の実施の形態の各モードにおける
機能を説明する構成図である。

【図６】本発明の第１の実施の形態の装置外観図であ
る。

【図７】本発明の第１の実施の形態の装置外観図であ
る。

【図８】本発明の第１の実施の形態のＭＯＤＥＤＩＡ
Ｌの正面図である。

【図９】本発明の第１の実施の形態のカメラ部のブロッ
ク図である。

【図１０】本発明の第１の実施の形態のカメラ部とそれ
以外のブロック図である。

【図１１】本発明の第１の実施の形態のカメラ撮影動作
の制御手順を示すフローチャートである。

【図１２】本発明の第１の実施の形態のカメラ撮影動作
中のキー操作による割り込み処理の制御手順を示すフロ
ーチャートである。

【図１３】本発明の第１の実施の形態の操作キー判断処
理において、ｐｌａｙｂａｃｋキーが押されたことを
検出した場合のｐｌａｙｂａｃｋ処理（Ｂ）の制御手
順を示すフローチャートである。

【図１４】本発明の第１の実施の形態の撮影された画像
を再生（表示）する場合の制御手順を示すフローチャー
トである。

【図１５】本発明の第１の実施の形態の電話回線を使用
したＰＰＰ（ＰｏｉｎｔｔｏＰｏｉｎｔＰｒｏｔｏ
ｃｏｌ）のＴＣＰ／ＩＰのリンク確立の手順を示すフロ
ーチャートである。

【図１６】本発明の第１の実施の形態のＳＭＴＰ（Ｓｉ
ｍｐｌｅＭａｉｌＴｒａｎｓｆｅｒＰｒｏｔｏｃ
ｏｌ）による電子メールの送信手順を示すフローチャー
トである。

【図１７】本発明の第１の実施の形態のＰＯＰ３（Ｐｏ
ｓｔｏｆｆｉｃｃＰｒｏｔｏｃｏｌＶｃｒｓｉｏ
ｎ３）による電子メールの受信手順を示すフローチャー
トである。

【図１８】本発明の第２の実施の形態における、画像ス
イッチ制御手順を示すフローチャートである。

【図１９】本発明の第３の実施の形態を概念的に示すブ
ロック図である。

【図２０】本発明の第３の実施の形態における、画像ス
イッチと音声スイッチの制御手順を示すフローチャート
である。

【図２１】本発明の第４の実施の形態を概念的に示すブ
ロック図である。

【図２２】本発明の第４の実施の形態における、フレー
ムレート制御手順を示すフローチャートである。

【符号の説明】

５０１画像入力部５０２使用者の入力部５０３表示部５０４通信部５０５マイク／スピーカ５０６タイマ５０７画像スイッチ制御部５０８画像スイッチ５０９メモリ５１０スピーカ５１１スイッチ制御部５１２音声スイッチ５１３マイク５１４メモリ５１５フレームレート制御部５１６画像差分量検出部５１７加速度検出部

Claims

【特許請求の範囲】

【請求項１】画像信号を入力する画像入力手段と、予め画像信号が記憶される画像記憶手段と、上記画像入力手段からの画像信号と上記画像記憶手段か
らの画像信号とを切り替える画像切り替え手段と、上記画像切り替え手段を切り替え情報に応じて制御する
制御手段と、上記画像切り替え手段により切り替えられた画像信号を
送信する通信手段とを設けたことを特徴とする画像通信
装置。
【請求項２】上記制御手段は、上記通信手段の通信相
手との通信時間に応じて得られる上記切り替え情報によ
り上記画像切り替え手段を制御することを特徴とする請
求項１記載の画像通信装置。
【請求項３】上記制御手段は、使用者から入力される
上記切り替え情報に応じて上記画像切り替え手段を制御
することを特徴とする請求項１記載の画像通信装置。
【請求項４】上記通信手段は、上記画像記憶手段から
の画像信号を送信する際、付加情報を合成して送信する
ことを特徴とする請求項１記載の画像通信装置。
【請求項５】上記通信手段は、通信相手からの画像信
号を受信するようになされ、上記画像記憶手段からの画
像信号を送信しているときに、この画像記憶手段からの
画像信号と上記受信した画像信号と上記画像入力手段か
らの画像信号とを同時に表示する表示手段を設けたこと
を特徴とする請求項１記載の画像通信装置。
【請求項６】音声信号を入力する音声入力手段と、予
め音声信号が記憶される音声記憶手段と、上記音声入力
手段からの音声信号と上記音声記憶手段からの音声信号
とを取り替える音声切り替え手段とを設け、上記通信手
段は、上記音声切り替え手段により切り替えられた音声
信号を送信すると共に、上記制御手段は、上記画像記憶
手段からの画像信号を送信する際に上記音声記憶手段か
らの音声信号が送信されるように上記音声切り替え手段
を制御することを特徴とする請求項１記載の画像通信装
置。
【請求項７】画像信号を入力する画像入力手段と、上記入力された画像信号を送信する通信手段と、装置の移動を検出する検出手段と、上記移動の検出に応じて上記送信される画像信号の画像
の送信レートを制御する制御手段とを設けたことを特徴
とする画像通信装置。
【請求項８】上記検出手段は、上記通信手段と通信す
る基地局の補足情報に基づいて上記移動を検出すること
を特徴とする請求項７記載の画像通信装置。
【請求項９】上記検出手段は、上記画像入力手段から
現在入力された画像と前回入力された画像との差分に応
じて上記移動を検出することを特徴とする請求項７記載
の画像通信装置。
【請求項１０】上記検出手段は、加速度検出手段を用
いることを特徴とする請求項７記載の画像通信装置。
【請求項１１】画像信号を入力する画像入力処理と、上記画像入力処理された画像信号と予め画像信号が記憶
された画像記憶手段からの画像信号とを切り替え情報に
応じて切り替える画像切り替え処理と、上記画像切り替え処理により切り替えられた画像信号を
送信する通信処理とを実行するためのプログラムを記憶
したコンピュータ読み取り可能な記憶媒体。
【請求項１２】上記通信処理の通信相手との通信時間
に応じて得られる上記切り替え情報により上記切り替え
処理を行うことを特徴とする請求項１１記載のコンピュ
ータ読み取り可能な記憶媒体。
【請求項１３】使用者から入力される上記切り替え情
報に応じて上記切り替え処理を行うことを特徴とする請
求項１１記載のコンピュータ読み取り可能な記憶媒体。
【請求項１４】上記通信処理は、上記画像記憶手段か
らの画像信号を送信する際、付加情報を合成して送信す
ることを特徴とする請求項１１記載のコンピュータ読み
取り可能な記憶媒体。
【請求項１５】上記通信処理の通信相手からの画像信
号を受信する処理と、上記画像記憶手段からの画像信号
を送信しているときに、この画像記憶手段からの画像信
号と上記受信した画像信号と上記画像入力処理で入力し
た画像信号とを同時に表示する表示処理とを上記プログ
ラムに設けたことを特徴とする請求項１１記載のコンピ
ュータ読み取り可能な記憶媒体。
【請求項１６】音声信号を入力する音声入力処理と、
上記音声入力処理で入力された音声信号と予め音声信号
が記憶された音声記憶手段からの音声信号とを切り替え
る音声切り替え処理と、上記音声切り替え処理により切
り替えられた音声信号を送信し、その際、上記画像記憶
手段からの画像信号を送信する際に上記音声記憶手段か
らの音声信号を送信する通信処理とを上記プログラムに
設けたことを特徴とする請求項１１記載のコンピュータ
読み取り可能な記憶媒体。
【請求項１７】画像信号を入力する画像入力処理と、装置の移動を検出する検出処理と、上記移動の検出に応じて画像の送信レートを制御しなが
ら上記入力された画像信号を送信する通信処理とを実行
するためのプログラムを記憶したコンピュータ読み取り
可能な記憶媒体。
【請求項１８】上記検出処理は、上記通信処理でにお
いて通信する基地局の捕捉情報に基づいて上記移動を検
出することを特徴とする請求項１７記載のコンピュータ
読み取り可能な記憶媒体。
【請求項１９】上記検出処理は、上記画像入力処理に
より現在入力された画像を前回入力された画像との差分
に応じて上記移動を検出することを特徴とする請求項１
７記載のコンピュータ読み取り可能な記憶媒体。
【請求項２０】上記検出処理は、加速度検出手段から
の検出情報を用いることを特徴とする請求項１７記載の
コンピュータ読み取り可能な記憶媒体。