JP2003150561A - 表示装置および表示方法、並びにプログラムおよび記録媒体 - Google Patents
表示装置および表示方法、並びにプログラムおよび記録媒体Info
- Publication number
- JP2003150561A JP2003150561A JP2001344237A JP2001344237A JP2003150561A JP 2003150561 A JP2003150561 A JP 2003150561A JP 2001344237 A JP2001344237 A JP 2001344237A JP 2001344237 A JP2001344237 A JP 2001344237A JP 2003150561 A JP2003150561 A JP 2003150561A
- Authority
- JP
- Japan
- Prior art keywords
- display
- data
- unit
- display device
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Calculators And Similar Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephone Set Structure (AREA)
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
Abstract
能とする。 【解決手段】 LCD41,51,12,21,22,2
3それぞれごとに、1つの情報としての項目「ニュー
ス」、「音楽」、「天気予報」、「メール」、「映
画」、「電話」が表示される(図37(A))。例え
ば、ユーザによって、そのうちの項目「映画」が選択さ
れると、その項目「映画」が選択されたことが検出さ
れ、その選択された項目「映画」に対応付けられている
6つの映画のタイトル#1乃至#6それぞれが、LCD
41,51,12,22,21,23それぞれに表示され
る(図37(B))。
Description
示方法、並びにプログラムおよび記録媒体に関し、特
に、例えば、PDA(Personal Digital Assistance)等
の小型の情報処理装置において、分かりやすい情報の表
示や、正確な操作等を行うことができるようにする表示
装置および表示方法、並びにプログラムおよび記録媒体
に関する。
て、PDAが製造、販売されている。
いわゆる手のひらサイズの小型の情報処理装置であるこ
とから、情報を表示するLCD(Liquid Crystal Displa
y)等も小型のものが採用される。従って、多くの情報を
表示する場合には、小型のLCDに、小さなサイズで情
報を表示しなければならず、ユーザは、LCDを凝視し
ないと、情報を認識することが困難なことがあった。
パネル(本明細書中においては、指で操作可能なものの
他、専用のペンで操作されるタブレット等も含む)とを
一体的に構成し、LCDに、ボタンを表示させ、そのボ
タン操作を、タッチパネルで検出するものが実現されて
いる。
けられたLCDは小型であるため、そのLCDに表示さ
せるボタンも小さく表示せざるを得ず、誤って、操作し
ようとしたボタンとは異なるボタンを操作してしまうこ
とがあった。
たものであり、分かりやすい情報の表示を可能とすると
ともに、正確な操作を可能とすることができるようにす
るものである。
数の表示手段それぞれごとに、1つの情報を表示させる
制御を行う表示制御手段と、複数の表示手段それぞれに
表示された情報のうちのいずれが選択されたかを検出す
る検出手段とを備え、表示制御手段が、選択された情報
に対応付けられている複数の情報それぞれを、複数の表
示手段それぞれに表示させることを特徴とする。
ぞれごとに、1つの情報を表示させる制御を行う表示制
御ステップと、複数の表示手段それぞれに表示された情
報のうちのいずれが選択されたかを検出する検出ステッ
プとを備え、表示制御ステップにおいて、選択された情
報に対応付けられている複数の情報それぞれを、複数の
表示手段それぞれに表示させることを特徴とする。
れぞれごとに、1つの情報を表示させる制御を行う表示
制御ステップと、複数の表示手段それぞれに表示された
情報のうちのいずれが選択されたかを検出する検出ステ
ップとを備え、表示制御ステップにおいて、選択された
情報に対応付けられている複数の情報それぞれを、複数
の表示手段それぞれに表示させることを特徴とする。
ぞれごとに、1つの情報を表示させる制御を行う表示制
御ステップと、複数の表示手段それぞれに表示された情
報のうちのいずれが選択されたかを検出する検出ステッ
プとを備え、表示制御ステップにおいて、選択された情
報に対応付けられている複数の情報それぞれを、複数の
表示手段それぞれに表示させるプログラムが記録されて
いることを特徴とする。
プログラムにおいては、複数の表示手段それぞれごと
に、1つの情報が表示され、複数の表示手段それぞれに
表示された情報のうちのいずれが選択されたかが検出さ
れる。そして、その選択された情報に対応付けられてい
る複数の情報それぞれが、複数の表示手段それぞれに表
示される。
たPDAの一実施の形態の外観構成例を示している。
ものとされており、時計バンド1に、メインブロック2
を設ける形で構成されている。ユーザは、腕時計をする
のと同様に、時計バンド1を、左腕または右腕の手首部
分に装着することで、PDAを容易に携帯することがで
きる。
計の本体部分に相当するもので、本体11と、その本体
の一端に回動可能に取り付けられた蓋部20とから構成
されている。
出するように設けられたLCD(Liquid Crystal Displa
y)3を有しており、図1の実施の形態においては、その
LDC3に、長針と短針からなる時計が表示されてい
る。
たは図4に示すように、メインブロック2の上側と下側
に、サイドパネル4と5がそれぞれ設けられている。そ
して、サイドパネル4には、LCD41が、上面方向に
露出する形で設けられており、サイドパネル5にも、L
CD51が、上面方向に露出する形で設けられている。
Aと一体的に構成されており、LCD3に表示されたボ
タン等に対する操作は、このタッチパネル3Aによって
検出されるようになっている。同様に、LCD41は、
タッチパネル4A1と一体的に構成されており、LCD
51は、タッチパネル5A1と一体的に構成されている。
うな各種の機能を有しており、蓋部20のLCD3等
は、各機能を提供する機能モードにより、必要に応じ
て、その表示を変化させる。機能モードが、例えば、時
計モードの場合は、図1に示したように、LCD3で
は、時計表示が行われるが、機能モードが、例えば、電
話モードとされると、LCD3の表示は、図2に示すよ
うに、ダイヤル(電話番号を入力)するのに操作される
ボタンの表示に変化する。なお、このボタンに対する操
作は、上述したように、LCD3と一体的に構成された
タッチパネル3Aによって検出される。
操作にしたがって行われ、あるいは、PDAが所定のイ
ベントに基づいて行うようになっている。
には、ジョグダイヤル6、イヤフォンマイクジャック
7、コネクタ8、およびマイク9が設けられている。な
お、図1等においては、図が煩雑になるのを避けるた
め、ジョグダイヤル6等の図示を省略してある。
ことができるようになっており、例えば、機能モードが
電話モードの場合に、LCD3等に表示される電話番号
等のリスト表示から、電話をかけようとする相手の電話
番号を選択するとき等に操作される。また、ジョグダイ
ヤル6は、本体11の内部方向に押圧操作することもで
きるようになっており、このジョグダイヤル6の押圧操
作によって、選択が確定される。即ち、例えば、ユーザ
が、LCD3等に表示された電話番号等のリスト表示か
ら、電話をかけようとする相手の電話番号を、ジョグダ
イヤル6を回転操作することにより選択し、さらに、ジ
ョグダイヤル6を押圧操作すると、その電話番号の選択
が確定され、その電話番号への発呼が行われる。
部から外側方向に付勢されており、従って、ユーザが、
ジョグダイヤル6を本体11の内部方向に力を加える
と、ジョグダイヤル6は、本体11の内部方向に移動す
るが、ユーザが力を加えるのを止めると、ジョグダイヤ
ル6は、付勢力によって、元の位置に戻るようになって
いる。
ば、イヤフォンとマイク(マイクロフォン)とを一体的
に構成した、いわゆるヘッドセット(図示せず)を、本
体11に接続するときに、そのヘッドセットに設けられ
たジャックが挿入され、これにより、本体11とヘッド
セットとが電気的に接続される。
ピュータ102(図22)などとの間で、データ通信を
行うとき等に、そのベース基地コンピュータ102のコ
ネクタ部337(図26)と嵌合し、これにより、本体
11(PDA)と、ベース基地コンピュータ102とが
電気的に接続される。
気信号としての音声信号に変換する。このマイク9で
は、PDAの機能モードが、例えば電話モードとされた
場合に、音声通話において、相手に送信されるユーザの
音声が取り込まれる。
上部には、スピーカ10が設けられている。このスピー
カ10からは、例えば、機能モードが電話モードとされ
た場合に、相手から送信されてきた音声が出力される。
ドスイッチ61および電源スイッチ62が設けられてい
る。なお、図1等においては、図が煩雑になるのを避け
るため、ホールドスイッチ61および電源スイッチ62
の図示を省略してある。
6やLCD3等に表示されるボタンの操作を有効/無効
とするときに操作される。ホールドスイッチ61が、ジ
ョグダイヤル6やLCD3等に表示されるボタンの操作
を無効とするように操作された場合、PDAをバック等
に入れて持ち歩くとき等に、PDAが、そのバックに入
れられた他の物とぶつかることによって、誤操作が行わ
れることを防止することができる。
/オフするときに操作される。
部13が設けられており、蓋部20は、このヒンジ部1
3を回動中心として回動することができるようになって
いる。蓋部20は、本体11のヒンジ部13を回動中心
として、図3に示すように、その上面が、本体11の上
面または底面とほぼ水平の状態となる位置まで回動する
ことができ、これにより、蓋部20は、開いた状態とな
る。
閉じた状態の蓋部20と対向する形で、LCD12が設
けられており、このLCD12は、蓋部20が閉じた状
態のときは収納状態となっているが、蓋部20が開いた
状態となることによって、上面に露出する。なお、LC
D12も、透明なタッチパネル12Aと一体的に構成さ
れており、LCD12に表示されたボタン等に対する操
作は、このタッチパネル12Aによって検出されるよう
になっている。
サブパネル15および16とを有している。
にはヒンジ部17が、また、その下側の左端および右端
にはヒンジ部18が、それぞれ設けられている。そし
て、サブパネル15は、ヒンジ部17を回動中心として
回動可能に取り付けられており、サブパネル16は、ヒ
ンジ部18を回動中心として回動可能に取り付けられて
いる。
向というものとすると、サブパネル15と16の横方向
の長さは、メインパネル14の横方向の長さより若干短
いものとなっている。また、サブパネル15と16の縦
方向の長さは、メインパネル14の縦方向の長さの1/
2弱程度になっている。
心として、また、サブパネル16は、ヒンジ部18を回
動中心として、いずれも、メインパネル14の上面また
は裏面とほぼ水平の状態となる位置まで回動することが
でき、これにより、サブパネル15,16は、図4に示
すように開いた状態となる。
6が開いた状態において、メインパネル14の上面、即
ち、蓋部20が閉じた状態となっているときの、蓋部2
0の裏面には、LCD21が設けられている。なお、メ
インパネル14のLCD21が設けられた面の反対側の
面には、LCD3(図1)が設けられている。従って、
蓋部20が閉じた状態のときには、LCD3が露出状態
(上側を向いた状態)になるとともに、LCD14が収
納状態(下側を向いた状態)となり、蓋部20が開いた
状態のときには、LCD3が収納状態となるとともに、
LCD21が、上面方向に露出した状態となる。
ときの上面に、LCD15が設けられており、サブパネ
ル16にも、開いた状態となったときの上面に、LCD
16が設けられている。従って、サブパネル15のLC
D22は、サブパネル15が開いた状態となることによ
って露出状態となり、サブパネル15が閉じた状態とさ
れると、メインパネル14のLCD21と対向する形で
収納状態となる。サブパネル16のLCD23も同様
に、サブパネル16が開いた状態となることによって露
出状態となり、サブパネル16が閉じた状態となること
によって、メインパネル14のLCD21と対向する形
で収納状態となる。
透明なタッチパネル21Aと一体的に構成されており、
メインパネル14に表示されたボタン等に対する操作
は、タッチパネル21Aによって検出される。同様に、
サブパネル15のLCD22も、タッチパネル22A
と、サブパネル16のLCD23も、タッチパネル23
Aと、それぞれ一体的に構成されている。
て、蓋部20が閉じているときには、1つのLCD3だ
けが露出状態となる。従って、この場合、時計バンド1
に設けられているサイドパネル4のLCD41と、サイ
ドパネル5のLCD51をあわせれば、PDAでは、図
1に示したように、3つのLCD3,41,51に情報を
表示して、ユーザへの提示を行うことができる。
のサブパネル15および16を開いたときには、LCD
12,21,22,23の4つのLCDが露出状態とな
る。従って、この場合、時計バンド1に設けられている
サイドパネル4のLCD41と、サイドパネル5のLC
D51をあわせれば、PDAでは、図4に示したよう
に、6つのLCD41,51,12,21,22,23に
情報を表示して、ユーザへの提示を行うことができる。
ブロック2においては、本体11に内蔵される電気回路
から、蓋部20のメインパネル14が有するLCD3と
21の制御(タッチパネル3Aと21Aの制御も含
む)、並びに蓋部20のサブパネル15が有するLCD
22の制御(タッチパネル22Aの制御も含む)、およ
びサブパネル16が有するLCD23の制御(タッチパ
ネル23Aの制御も含む)が行われるようになってい
る。従って、本体11から、蓋部20のメインパネル1
4、さらには、サブパネル15および16に、配線を行
う必要がある。
メインパネル14、並びにサブパネル15および16へ
の配線について説明する。
分の拡大図を示している。なお、図5において、メイン
ブロック2の内部は、点線で示してある。
から構成されている。軸31は、メインパネル14の一
辺に固定されており、その端部が、軸受け部33に設け
られた穴に挿入されている。即ち、軸受け部33には、
軸31の直径よりもやや大きい直径の穴が設けられてお
り、その穴に、軸31の端部が挿入されている。従っ
て、軸31は、軸受け部33において回転自在に支持さ
れており、これにより、軸31に固定されているメイン
パネル14は、軸31を回動中心として回動可能になっ
ている。
る軸32と、軸受け部33と同様に構成される軸受け部
34とから構成されており、軸32は、サブパネル15
の一辺に固定されている。従って、軸32は、軸受け部
34において回転自在に支持され、これにより、軸32
に固定されているサブパネル15は、軸32を回動中心
として回動可能になっている。
部の一部は空洞になっており、本体11の隅の部分に固
定されている。本体11の軸受け部33が固定されてい
る部分には、通し穴40があけられており、本体11が
内蔵する電気回路としての回路ブロック43から延びる
配線としてのフレキ(フレキシブルケーブル)146お
よび147は、通し穴40を通って、軸受け部33の内
部に到達している。
1の端部の一部には、通し穴35が設けられており、さ
らに、軸31のメインパネル14と固定されている部分
の一部には、通し穴36が設けられている。そして、軸
31の内部は空洞になっており、軸受け部33の内部に
到達しているフレキ146および147は、通し穴3
5、軸31の内部、および通し穴36を通って、メイン
パネル14の内部に到達している。
パネル14が内蔵する電気回路としての回路ブロック4
2に、フレキ147が接続されている。
部も、軸受け部33と同様に、その一部が空洞になって
おり、メインパネル14の隅の部分に固定されている。
メインパネル14の軸受け部34が固定されている部分
には、通し穴39があけられており、メインパネル14
内部に到達したフレキ146は、通し穴39を通って、
軸受け部34の内部に到達している。
は、軸31と同様に、その端部の一部に、通し穴37が
設けられており、さらに、サブパネル15と固定されて
いる部分の一部に、通し穴38が設けられている。そし
て、軸32の内部は空洞になっており、軸受け部34の
内部に到達しているフレキ146は、通し穴37、軸3
2の内部、および通し穴39を通って、サブパネル15
の内部に到達している。
ル15が内蔵する電気回路としての回路ブロック41
に、フレキ146が接続されている。
路ブロック43と、メインパネル14が内蔵する回路ブ
ロック42、またはサブパネル15が内蔵する回路ブロ
ック41とが、それぞれ電気的に接続されている。
も、本体11とサブパネル15との間と同様にして、電
気的に接続されている。
軸受け部33の穴に、単に挿入しただけの場合には、ユ
ーザが蓋部20を回動しようとして、ある程度の力を加
えたときに、軸31が、軸受け部33の穴から、容易に
抜けてしまうおそれがある。
に構成されており、これにより、軸31が、軸受け部3
3の穴から、容易に抜けてしまうことを防止することが
できるようになっている。なお、図6においては、通し
穴35および36の図示を省略してある。
挿入される部分)には、図6(A)の斜視図に示すよう
に、軸31の表面に、略U字型に切り込みを入れ、残り
の部分を振動可能に形成した係止部51が設けられてい
る。従って、係止部51は、その一部分が、軸31と接
続されており、軸31の内部方向に力が加えられること
により、その内部側に押し込められるが、力を加えるこ
とを停止すると、自らの弾性力によって元の状態に戻る
ようになっている。
ている一端と反対側の一端に、略三角形状の断面を有す
る凸部が形成されている。
反対側の位置にも、係止部51と同様の係止部が設けら
れている。
は、図6(B)の断面図に示すように、軸31の係止部
51に形成された凸部の高さよりも浅い深さの溝52
が、その穴の内周に亘って設けられいる。
と、溝52のない部分では、係止部51が、軸受け部3
3の穴の内壁に接触することで、軸31の内部方向に押
し込められる。そして、その後、係止部51が、溝52
に到達すると、軸31の内部に押し込められた係止部5
1が、その弾性力によって、元の状態に戻ろうとして、
係止部51に設けられた凸部が、溝52に嵌った状態と
なり、軸31が、軸受け部33の穴から容易に抜けない
状態となる。
部が嵌ったときに、その凸部を、軸31の内部方向に、
多少押し込めるような深さに形成されている。従って、
係止部51に設けられた凸部が、溝52に嵌った状態で
は、係止部51は、軸31の内部側に多少押し込められ
た状態となる。
回動しようとして軸31に回転トルクが加えられた場
合、軸31の係止部51に設けられた凸部と、溝52の
内壁との間に、その回動を阻止する摩擦力が発生する。
て任意の角度(0度乃至180度)に開かれた場合、そ
の蓋部20の状態が、上述の摩擦力によって維持され
る。但し、この摩擦力は、蓋部20の自重により発生す
る回転トルクと同程度のものであり、ユーザによる蓋部
20の回動動作を妨げるものではない。
び軸受け部34も、図6に示したヒンジ部13における
場合と同様に構成されている。また、ヒンジ部18も、
図6のヒンジ部13と同様に構成されている。
2の他の構成例を示す外観図である。なお、図中、図1
乃至図4に示した場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。
図を示している。また、図8(A)は、メインブロック
2の正面(上面)図を、図8(B)は、メインブロック
2の上側の側面図を、図8(C)は、メインブロック2
の下側の側面図を、図8(D)は、メインブロック2の
左側の側面図を、図8(E)は、メインブロック2の右
側の側面図を、それぞれ示している。さらに、図9は、
メインブロック2の蓋部20を開いた状態の斜視図を示
しており、図10は、さらに、蓋部20のサブパネル1
5と16を開いた状態の斜視図を示している。
2における本体11の上側の側面には、無線通信部6
3、アンテナ64、およびCCD(Charge Coupled Devi
ce)カメラ65が設けられている。
る無線通信を行う場合に、赤外線を発光し、また、赤外
線を受光する。
通信を行う場合に、電波を放射し、また、電波を受信す
る。なお、アンテナ64では、電話による音声通話を行
うための電波の送受信の他、例えば、ブルートゥース(B
luetooth(商標))その他の規格に準じた無線通信のた
めの電波の送受信も行うことができるようになってい
る。
受光して光電変換することで、その光に対応する画像信
号を出力する。即ち、CCDカメラ65は画像の撮像を
行う。
よびCCDカメラ65は、図2に示したメインブロック
2にも設けられているが、その図示は省略してある。
と、図1乃至図4に示したメインブロック2とは同様の
機能を有する。
ック2は、そのヒンジ機構が、図1乃至図4に示したメ
インブロック2における場合と異なっている。
ック2においては、蓋部20は、メインブロック2の右
側の側面に設けられたヒンジ部71(図8(A)、図8
(E)、図9、図10)を回動中心として回動するよう
になっている。また、サブパネル15は、メインパネル
14の上部に設けられたヒンジ部72(図8(B)、図
9、図10)を回動中心として回動し、サブパネル16
は、メインパネル14の下部に設けられたヒンジ部73
(図7、図8(C)、図9、図10)を回動中心として
回動するようになっている。
いる。
体11に固定されるヒンジ金具81、蓋部20に固定さ
れるヒンジ金具83、両者に回転自在に結合される軸8
2から構成される。
3は、バネ用鋼板により形成され、その端部は、折り曲
げられて(カーリングされて)筒状に形成されている。
ヒンジ金具81とヒンジ金具83の穴径は、同一径とな
っている。軸82は、所定の長さをもつステンレス製の
円柱であり、その軸径は、ヒンジ金具81,83の穴径
よりも、若干大きく形成されている。軸82は、その両
端がヒンジ金具81とヒンジ金具83にそれぞれ圧入さ
れる。
ヒンジ金具81,83の穴径よりも大きいので、軸82
が圧入された場合、ヒンジ金具81,83の穴径は広げ
られ(弾性変形し)、ヒンジ金具81,83は、軸82
を弾性的に、回転自在に支持する状態となる。
81,83によって、完全には固定されておらず、重力
等の影響により、蓋部20が回動しようとして軸82に
回転トルクが加えられた場合、軸82とヒンジ金具8
1,83それぞれとの間に、その回動を阻止する摩擦力
が発生する。
て任意の角度(0度乃至180度)に開かれた場合、そ
の蓋部20の状態が、上述の摩擦力によって維持され
る。但し、この摩擦力は、蓋部20の自重により発生す
る回転トルクと同程度のものであり、ユーザによる蓋部
20の回動動作を妨げるものではない。
および図12に示したヒンジ部71と同様に構成されて
いる。
ンブロック2に、ヒンジ部71乃至73を採用した場合
の、本体11から、メインパネル14、並びにサブパネ
ル15および16への配線について説明する。
図10には図示していないが、メインブロック2には、
図13に示すように、本体11と蓋部20とを結合する
ヒンジ部71を覆うヒンジカバー91が設けられてい
る。
に、メインパネル14とサブパネル16とを結合するヒ
ンジ部73を覆うヒンジカバー92が設けられている。
さらに、メインパネル14とサブパネル15とを結合す
るヒンジ部72を覆うヒンジカバーも設けられている。
おいて矢印Aで示す下側の側面の方向から見た場合の断
面図を示している。
子回路)が形成された回路基板111が設けられてお
り、この回路基板111は、本体11の上面に設けられ
たLCD12(タッチパネル12Aを含む)と、フレキ
112を介して電気的に接続されている。
が接続されており、このフレキ113は、本体11のヒ
ンジ部71が固定されている側面に設けられた穴114
を通って、一旦、外部に出た後、蓋部20のメインパネ
ル14におけるヒンジ部71が固定されている側面に設
けられた穴115を通って、メインパネル14の内部に
到達している。そして、メインパネル14の内部では、
フレキ113が、その上面に設けられたLCD3(タブ
レット3Aを含む)と、その裏面に設けられたLCD2
1(タブレット21Aを含む)に接続されている。これ
により、メインパネル14のLCD3と21は、回路基
板111と電気的に接続されている。
穴114と115との間で外部に露出しているフレキ1
13を保護するような形で設けられており、これによ
り、フレキ113が、傷ついたりすること等を防止する
ようになっている。
おいて矢印Bで示す右側の側面の方向から見た場合の断
面図を示している。
レキ113(の一部)は、メインパネル14のヒンジ部
73が固定されている側面に設けられた穴122を通っ
て、一旦、外部に出ており、さらに、サブパネル16の
ヒンジ部73が固定されている側面に設けられた穴12
3を通って、サブパネル16の内部に到達している。そ
して、サブパネル16の内部では、フレキ113が、サ
ブパネル16に設けられたLCD23(タッチパネル2
3Aを含む)に接続されている。これにより、サブパネ
ル16のLCD23は、回路基板111と電気的に接続
されている。
穴122と123との間で外部に露出しているフレキ1
13を保護するような形で設けられており、これによ
り、フレキ113が、傷ついたりすること等を防止する
ようになっている。
内部にも、サブパネル16における場合と同様にして到
達しており、これにより、サブパネル15に設けられた
LCD22(タッチパネル22Aを含む)は、回路基板
111と電気的に接続されている。
Aの時計バンド1の、メインブロック2の上側と下側
に、それぞれ1つずくのLCD41と51を設けるように
したが、時計バンド1には、さらに多くのLCDを設け
ることができる。
ド1に、より多くのLCDを設けたPDAの外観構成例
を示している。
計バンド1の、メインブロック2の上側に、4つのLC
D41,42,43,44が設けられており、メインブロッ
ク2の下側にも、4つのLCD51,52,53,54が設
けられている。
ンド1の2つの端部それぞれには、留め具1Aと1Bが
それぞれ設けられている。時計バンド1をユーザの腕に
巻き、留め具1Aと1Bが結合することにより、時計バ
ンド1は、輪状になって、図16に示すように、ユーザ
の腕に装着された状態を維持する。
時計バンド1がユーザの腕に装着された状態から、時計
バンド1をはずし、蓋部20を閉じたまま、平面におい
た状態を示している。
設けられたLCD3の他、時計バンド1に設けられたL
CD41乃至44、およびLCD51乃至54の、合計で、
9個のLCDが上部に露出した状態となる。
41乃至44、および51乃至54によって、ユーザに、情
報の提示を行うことができる。
54も、上述したLCD41や51と同様に、透明なタッ
チパネル4A2,4A3,4A4,5A2,5A3,5A4そ
れぞれと一体的に構成されており、LCD42,43,4
4,52,53,54にボタンが表示され、そのボタンをユ
ーザが操作した場合には、そのボタンに対する操作は、
タッチパネル4A2,4A3,4A4,5A2,5A3,5
A4によって、それぞれ検出される。
態から、蓋部20を開き、さらに、サイドパネル15お
よび16を開いた状態を示している。
LCD3に代わって、LCD12,21,22,23が
上部に露出する。
れたLCD41乃至44、およびLCD51乃至54、並び
にメインブロック2に設けられたLCD12、およびL
CD21乃至23の合計12個のLCDによって、ユー
ザに、情報の提示を行うことができる。
ク2のさらに他の構成例を示している。
が閉じた状態において、図18(A)に示すように、本
体11の上に、メインパネル14が位置し、メインパネ
ル14の上に、サブパネル15および16が位置する形
となるように、メインブロック2が構成されている。
おいては、蓋部20が閉じた状態において、本体11の
上に、サブパネル15および16が位置し、そのサブパ
ネル15および16の上に、メインパネル14が位置す
るようになっていたが、図18の実施の形態では、メイ
ンパネル14の位置と、サブパネル15および16の位
置とが入れ替わっている。このため、図18では、蓋部
20が閉じた状態において、サブパネル15のLCD2
2と、サブパネル16のLCD23とが、上部に露出し
た状態となるようになっており、このLCD22および
23が、例えば、図7に示したメインブロック2におい
て、蓋部20が閉じた状態となっているときに上部に露
出するLCD3を兼用するようになっている。
1と蓋部20(のメインパネル14)とが、図18
(A)に示すように、アーム部131とピン部131A
および131Bとからなる、いわゆるリンク構造によっ
て結合されている。
とサブパネル15とが、アーム部132とピン部132
Aおよび132Bとからなるリンク構造によって結合さ
れており、メインパネル14とサブパネル16とが、ア
ーム部133とピン部133Aおよび133Bとからな
るリンク構造によって結合されている。
の上側の側面には、アーム部131とピン部131Aお
よび131Bとからなるリンク構造と同様のリンク構造
が設けられている。また、メインブロック2の左側の側
面には、アーム部132とピン部132Aおよび132
Bとからなるリンク構造と同様のリンク構造と、アーム
部133とピン部133Aおよび133Bとからなるリ
ンク構造と同様のリンク構造が設けられている。
部131Aおよび131Bが回転可能なように設けられ
ている。そして、ピン部131Aは、蓋部20のメイン
パネル14における下側の側面の左下隅に挿入され、ピ
ン部131Bは、本体11の下側の側面の中央下部に挿
入されている。
部132Aおよび132Bが回転可能なように設けられ
ている。そして、ピン部132Aは、メインパネル14
の右側の側面の右上隅に挿入され、ピン部132Bは、
サブパネル15の右側の側面の中央上部に挿入されてい
る。
部133Aおよび133Bが回転可能なように設けられ
ている。そして、ピン部133Aは、メインパネル14
の右側の側面の左上隅に挿入され、ピン部133Bは、
サブパネル16の右側の側面の中央上部に挿入されてい
る。
せるように移動させると、アーム部131は、ピン部1
31Aを回動中心として回動するとともに、ピン部13
1Bを回動中心として回動し、これにより、蓋部20
は、図18(B)に示すように、本体11の右側の側面
に隣接する位置に移動して、本体11の上面に設けられ
たLCD12が露出状態となる。
き方向)にスライドさせるように移動させると、アーム
部132は、ピン部132Aを回動中心として回動する
とともに、ピン部132Bを回動中心として回動し、サ
ブパネル15は、図18(C)に示すように、メインパ
ネルの上側の側面に隣接する位置に移動する。
向)にスライドさせるように移動させると、アーム部1
33は、ピン部133Aを回動中心として回動するとと
もに、ピン部133Bを回動中心として回動し、サブパ
ネル16は、図18(C)に示すように、メインパネル
の下側の側面に隣接する位置に移動する。
けられたLCD21が見える状態となる。
ブロック2では、図18(A)に示した状態から、先
に、サブパネル15および16をスライドさせ、その
後、メインパネル14、並びにサブパネル15および1
6の全体をスライドさせ、図18(C)に示した状態と
することも可能である。
ようなリンク構造を採用した場合の配線について説明す
る。
ネル14の、ピン131Aが挿入される部分の拡大図を
示している。
挿入される穴144が設けられており、この穴144の
径は、ピン部131Aの径よりも若干大きいものとされ
ている。
入される方の端部に、例えば、ゴムの等の弾性体からな
る係止部143が設けられており、この係止部143の
部分の径は、穴144の径よりも若干大きいものとされ
ている。
入しようとすると、その穴144に、係止部143が引
っ掛かるが、係止部143は弾性体であるため、大きな
力によって、ピン部131Aを、穴144に押し込める
ことによって、係止部143としての弾性体が変形し
て、穴144を通過する。係止部143は、穴144を
通過して、メインパネル14の内部に到達すると、その
弾性力によって元の状態に戻り、これにより、ピン部1
31Aは、穴144から、容易に抜けない状態となる。
131Aの内部は、空洞になっており、本体11から延
びる配線であるフレキ145は、アーム131の内部、
およびピン部131Aの内部を通って、メインパネル1
4に到達する。
図19で説明したのと同様に構成されており、これによ
り、本体11から、メインパネル14、さらには、サブ
パネル15および16への配線が可能となっている。
体11、並びに蓋部20を構成するメインパネル14、
サブパネル15および16の位置関係は、図18の実施
の形態における場合と同様になっている。従って、蓋部
20が閉じた状態では、図20(A)に示すように、サ
ブパネル15のLCD22、およびサブパネル16のL
CD23は、上部に露出した状態となっている。
とメインパネル14との結合構造、メインパネル14と
サブパネル15との結合構造、およびメインパネル14
とサブパネル16との結合構造として、リンク構造では
なく、図2や図7の実施の形態と同様に、ヒンジ構造が
採用されている。
(B)に示すように、蓋部20のメインパネル14に設
けられたLCD21は上部に露出するが、蓋部20が閉
じた状態において上面に露出しているサブパネル15の
LCD22とサブパネル16のLCD23は、蓋部20
が開かれることにより、図20(B)に示すように、下
側を向いた状態となる。
6を開くと、図20(C)に示すように、サブパネル1
5のLCD22とサブパネル16のLCD23は、上部
に露出した状態になる。
インブロック2は、基本的には、図2や図7における場
合と同様に構成されている。但し、図2や図7の実施の
形態においては、サブパネル15と16は、その縦方向
の長さが、メインパネル14の縦方向の長さの1/2弱
程度になっていたが、図21の実施の形態では、サブパ
ネル15と16の縦方向の長さが、メインパネル14の
縦方向の長さと同程度(若干短い程度)となっている。
従って、図21の実施の形態では、サブパネル15およ
び16は、メインパネル14とほぼ同じ大きさとされて
いる。
(A)に示す蓋部20が閉じた状態から、蓋部20を開
くと、図21(B)に示すように、本体11に設けられ
たLCD12が露出し、さらに、サブパネル15および
16を開くと、図21(C)に示すように、メインパネ
ル14のLCD21、サブパネル15のLCD22、お
よびサブパネル16のLCD23が露出する。
は、サブパネル15および16は、メインパネル14と
ほぼ同じ大きさとされているため、サブパネル15のL
CD21とサブパネル16のLCD23も、メインパネ
ル14のLCD21とほぼ同じ大きさのものとなってい
る。
図7等の実施の形態に比較して、LCD22および23
に、より多くの表示、あるいは、より大きな表示を行う
ことが可能となる。
20に、サブパネル15および16を設けるようにした
が、サブパネル15および16は、本体11に設けるこ
とも可能である。
サブパネル15および16を設ける要にしたが、サブパ
ネルは1つだけ設けるようにすることが可能である。
開くのではなく、右側等に開くように設けることが可能
である。また、蓋部20には、上側に開くサブパネル1
5、下側に開くサブパネル16の他、右側に開くサブパ
ネルを設けることも可能である。
たPDAを利用したPDAシステムの一実施の形態の構
成例を示している。
たPDAで、各種のデータ処理を行う他、公衆網104
を介して、他のPDA103や、インターネット10
5、その他各種の通信端末106との間で通信を行うこ
とができるようになっている。
話機(携帯電話機等を含む)や、ファクシミリ、コンピ
ュータ等がある。
ピュータ102との間で、各種のデータをやりとりする
データ通信を行うことができるようになっている。
ュータ102との間でやりとりされるデータとしては、
例えば、画像データ(動画および静止画を含む)、音声
データ(オーディオデータ)、メールアドレスや電話番
号等の個人情報、プログラムその他のバイナリファイル
やテキストファイル等の各種のファイル、公衆網104
を介して、インターネット105や、PDA101と同
様に構成される他のPDA103からダウンロードして
蓄積した蓄積情報、その他各種の情報処理装置との間で
送受信した送受信データ等がある。
ば、デスクトップ型またはノート型のコンピュータをベ
ースに構成されており、PDA101のいわばベース基
地となるようになっている。即ち、PDA101は、携
帯に便利なように小型に構成されるため、より大型に構
成することができるデスクトップ型またはノート型のコ
ンピュータよりも性能が劣ったものとなっている。そこ
で、ベース基地コンピュータ102では、PDA101
が有するデータを取得(受信)して処理し、その処理結
果を、PDA101に提供(送信)したり、また、ベー
ス基地コンピュータ102で、インターネット105等
から取得したデータを、PDA101に提供すること等
ができるようになっている。
PDA101のベース基地となり得る点を除けば、基本
的な構成は、一般的なデスクトップ型またはノート型等
のコンピュータと同様であり、従って、公衆網104を
介して、インターネット105と接続したり、各種のプ
ログラムの実行等を行うことが可能である。
ェア構成例を示している。
は、バス201に接続されており、そのバス201に接
続されている各ブロックの制御等を行う。さらに、CP
U202は、バス226を介して、ROM(Read Only M
emory)203、およびRAM(Random Access Memory)2
04と接続されており、ROM203に記憶されている
プログラムや、RAM204にロードされたプログラム
を実行することで、上述の制御を含む各種の処理を行
う。
Loading)のプログラム等の、起動に必要なプログラム
を記憶している。RAM204は、バス226を介し
て、CPU202から転送されてくるプログラムやデー
タをロードし、また、CPU202の動作上必要なデー
タ等を一時記憶する。
2053,2054,2055,2056,2057は、タ
ッチパネル3A,4A1,5A1,12A,21A,22
A,23Aをそれぞれドライブすることにより、タッチ
パネル3A,4A1,5A1,12A,21A,22A,
23A上のタッチされた位置等を検出し、バス201を
介して、CPU202に供給する。なお、図23におい
ては、タッチパネルドライバ2051乃至2057を、ま
とめて、タッチパネルドライバ205と表してある。
3,2064,2065,2066,2067は、バス20
1を介して供給される信号にしたがい、LCD3,
41,51,12,21,22,23をそれぞれドライブ
することにより、LCD3,41,51,12,21,2
2,23それぞれに、所定の画像を表示させる。なお、
図23においては、LCDドライバ2061乃至2067
を、まとめて、LCDドライバ206と表してある。
する画像信号を増幅し、A/D(Analog/Digital)変換器
210に供給する。アンプ208は、D/A(Digital/A
nalog)変換器212が出力する音声信号を増幅し、スピ
ーカ10またはイヤフォンマイクジャック7に出力す
る。アンプ209は、マイク9またはイヤフォンマイク
ジャック7から入力される音声信号を増幅し、A/D変
換器211に供給する。
供給されるアナログの画像信号をA/D変換し、ディジ
タルの画像データとして、MPEG(Moving Picture Ex
perts Group)エンコーダ/デコーダ213に供給する。
A/D変換器211は、アンプ209から供給されるア
ナログの音声信号をA/D変換し、ディジタルの音声デ
ータとして、ATRAC(Adaptive TRansform Acoustic
Coding)エンコーダ/デコーダ214に供給する。D/
A変換器212は、ATRACエンコーダ/デコーダ2
14から供給されるディジタルの音声データをD/A変
換し、アナログの音声信号として、アンプ208に供給
する。
A/D変換器210またはバス201から供給される画
像データを、MPEGの規格に準拠して符号化し、その
結果得られる符号化データを、バス201上に出力す
る。また、MPEGエンコーダ/デコーダ213は、バ
ス201から供給される符号化データを、MPEGの規
格に準拠して復号し、その結果得られる画像データを、
バス201上に出力する。
3は、必要に応じて、A/D変換器210から供給され
る画像データを、特に処理を施さずに、そのままバス2
01上に出力することもできるようになっている。
は、A/D変換器211またはバス201から供給され
る音声データを、ATRACの規格に準拠して符号化
し、その結果得られる符号化データを、バス201上に
出力する。また、ATRACエンコーダ/デコーダ21
4は、バス201から供給される符号化データを、AT
RACの規格に準拠して復号し、その結果得られる音声
データを、バス201またD/A変換器212に出力す
る。
14は、必要に応じて、バス201からの音声データ
を、そのまま、D/A変換器212に出力するととも
に、D/A変換器212からの音声データを、そのま
ま、バス201上に出力することもできるようになって
いる。
せぬHD(Hard Disk)を内蔵し、CPU202の制御の
下、HDに記録されているデータ(プログラムを含む)
を読み出して、バス201上に出力し、また、バス20
1から供給されるデータを、HDに書き込む。
接続されており、PDAの電源をオフにしても記憶して
おく必要のあるデータを、バス201を介して記憶す
る。即ち、例えば、フラッシュメモリ216は、例え
ば、PDAの電源がオフされる直前の内部状態を記憶す
る。これにより、PDAの電源が、再びオン状態になっ
たときは、フラッシュメモリ216の記憶内容を参照す
ることにより、PDAの内部状態を、その電源がオフさ
れる直前の内部状態に戻すことができる。
01を介して供給されるデータ(例えば、符号化対象の
画像データや音声データ、符号化した画像データや音声
データなど)を一時記憶する。
01に接続されており、無線(電波の他、赤外線等も含
む)や有線による各種の通信を行うときのインタフェー
スとして機能する。
から供給される受信信号に対して復調等の通信に必要な
処理を施し、バス201に出力するとともに、バス20
1を介して供給されるデータに変調等の通信に必要な処
理を施し、その結果得られる送信信号を、アンテナ64
に供給する。
8から供給されるデータを受信し、必要な処理を施し
て、バス201に出力するとともに、バス201を介し
て供給されるデータに所定の処理を施し、コネクタ部8
に供給する。
9から供給されるデータを受信し、必要な処理を施し
て、バス201に出力するとともに、バス201を介し
て供給されるデータに所定の処理を施し、ドライバ21
9に供給する。
光部221は、無線通信部63を構成しており、ドライ
バ219は、通信I/F219から供給されるデータに
応じて、発光部221をドライブするとともに、受光部
220から供給される信号からデータを抽出し、通信I
/F218に供給する。受光部220は、例えば、赤外
線を受光し、その受光量に応じた電気信号を、ドライバ
219に供給する。発光部221は、ドライバ219に
よって駆動され、例えば、赤外線を発光する。
る各ブロックに対して、必要な電源を供給する。
れており、外部からの操作入力に対するインタフェース
として機能する。即ち、入力I/F223は、操作部2
24やスイッチ部225からの信号を受信し、バス20
1上に出力する。
態や、サブパネル15および16の開閉の状態を検知す
るスイッチ群で構成され、蓋部20、並びにサブパネル
15および16の開閉の状態に応じた信号を、入力I/
F223に供給する。
イヤル6や、ホールドスイッチ61、電源スイッチ62
等で構成され、それらの操作に応じた操作信号を、入力
I/F223に供給する。
成例を示している。なお、図23のPDA101のハー
ドウエア構成と対応する部分については、適宜、同一の
符号を付してある。
アンテナ64から供給される受信信号としてのRF信号
を復調し、チャネル復号部232に供給する。また、R
F処理部231は、チャネル符号化部223から供給さ
れる信号を変調してRF信号とし、アンテナ64に供給
する。
1から供給される信号をチャネル復号し、エンコード/
デコード部234や制御部239に供給する。チャネル
符号化部233は、エンコード/デコード部234や制
御部239から供給される信号をチャネル符号化し、R
F処理部231に供給する。
232、およびチャネル符号化部233は、図23の通
信I/F218に対応する。
号化部235、画像復号部236、音声符号化部23
7、および音声復号部238で構成されている。
御にしたがい、制御部224から供給される画像データ
を符号化し、制御部224またはチャネル符号化部23
3に供給する。画像復号部236は、チャネル復号部2
32または制御部239から供給される画像の符号化デ
ータを復号し、制御部239または表示制御部236に
供給する。音声符号化部237は、アンプ209または
制御部239から供給される音声データを符号化し、チ
ャネル符号化部233または制御部239に供給する。
音声復号部238は、チャネル復号部232または制御
部239から供給される音声の符号化データを復号し、
スピーカ208または制御部239に供給する。
図23のMPEGエンコーダ/デコーダ213やATR
ACエンコーダ/デコーダ214に対応し、さらには、
CPU202がプログラムを実行することにより実現さ
れる。
プログラムを実行することにより実現され、コネクタ部
8を介してのデータのやりとりや、操作部224からの
操作信号に対応した処理、その他の各種の処理(PDA
101を構成する各ブロックの制御を含む)を行う。
されるデータを変調し、無線通信部63に供給する。ま
た、変復調部240は、無線通信部63から供給される
信号を復調し、制御部239に供給する。なお、変復調
部240は、図23の通信I/F218に対応する。
れるデータ等を記憶し、また、記憶したデータを、制御
部239に供給する。なお、本実施の形態では、メモリ
241は、制御部239に接続されている他、コネクタ
部8にも接続されている。また、メモリ241は、図2
3のフラッシュメモリ216やDRAM217等に対応
する。
22の残容量を監視しており、いわゆるローバッテリ状
態となると、制御部239に、その旨を知らせるように
なっている。なお、アラーム部242は、例えば、図2
3のCPU202がプログラムを実行することにより実
現される。
サブパネル15および16の開閉を検知し、その検知結
果を、制御部239に供給する。なお、開閉検出部24
3は、図23のスイッチ部225に対応する。
にしたがった画像や、画像復号部236から供給される
画像を、表示部245に表示させる制御を行う。さら
に、表示制御部244は、表示部245に表示されたボ
タン等に対する操作を検出し、その操作に対応する操作
信号を、制御部239に供給する。また、表示制御部2
44は、制御部239からの信号を、必要に応じて、表
示制御部251,252,253,254,255に供
給するとともに、それらの表示制御部251乃至255
それぞれからの信号を、制御部239に供給する。
チパネルドライバ205およびLCDドライバ206に
対応する。後述する表示制御部251乃至255も同様
である。
にしたがって、画像を表示するとともに、その表示画面
に対する操作を検出し、その操作された表示画面上の位
置を表す信号を、表示制御部244に供給する。なお、
表示部245は、本体11に一体的に設けられたLCD
11およびタッチパネル12A(図10等)に対応す
る。
示制御部244を介して供給される制御信号にしたがっ
た画像を、表示部256または257に表示させる制御
を行うとともに、表示部256または257に表示され
たボタン等に対する操作を検出し、その操作に対応する
操作信号を、表示制御部244を介して制御部239に
供給する。表示部256と257は、表示制御部251
の制御にしたがって、画像を表示するとともに、その表
示画面に対する操作を検出し、その操作された表示画面
上の位置を表す信号を、表示制御部251に供給する。
なお、表示部256は、メインパネル14に一体的に設
けられたLCD3およびタッチパネル3A(図7等)に
対応し、表示部257は、メインパネル14に一体的に
設けられたLCD21およびタッチパネル21A(図1
0等)に対応する。
示制御部244を介して供給される制御信号にしたがっ
た画像を、表示部258に表示させる制御を行うととも
に、表示部258に表示されたボタン等に対する操作を
検出し、その操作に対応する操作信号を、表示制御部2
44を介して制御部239に供給する。表示部258
は、表示制御部252の制御にしたがって、画像を表示
するとともに、その表示画面に対する操作を検出し、そ
の操作された表示画面上の位置を表す信号を、表示制御
部252に供給する。なお、表示部258は、サブパネ
ル15に一体的に設けられたLCD22およびタッチパ
ネル22A(図10等)に対応する。
示制御部244を介して供給される制御信号にしたがっ
た画像を、表示部259に表示させる制御を行うととも
に、表示部259に表示されたボタン等に対する操作を
検出し、その操作に対応する操作信号を、表示制御部2
44を介して制御部239に供給する。表示部259
は、表示制御部253の制御にしたがって、画像を表示
するとともに、その表示画面に対する操作を検出し、そ
の操作された表示画面上の位置を表す信号を、表示制御
部253に供給する。なお、表示部259は、サブパネ
ル16に一体的に設けられたLCD23およびタッチパ
ネル23A(図10等)に対応する。
示制御部244を介して供給される制御信号にしたがっ
た画像を、表示部260に表示させる制御を行うととも
に、表示部260に表示されたボタン等に対する操作を
検出し、その操作に対応する操作信号を、表示制御部2
44を介して制御部239に供給する。表示部260
は、表示制御部254の制御にしたがって、画像を表示
するとともに、その表示画面に対する操作を検出し、そ
の操作された表示画面上の位置を表す信号を、表示制御
部254に供給する。なお、表示部260は、サイドパ
ネル4に一体的に設けられたLCD41およびタッチパ
ネル4A1(図10等)に対応する。
示制御部244を介して供給される制御信号にしたがっ
た画像を、表示部261に表示させる制御を行うととも
に、表示部261に表示されたボタン等に対する操作を
検出し、その操作に対応する操作信号を、表示制御部2
44を介して制御部239に供給する。表示部261
は、表示制御部255の制御にしたがって、画像を表示
するとともに、その表示画面に対する操作を検出し、そ
の操作された表示画面上の位置を表す信号を、表示制御
部255に供給する。なお、表示部261は、サイドパ
ネル5に一体的に設けられたLCD51およびタッチパ
ネル5A1(図10等)に対応する。
ピュータ102の外観構成例を示す斜視図である。
コンピュータ102は、略平板形状をしており、手前側
は、所定のテーパ角を有するテーパ形状になっている。
そして、そのテーパ形状になっている部分には、ユーザ
によって操作されるキーボード301が配置されてい
る。
面のやや左側には、例えば、LCD等で構成される表示
部302が設けられており、表示部302には、各種の
情報が表示されるようになっている。
上面のやや右側には、PDA装着部303と無線通信部
304が設けられている。
となっており、そこには、PDA101のメインブロッ
ク2を装着することができるようになっている。また、
PDA装着部303の内部には、後述する図26におい
て図示してあるコネクタ部337が設けられている。P
DA101のメインブロック2を、そのコネクタ部8
(図7等)がPDA装着部303の凹部の底面に対向す
るように挿入して、PDA装着部303に装着すると、
メインブロック2のコネクタ部8と、PDA装着部30
3のコネクタ部337とが電気的に接続され、これによ
り、PDA101(メインブロック2)と、ベース基地
コンピュータ102とは、通信可能な状態となるように
なっている。
で、赤外線等による通信を行う際に、その赤外線等を送
受信するようになっている。
ベース基地コンピュータ102には、その右側の側面
に、IEEE(Institute of Electrical and Electronics E
ngineers)1394の規格に準拠した通信を行う際に他の機
器と接続されるIEEE1394端子305と、USB(Universal
Serial Bus)の規格に準拠した通信を行う際に他の機器
と接続されるUSB端子306が設けられている。IEEE139
4端子305には、IEEE1394の規格に準拠した機器とし
ての、例えば、ビデオカメラ等が接続される。また、US
B端子306には、USBの規格に準拠した機器としての、
例えば、マウス等が接続される。
102のハードウエア構成例を示している。
おり、そのバス311に接続されている各ブロックの制
御等を行う。さらに、CPU312は、バス345を介
して、ROM313、RAM314、およびフラッシュ
メモリ315と接続されており、ROM313に記憶さ
れているプログラムや、RAM314にロードされたプ
ログラムを実行することで、上述の制御を含む各種の処
理を行う。
の、起動に必要なプログラムを記憶している。RAM3
14は、バス343を介して、CPU312から転送さ
れてくるプログラムやデータをロードし、また、CPU
312の動作上必要なデータ等を一時記憶する。フラッ
シュメモリ315は、例えば、BIOS(Basic Input O
utput Sytem)のプログラムを記憶している。即ち、本実
施の形態では、書き換え可能なフラッシュメモリ315
に、BIOSのプログラムが記憶されており、これによ
り、BIOSのバージョンアップ等に容易に対処するこ
とが可能となっている。
は、表示部302を構成している。LCDドライバ31
6は、バス311を介して供給される信号にしたがい、
LCD316をドライブすることにより、LCD316
に所定の画像を表示させる。
01とバス311との間のインタフェースとして機能
し、キーボード301の操作に対応した操作信号を、バ
ス311に出力する。
準拠した通信インタフェースで、バス311からデータ
を受信し、USB端子306から送信するとともに、USB端
子306からデータを受信し、バス311上に出力す
る。IEEE1394インタフェース320は、IEEE1394の規格
に準拠した通信インタフェースで、バス311からデー
タを受信し、IEEE1394端子305から送信するととも
に、IEEE1394端子305からデータを受信し、バス31
1上に出力する。
nternational Association)ドライバ321は、バス3
11に接続されており、PCMCIAスロット322に装着さ
れたPCカード(図示せず)を駆動する。PCMCIAスロット
322には、例えば、フラッシュメモリカードやハード
ディスク、SCSIカード、LANカード、モデムカード等と
いったPCカードの着脱が可能となっている。なお、図
25においては、PCMCIAスロット322の図示を省略し
てある。
は、A/D変換器324またはバス311から供給され
る音声データを、ATRACの規格に準拠して符号化
し、その結果得られる符号化データを、バス311上の
出力する。また、ATRACエンコーダ/デコーダ32
3は、バス311から供給される符号化データを、AT
RACの規格に準拠して復号し、その結果得られる音声
データを、バス311またD/A変換器325に出力す
る。
23は、必要に応じて、バス311からの音声データ
を、そのまま、D/A変換器325に出力するととも
に、A/D変換器324からの音声データを、そのま
ま、バス311上の出力することもできるようになって
いる。
供給されるアナログの音声信号をA/D変換し、ディジ
タルの音声データとして、ATRACエンコーダ/デコ
ーダ323に供給する。D/A変換器325は、ATR
ACエンコーダ/デコーダ323から供給するディジタ
ルの音声データをD/A変換し、アナログの音声信号と
して、アンプ327に供給する。
クジャック330から入力される音声信号を増幅し、A
/D変換器324に供給する。アンプ327は、D/A
変換器325から供給される音声信号を増幅し、スピー
カ329またはイヤフォンジャック331に供給する。
声信号に変換し、アンプ326に供給する。スピーカ3
29は、アンプ327からの音声信号に対応する音を出
力する。マイクジャック330には、音声を入力するた
めのマイク等が接続され、イヤフォンジャック331に
は、音声を出力するためのイヤフォン等が接続される。
なお、図25では、マイク328、スピーカ329、マ
イクジャック330、およびイヤフォンジャック331
の図示を省略してある。
332は、図示せぬCD-RWをドライブし、バス311か
ら供給されるデータを、CD-RWに書き込み、また、CD-RW
からデータを再生して、バス311上に出力する。
CPU312の制御の下、HDに記録されているデータ
(プログラムを含む)を読み出して、バス311上に出
力し、また、バス311から供給されるデータを、HD
に書き込む。
35は、バス311を介して供給されるデータを一時記
憶する。
れており、無線や有線による各種の通信を行うときのイ
ンタフェースとして機能する。
3から供給される受信信号に対して復調等の通信に必要
な処理を施し、バス311に出力するとともに、バス3
11を介して供給されるデータに変調等の通信に必要な
処理を施し、その結果得られる送信信号を、アンテナ3
43に供給する。
部303が有するコネクタ部337から供給されるデー
タを受信し、必要な処理を施して、バス311に出力す
るとともに、バス311を介して供給されるデータに所
定の処理を施し、コネクタ部337に供給する。
8から供給されるデータを受信し、必要な処理を施し
て、バス311に出力するとともに、バス311を介し
て供給されるデータに所定の処理を施し、ドライバ33
8に供給する。
25に示したPDA装着部303としての凹部(スロッ
ト)の底面に設けられており、PDA101のコネクタ
部8(図7等)が有する1以上のコネクタと接続される
1以上のコネクタを有している。
光部340は、無線通信部304を構成しており、ドラ
イバ338は、通信I/F338から供給されるデータ
に応じて、発光部340をドライブするとともに、受光
部339から供給される信号からデータを抽出し、通信
I/F336に供給する。受光部339は、例えば、赤
外線を受光し、その受光量に応じた電気信号を、ドライ
バ338に供給する。発光部340は、ドライバ338
によって駆動され、例えば、赤外線を発光する。
には、例えば、イーサネット(登録商標)等のLANを
構成するときに、LAN用のケーブルが接続され、LA
Nボード341は、そのLAN用のケーブルとバス31
1との間で、データのやりとりを行う。モデム/TA/
DSU(Terminal Adapter/Digital Service Unit)34
2には、PSTN(Public Switched Telephone Networ
k)回線またはISDN(Integrated Service Digital Ne
twork)回線等の電話回線が接続され、モデム/TA/D
SU342は、その電話回線とバス311との間で、デ
ータのやりとりを行う。
のデータを電波で送信するとともに、そこに送信されて
くる電波を受信し、通信I/F336に供給する。これ
により、アンテナ343では、例えば、ブルートゥース
(Bluetooth(商標))その他の規格に準じた無線通信の
ための電波の送受信が行われる。なお、図25では、ア
ンテナ343の図示を省略してある。
が、PDA装着部303に装着されたときに、そのPD
A101が有するバッテリ222(図23、図24)の
充電を行う。
102の機能的構成例を示している。なお、図26のベ
ース基地コンピュータ102のハードウエア構成と対応
する部分については、適宜、同一の符号を付してある。
プログラムを実行することにより実現され、各種の処理
(ベース基地コンピュータ102を構成する各ブロック
の制御を含む)を行う。
53からの操作信号に応じた処理を行う。また、制御部
351は、例えば、画像データや音声データを、音声画
像符号化復号部352に供給し、その画像データや音声
データを符号化させる。さらに、制御部351は、例え
ば、画像や音声を符号化した符号化データを、音声画像
符号化復号部352に供給し、その符号化データを、画
像データや音声データに復号させる。さらに、制御部3
51は、例えば、無線によって送信すべきデータを、変
復調部354に供給するとともに、変復調部354から
供給されるデータを受信する。また、制御部351は、
例えば、表示制御部355に、表示すべき画像データを
供給する。さらに、制御部351は、例えば、メモリ3
57に対して、保持しておく必要のあるデータを供給し
て記憶させるとともに、メモリ357から必要なデータ
を読み出す。また、制御部351は、例えば、PDA装
着部303が有するコネクタ部337を構成する1以上
のコネクタのうちの、例えば、コネクタ3373や33
74等、IEEE1394端子305、USB端子306を介して、
必要なデータの送受信を行う。さらに、制御部351
は、例えば、HDD333を制御することにより、デー
タを書き込むとともに、必要なデータを読み出す。ま
た、制御部351は、例えば、充電回路344を制御す
る。
51から供給される画像データや音声データを符号化
し、その結果得られる符号化データを、制御部351に
供給する。また、音声画像符号化復号部352は、制御
部351から供給される符号化データを復号し、その結
果得られる画像データや音声データを、制御部351に
供給する。
26のATRACエンコーダ/デコーダ323に対応
し、さらには、CPU312がプログラムを実行するこ
とにより実現される。
されるデータを変調し、無線通信部304に供給する。
また、変復調部354は、無線通信部304から供給さ
れる信号を復調し、制御部351に供給する。なお、変
復調部354は、図26の通信I/F336に対応す
る。
給される画像データを表示部356に表示させる表示制
御を行う。なお、表示制御部355は、図26のLCD
ドライバ317に対応する。
表示制御にしたがった表示を行う。なお、表示部356
は、図26のLCD316に対応する。
れるデータ等を記憶し、また、記憶したデータを、制御
部351に供給する。なお、メモリ357は、図26の
フラッシュメモリ334やDRAM335等に対応す
る。
1,3372,3373,3374は、PDA装着部303
が有するコネクタ部337を構成するコネクタで、コネ
クタ3371と3372は、充電回路344の+端子と−
端子にそれぞれ接続されている。また、コネクタ337
3および3374は、制御部351と接続されている。
22の+端子と−端子は、PDA101に設けられたコ
ネクタ部8(図23)を構成する1以上のコネクタの中
のコネクタ81と82にそれぞれ接続されている。
して装着されたとき、PDA101側のコネクタ81と
82は、ベース基地コンピュータ102側のコネクタ3
371と3372にそれぞれ電気的に接続されるようにな
っており、これにより、PDA101が、PDA装着部
303に対して装着されると、ベース基地コンピュータ
102の充電回路344は、コネクタ81と3371、お
よびコネクタ82と3372を介して、PDA101のバ
ッテリ222を充電する。
が、ベース基地コンピュータ102のPDA装着部30
3に装着された場合の、PDA101とベース基地コン
ピュータ102との接続について説明する。
示したコネクタ81および82の他、図28に示すよう
に、コネクタ83と84も有しており、コネクタ83は、
制御部239に、コネクタ84は、メモリ241に、そ
れぞれ接続されている。
1が、ベース基地コンピュータ102のPDA装着部3
03に装着されると、そのコネクタ部337が有するコ
ネクタ3373と3374にそれぞれ接続されるようにな
っている。
102において、そのコネクタ部337のコネクタ33
73および3374は、いずれも、制御部351と接続さ
れており、従って、PDA101のコネクタ部8を構成
するコネクタ83は、コネクタ3373を介して、また、
コネクタ84は、コネクタ3374を介して、いずれも、
ベース基地コンピュータ102の制御部351と接続さ
れる。
83に接続している制御部239は、コネクタ83と33
73を介して、ベース基地コンピュータ102の制御部
351と電気的に接続される。また、PDA101にお
いてコネクタ84に接続しているメモリ241は、コネ
クタ84と3374を介して、ベース基地コンピュータ1
02の制御部351と電気的に接続される。
ベース基地コンピュータ102の制御部351とは、コ
ネクタ83と3373を介して、データのやりとりが可能
な状態となる。さらに、PDA101の制御部239
は、ベース基地コンピュータ102の制御部351にリ
クエストを出すことで、ベース基地コンピュータ102
のメモリ357に対して、データの読み書きを行うこと
ができ、逆に、ベース基地コンピュータ102の制御部
351も、PDA101の制御部239にリクエストを
出すことで、PDA101のメモリ241に対して、デ
ータの読み書きを行うことができる。
御部351は、コネクタ3374と84を介して、PDA
101の制御部239を介することなく、そのメモリ2
41に対して、直接、データの読み書きを行うことがで
きる。
ュータ102のPDA装着部303に装着された場合に
は、PDA101のメモリ241は、ベース基地コンピ
ュータ102の一部として機能するようになり、これに
より、ベース基地コンピュータ102の制御部351
は、PDA101のメモリ241を、あたかも、自身が
有するメモリ357の一部であるかのようにアクセスす
ることができる。
ュータ102とが、コネクタ部8および337を介して
接続された場合には、PDA101の他のブロックを、
ベース基地コンピュータ102の一部として機能させる
ことが可能である。即ち、例えば、PDA101の制御
部239を、ベース基地コンピュータ102の制御部3
51の一部として機能させることが可能である。
のPDA103や、通信可能な通信端末106(図2
2)との間で電話による音声通話を行うことができるよ
うになっている。即ち、PDA101は、機能モード
が、電話による音声通話を行う電話モードとされると、
図29のフローチャートに示す通話処理および発呼処理
を行う。
ーチャートを参照して、通話処理について説明する。
信I/F218(図23)は、通信モードを制御チャネ
ルモードとして待機する。
等との間で、音声通話用の通話チャネルを使って音声を
送受信することが可能な通話チャネルモード、データ送
受信用のデータチャネルを使ってデータを送受信するこ
とが可能なデータチャネルモード、パイロット信号その
他の制御用のデータを、制御用の制御チャネルを介して
やりとりするだけで、他のチャネルによる送受信を行わ
ない制御チャネルモード(いわゆる待ち受け状態となっ
ているモード)などがあり、ステップS1では、通話モ
ードが制御チャネルモードとされる。
着呼があったことを知らせる制御データが制御チャネル
を介して送信されてきたり、あるいは、発呼を要求する
操作が行われたことを表す操作信号が操作部224等か
ら供給されるなどの何らかのイベントが生じると、ステ
ップS2に進み、通信I/F218は、着呼があったか
どうかを判定する。
で常時受信されている制御チャネルのデータを監視して
おり、ステップS2では、その制御チャネルのデータに
基づき、着呼があったかどうかを判定する。
定された場合、通信I/F218は、その旨のメッセー
ジを、バス201を介して、CPU202に供給する。
CPU202は、着呼があった旨のメッセージを受信す
ると、バス201、ATRACエンコーダ/デコーダ2
14、D/A変換器212、およびアンプ208を介し
て、スピーカ10を制御し、着信音を出力させ、ステッ
プS3に進む。
通信モードを、制御チャネルモードから、音声を送受信
する通話チャネルを使用する通話チャネルモードに切り
替え、ステップS4に進む。ステップS4では、CPU
202は、ユーザが、オフフック状態とするように、操
作部224等を操作したかどうかを判定し、しなかった
と判定した場合、ステップS1に戻る。
4等がオフフック状態とするように操作されたと判定さ
れた場合、ステップS5に進み、通信I/F218は、
着信してきた相手との通信リンクを確立し、音声通話の
ための音声データの送受信を行う。
は、アンプ209、A/D変換器211、ATRACエ
ンコーダ/デコーダ214、バス201、および通信I
/F218を介して、アンテナ64から、電波として送
信される。また、電波として送信されてくる音声は、ア
ンテナ64で受信され、通信I/F218、バス20
1、ATRACエンコーダ/デコーダ214、D/A変
換器212、およびアンプ208を介して、スピーカ1
0から出力される。
2は、通話を終了するかどうか、即ち、PDA101の
ユーザが、操作部224をオンフック状態とするように
操作したか、あるいは、通話相手がオンフック状態とな
ったかを判定し、通話を終了しないと判定した場合、ス
テップS5に戻る。
すると判定された場合、通信I/F218は、着信して
きた相手との通信リンクを切断し、ステップS1に戻
る。
ったと判定された場合、ステップS7に進み、通信I/
F218は、発呼を要求するイベント(以下、適宜、発
呼イベントという)が生じたかどうかを判定する。
図29(B)のフローチャートを参照して後述する。
かったと判定された場合、ステップS1に戻り、以下、
同様の処理が繰り返される。
トがあったと判定された場合、ステップS8に進み、通
信I/F218は、通信モードを制御チャネルモードか
ら通話チャネルモードに切り替え、発呼イベントととも
に供給される、電話をかける相手の電話番号を、アンテ
ナ64から送信する。
がオフフック状態となると、通信I/F218は、その
通信相手との通信リンクを確立し、ステップS9に進
む。ステップS9では、通信I/F218は、ステップ
S5における場合と同様に、音声通話のための音声デー
タの送受信を行う。
02は、ステップS6における場合と同様に、通話を終
了するかどうかを判定し、通話を終了しないと判定した
場合、ステップS9に戻る。
了すると判定された場合、通信I/F218は、通信相
手との通信リンクを切断し、ステップS1に戻る。
照して、発呼処理について説明する。
(あるいは、フラッシュメモリ216)は、ユーザがあ
らかじめ登録した電話番号と、その電話番号に対応する
相手の名前等とが対応付けられた電話番号リストを記憶
しており、電話モードにおいて、例えば、ユーザが、そ
の電話番号リストを表示するように、操作部224を操
作することによって、発呼処理が開始される。
プS21において、CPU202は、バス201を介し
て、HDD215に記憶された電話番号リストを読み出
し、バス201を介して、LCDドライバ206に供給
して、ステップS22に進む。
6は、CPU202からの電話番号リストを、LCD
3,41,51,12,21,22、または23に表示さ
せる。
51,12,21,22、または23を、LCD3等と
いう。
た電話番号リストの中から、ある電話番号を選択する
と、ステップS23に進み、CPU202は、そのユー
ザが選択した電話番号を、発呼する電話番号として認識
する。
リストが、カーソルとともに表示されるようになってい
る。このカーソルは、電話番号リスト上のある電話番号
を指定するもので、操作部224(図23)としてのジ
ョグダイヤル6(図7等)が回転操作されると、その指
定する電話番号を変えるように移動するようになってい
る。さらに、カーソルが指定する電話番号については、
ジョグダイヤル6が押圧操作されると、その電話番号の
選択が確定されるようになっている。
転操作し、カーソルを、電話をかけたい相手の電話番号
の位置に移動し、さらに、ジョグダイヤル6を押圧する
と、ステップS23では、その電話番号(カーソルが指
定している電話番号)が認識される。
が登録されている場合には、そのすべての電話番号を、
LCD3に、一度に表示することが困難であるが、この
場合には、表示しきれない電話番号については、ジョグ
ダイヤル6を回転操作することにより、電話番号リスト
がスクロールされて表示されるようになっている。
6を操作する他、LCD3等に表示された電話番号リス
トの電話番号を、直接タッチすることによっても選択す
ることができるようになっている。即ち、LCD3等に
表示された電話番号リストの電話番号を、ユーザがタッ
チした場合、そのタッチの位置が、タッチパネル3A等
およびタッチパネルドライバ205で検出され、その位
置に表示されている電話番号が、ユーザが選択した電話
番号として認識される。
て、ユーザが選択した電話番号を認識すると、ステップ
S24に進み、その電話番号を発呼イベント(発呼イベ
ントを表すメッセージ)に対応付け、通信I/F218
に供給し、発呼処理を終了する。
ように、通信I/F218は、この発呼イベントが発生
したことを、ステップS7で検出し、その発呼イベント
に対応付けられている電話番号への発呼を行う。
ーザが選択した電話番号への発呼を行うようにしたが、
発呼する電話番号は、ユーザが、直接入力することも可
能である。
たように、あるいは、後述する図36に示すように、電
話番号を入力するためのダイヤルボタンを表示させ、そ
のダイヤルボタンに対する操作を、タッチパネル3A,
4A1,5A1,12A,21A,22A、または23A
(以下、適宜、タッチパネル3A等という)とタッチパ
ネルドライバ205によって検出し、その検出したダイ
ヤルボタンの操作に対応する電話番号への発呼を行うよ
うにすることが可能である。
のPDA103や、通信可能な通信端末106(図2
2)、その他公衆網104上やインターネット105上
のコンピュータ等との間で電子メールの送受信を行うこ
とができるようになっている。即ち、PDA101は、
機能モードが、電子メールの送受信を行う電子メールモ
ードとされると、図30のフローチャートに示すメール
送受信処理およびメール送信イベント処理を行う。
ーチャートを参照して、メール送受信処理について説明
する。
おいて、通信I/F218(図23)は、通信モードを
制御チャネルモードとして待機する。
テップS32に進み、通信I/F218は、そのイベン
トが、電子メールの送信または受信に関するイベント
(以下、適宜、メール送受信イベントという)であるか
どうかを判定する。
4で常時受信されている制御チャネルのデータを監視し
ており、例えば、電子メールが送信されてきたことを知
らせる制御データが制御チャネルを介して送信されてく
ると、メール受信イベントを発生する。また、CPU2
02は、電子メールの送信を要求する操作が行われたこ
とを表す操作信号が操作部224等から供給されると、
メール送信イベントを発生する。なお、メール送信イベ
ントとメール受信イベントを、まとめて、メール送受信
イベントというものとする。
トが、メール送受信イベントでないと判定された場合、
ステップS31に戻る。
イベントが、メール送受信イベントであると判定された
場合、ステップS33に進み、通信I/F218は、通
信モードを、制御チャネルモードから、データを送受信
するデータチャネルを使用するデータチャネルモードに
切り替え、ステップS34に進む。ステップS34で
は、通信I/F218は、図示せぬ基地局等(のメール
サーバ)との通信リンクを確立し、電子メールのデータ
の送受信を行う。
トが、電子メールが送信されてきたことを知らせる制御
データが制御チャネルを介して送信されてきたことを表
すもの(メール受信イベント)である場合には、通信I
/F218は、基地局(のメールサーバ)に対して、電
子メールを要求し、その要求に応じて、基地局から送信
されてくる電子メールのデータを、アンテナ64を介し
て受信する。
電子メールの送信を要求する操作が行われたことを表す
操作信号が操作部224等から供給されたことを表すも
の(メール送信イベント)である場合には、通信I/F
218は、バス201を介して供給される電子メールの
データを、アンテナ64を介して、基地局(のメールサ
ーバ)に送信する。
02は、電子メールのデータの送受信を終了したかどう
か、即ち、基地局(のメールサーバ)に記憶されている
自身宛の電子メールのデータをすべて受信したか、ある
いは、送信が要求された電子メールのデータをすべて送
信したかどうかを判定する。
ータの送受信が終了していないと判定された場合、ステ
ップS34に戻り、まだ送受信が行われていない電子メ
ールのデータの送受信が続行される。
ルのデータの送受信が終了したと判定された場合、ステ
ップS31に戻り、以下、同様の処理を繰り返す。
照して、メール送信イベント処理について説明する。
(あるいは、フラッシュメモリ216)は、上述の電話
番号リストの他、ユーザがあらかじめ登録した電子メー
ルアドレスと、その電子メールアドレスに対応する相手
の名前等とが対応付けられたメールアドレスリストを記
憶しており、電子メールモードにおいて、例えば、ユー
ザが、そのメールアドレスリストを表示するように、操
作部224等を操作することによって、メール送信イベ
ント処理が開始される。
最初に、ステップS41において、CPU202は、バ
ス201を介して、HDD215に記憶されたメールア
ドレスリストを読み出し、バス201を介して、LCD
ドライバ206に供給して、ステップS42に進む。
6は、CPU202からのメールアドレスリストを、L
CD3等に表示させる。
たメールアドレスリストの中から、ある電子メールアド
レスを選択すると、ステップS43に進み、CPU20
2は、そのユーザが選択した電子メールアドレスを、電
子メールの宛先として認識する。
スリストの表示、またはそのメールアドレスリストから
の電子メールアドレスの選択は、図29で説明した電話
番号リストを表示する場合、または電話番号を選択する
場合とそれぞれ同様に行われるようになっている。ま
た、電子メールアドレスも、図29で説明した電話番号
と同様に、ユーザが、直接入力することが可能である。
ストとは、1つのリスト、即ち、ユーザの氏名等に、そ
の電子メールアドレスと電話番号を対応付けたリストに
一体化することが可能である。
としての電子メールアドレスが認識されると、CPU2
02は、電子メールの本文となるテキストの入力を待っ
て、ステップS44に進み、バス201を介して、LC
Dドライバ206を制御することにより、その入力され
たテキストを、LCD3等に表示させる。
の入力は、例えば、ユーザが、操作部224としてのジ
ョグダイヤル6(図7等)の回転操作と押圧操作を行う
ことによって行われる。即ち、ジョグダイヤル6が回転
操作されると、CPU202は、LDCドライバ206
を制御することにより、その回転操作に対応して、LC
D3等に、入力の対象となる文字をカーソルとともに表
示させる。さらに、CPU202は、カーソルが、ある
文字を指定している場合において、ジョグダイヤル6が
押圧操作されると、その文字を、テキスト入力として確
定する。
入力は、例えば、後述するように、ユーザが、LCD3
等に表示されたボタン等を操作することによって行うこ
ともできる。即ち、この場合、CPU202は、LCD
ドライバ206を制御することにより、LCD3等に、
文字を入力するためのボタンを表示させる。そして、L
CD3等に表示されたボタンを、ユーザがタッチする
と、タッチパネル3A等およびタッチパネルドライバ2
05によって、ユーザがタッチしたボタンが検出され、
そのボタンに対応する文字が、テキスト入力として確定
される。
ーボンコピー先となる電子メールアドレスの指定や、電
子メールに添付するファイルの指定なども行うことがで
きるようになっており、そのような指定が行われた場合
には、ステップS44では、LCD3等において、その
指定を反映した表示が行われる。
入力するのと同様にして、既に入力されたテキストを編
集することも可能であり、操作部224等が、そのよう
な編集を行うように操作された場合には、ステップS4
4では、LCD3等において、その編集内容を反映した
表示が行われる。
02は、電子メールの本文となるテキストの入力を終了
したように、ユーザが操作部224等を操作したかどう
かを判定し、そのような操作が行われていないと判定し
た場合、ステップS44に戻る。
ルの本文となるテキストの入力を終了したように、ユー
ザが操作部224等を操作したと判定された場合、ステ
ップS46に進み、CPU202は、本文の入力が終了
した電子メールの送信を指示するように、ユーザが操作
部224等を操作したかどうかを判定する。
信が指示されていないと判定された場合、ユーザがメー
ルアドレスリストを表示するように、操作部224等を
操作するのを待って、ステップS41に戻る。
HDD215に記憶され、その後、任意のタイミング、
またはユーザから指示があったときに送信される。
ルの送信が指示されたと判定された場合、即ち、操作部
224等からCPU202に対して、電子メールの送信
を要求する操作信号が供給された場合、ステップS47
に進み、CPU202は、メール送信イベントを、バス
201を介して、通信I/F218に供給し、ユーザが
メールアドレスリストを表示するように、操作部224
等を操作するのを待って、ステップS41に戻る。
ように、通信I/F218は、このメール送信イベント
が発生したことを、ステップS32で検出し、電子メー
ルの送信を行う。
ールの本文となるテキストの入力が終了したと判定され
ると、CPU202は、その電子メールに、その差出人
として、PDA101のユーザの電子メールアドレスを
含めるようになっている。なお、PDA101のユーザ
の電子メールアドレスは、そのユーザが、操作部224
等を操作することによって、HDD215に記憶されて
いるものとする。
イナリデータ等のデータの送受信を行うことができるよ
うになっている。ここで、PDA101は、データの送
受信を、基地局を介して行うこともできるし、基地局を
介さずに、他のPDA103や通信可能な通信端末10
6(図22)との間で、直接行うことができるようにも
なっている。PDA101は、機能モードが、各種のデ
ータの送受信を、他のPDA103や通信可能な通信端
末106との間で行うデータモードとされると、図31
のフローチャートに示すデータ送受信処理およびデータ
送信イベント処理を行う。
ーチャートを参照して、データ送受信処理について説明
する。
おいて、通信I/F218(図23)は、通信モードを
制御チャネルモードとして待機する。
テップS52に進み、通信I/F218は、そのイベン
トが、データの送信または受信に関するイベント(以
下、適宜、データ送受信イベントという)であるかどう
かを判定する。
4で常時受信されている制御チャネルのデータを監視し
ており、例えば、データが送信されてきたことを知らせ
る制御データが制御チャネルを介して送信されてくる
と、データ受信イベントを発生する。また、CPU20
2は、データの送信を要求する操作が行われたことを表
す操作信号が操作部224等から供給されると、データ
送信イベントを発生する。なお、データ送信イベントと
データ受信イベントを、まとめて、データ送受信イベン
トというものとする。
トが、データ送受信イベントでないと判定された場合、
ステップS51に戻る。
イベントが、データ送受信イベントであると判定された
場合、ステップS53に進み、通信I/F218は、通
信モードを、制御チャネルモードからデータチャネルを
使用するデータチャネルモードに切り替え、ステップS
54に進む。ステップS54では、通信I/F218
は、他のPDA103等との間で、データの送受信を行
う。
トが、データが送信されてきたことを知らせる制御デー
タが制御チャネルを介して送信されてきたことを表すも
の(データ受信イベント)である場合には、通信I/F
218は、他のPDA103等からデータチャネルを介
して送信されてくるデータを、アンテナ64を介して受
信する。
データの送信を要求する操作が行われたことを表す操作
信号が操作部224等から供給されたことを表すもの
(データ送信イベント)である場合には、通信I/F2
18は、バス201を介して供給されるデータを、アン
テナ64を介して、他のPDA103等に送信する。
A103等との間のデータの送受信を、アンテナ64を
介して電波により行うようにしたが、PDA101と他
のPDA103等との間のデータの送受信は、その他、
例えば、無線通信部63を介することにより、赤外線に
よって行うことも可能である。また、PDA101とP
DA103等との通信は、上述のように、電波や赤外線
(その他電磁波等)により非接触で行う他、コネクタ部
8(図23)を介して、有線により(接触した状態で)
行うことも可能である。
た場合には、ステップS55,S56に順次進み、デー
タを送信した場合には、ステップS55およびS56を
スキップして、ステップS57に進む。
信I/F218が受信したデータのデータ種別を判別す
る。即ち、本実施の形態では、データには、そのデータ
が、画像データや、音声データ、プログラム等のうちの
どのデータ種別のものであるかや、そのデータが符号化
されている場合には、どのような符号化方式で符号化さ
れているのかといった情報を表すデータ識別子が付加さ
れており、ステップS55では、CPU202は、通信
I/F218が受信したデータに付加されているデータ
識別子を参照することで、そのデータ種別を判別する。
02は、通信I/F218が受信したデータを、バス2
01を介して、HDD215に転送し、そのデータ種別
に応じて記憶させて、ステップS57に進む。
種別ごとに、例えば、別々のディレクトリまたはフォル
ダに分けて記憶される。
イルとして記憶される。
D215に記憶させるようにしたが、データは、その
他、フラッシュメモリ216やDRAM217に記憶さ
せることも可能である。
化されていない画像データや音声データである場合に
は、その画像データや音声データは符号化して、HDD
215に記憶させることが可能である。ここで、画像デ
ータの符号化は、MPEGエンコーダ/デコーダ213
で行うことができる。また、音声データの符号化は、A
TRACエンコーダ/デコーダ214で行うことができ
る。さらに、画像データや音声データの符号化は、CP
U202がプログラムを実行することにより、その他の
符号化方式で行うことも可能である。
ータの送受信を終了したかどうか、即ち、他のPDA1
03から送信されてくるデータのすべてを受信したか、
あるいは、送信が要求されたデータのすべてを送信した
かどうかを判定する。
が終了していないと判定された場合、ステップS54に
戻り、まだ送受信が行われていないデータの送受信が続
行される。
送受信が終了したと判定された場合、ステップS51に
戻り、以下、同様の処理を繰り返す。
照して、データ送信イベント処理について説明する。
が、そのメールアドレスリストを表示するように、操作
部224等を操作することによって、データ送信イベン
ト処理が開始される。
ップS61乃至S63において、図30(B)のステッ
プS41乃至S43における場合とそれぞれ同様の処理
が行われ、これにより、CPU202は、データの送信
先としての電子メールアドレスを認識する。
報として、電子メールアドレスを採用することとした
が、その送信先を、例えば、IP(Internet Protocol)
アドレスや、MAC(Media Access Control)アドレス、
ユーザID(Identification)等で特定することができる
場合は、そのような情報を、データの送信先を表す情報
として採用することが可能である。
02は、データリストを構成し、バス201を介して、
LCDドライバ206に供給することにより、そのデー
タリストを、LCD3等に表示させる。
クセスし、例えば、そこに記憶されている画像データ
や、音声データ、プログラム等のファイルのファイル名
を取得する。さらに、CPU202は、そのファイル名
をリスト形式にしたデータリストを構成し、このデータ
リストを、LCD3等に表示させる。
後は、ステップS65に進み、CPU202は、そのデ
ータリストの中から、いずれかのデータ(ここでは、フ
ァイル名)が、ユーザによって選択されたかどうかを判
定する。
た、電話番号リストから電話番号を選択する場合や、メ
ールアドレスリストから電子メールアドレスを選択する
場合と同様にして、ユーザが操作部224としてのジョ
グダイヤル6(図7等)を操作すること等によって、そ
のデータリストから、データ(ファイル名)を選択する
ことができるようになっており、ステップS65では、
そのようにして、ユーザが、データリストの中から、い
ずれかのデータを選択したかどうかが判定される。
れていないと判定された場合、ステップS64に戻り、
以下、同様の処理を繰り返す。
選択されたと判定された場合、ステップS66に進み、
CPU202は、ステップS65で選択されたと判定さ
れたデータ(以下、適宜、選択データという)の送信を
指示するように、ユーザが操作部224等を操作したか
どうかを判定する。
信が指示されていないと判定された場合、ユーザがメー
ルアドレスリストを表示するように、操作部224等を
操作するのを待って、ステップS61に戻る。
タの送信が指示されたと判定された場合、即ち、操作部
224等からCPU202に対して、選択データの送信
を要求する操作信号が供給された場合、ステップS67
に進み、CPU202は、データ送信イベントを、バス
201を介して、通信I/F218に供給し、ユーザが
メールアドレスリストを表示するように、操作部224
等を操作するのを待って、ステップS61に戻る。
ように、通信I/F218は、このデータ送信イベント
が発生したことを、ステップS52で検出し、選択デー
タの送信を行う。
のステップS63で認識された電子メールアドレスを宛
先として行われる。
DD215に記憶(記録)された画像データや音声デー
タを再生することができるようになっている。即ち、P
DA101は、機能モードが、画像データまたは音声デ
ータの再生を行うデータ再生モードとされると、図32
のフローチャートに示すデータ再生処理を行う。
5(図23)で撮像された画像データを、MPEGエン
コーダ/デコーダ213、またはCPU202がプログ
ラムを実行することにより実現されるエンコーダで符号
化したものを記録しておくことができる。さらに、HD
D215には、イヤフォンマイクジャック7やマイク9
から入力された音声データを、ATRACエンコーダ/
デコーダ214、またはCPU202がプログラムを実
行することにより実現されるエンコーダで符号化したも
のを記録しておくことができる。また、HDD215に
は、図31(A)で説明したデータ送受信処理によって
受信される画像データや音声データを符号化したものを
記録しておくことができる。
してHDD215に記録されているデータの再生が行わ
れる。
71において、CPU202は、データリストの表示を
要求するように、ユーザが、操作部224等を操作した
かどうかを判定し、そのような操作がされていないと判
定した場合、ステップS71に戻る。
ストの表示を要求するように、ユーザが、操作部224
等を操作したと判定された場合、ステップS72に進
み、CPU202は、データリストを構成し、バス20
1を介して、LCDドライバ206に供給することによ
り、そのデータリストを、LCD3等に表示させる。
クセスし、そこに記憶されている画像データと音声デー
タのファイルのファイル名を取得する。さらに、CPU
202は、そのファイル名をリスト形式にしたデータリ
ストを構成し、このデータリストを、LCD3等に表示
させる。
後は、ステップS73に進み、CPU202は、そのデ
ータリストの中から、いずれかのデータ(ここでは、フ
ァイル名)が、ユーザによって選択されたかどうかを、
図31(B)のステップS65における場合と同様にし
て判定する。
れていないと判定された場合、ステップS72に戻り、
以下、同様の処理を繰り返す。
選択されたと判定された場合、CPU202は、さら
に、その選択されたデータが画像データまたは音声デー
タ(オーディオデータ)のうちのいずれであるかを判定
し、選択されたデータが、画像データである場合には、
ステップS74に進み、音声データである場合には、ス
テップS78に進む。
テップS73で選択されたと判定された画像データ(の
ファイル)を、HDD215から読み出し、ステップS
75に進む。ステップS75では、CPU202は、H
DD215から読み出した画像データを復号する処理を
行う。
データは、上述したように符号化されており、ステップ
S75では、その符号化されている画像データが復号さ
れる。
ンコーダ/デコーダ213、またはCPU202がプロ
グラムを実行することにより実現されるデコーダによっ
て行われる。
されると、ステップS76に進み、CPU202は、そ
の画像データを、バス201を介して、LCDドライバ
206に供給し、LCD3等に表示させる。
02は、ステップS73で選択されたと判定された画像
データすべての再生を終了したかどうかを判定し、まだ
終了していないと判定した場合、ステップS74に戻っ
て、以下、同様の処理を繰り返す。即ち、これにより、
画像データの再生が続行される。
S73で選択されたと判定された画像データすべての再
生が終了したと判定された場合、ステップS71に戻
り、以下、同様の処理が繰り返される。
は、ステップS73で選択されたと判定された音声デー
タ(のファイル)を、HDD215から読み出し、ステ
ップS79に進む。ステップS79では、CPU202
は、HDD215から読み出した音声データを復号する
処理を行う。
データは、上述したように符号化されており、ステップ
S79では、その符号化されている音声データが復号さ
れる。
エンコーダ/デコーダ214、またはCPU202がプ
ログラムを実行することにより実現されるデコーダによ
って行われる。
されると、ステップS80に進み、CPU202は、そ
の音声データを、バス201、ATRACエンコーダ/
デコーダ214、D/A変換器212、およびアンプ2
08を介して、イヤフォンマイクジャック7またはスピ
ーカ10に供給して出力させる。
02は、ステップS73で選択されたと判定された音声
データすべての再生を終了したかどうかを判定し、まだ
終了していないと判定した場合、ステップS78に戻っ
て、以下、同様の処理を繰り返す。即ち、これにより、
音声データの再生が続行される。
S73で選択されたと判定された音声データすべての再
生が終了したと判定された場合、ステップS71に戻
り、以下、同様の処理が繰り返される。
た画像データまたは音声データの再生を行うようにした
が、その他、HDD215に、インターネット105
(図22)上の図示せぬサーバ等からダウンロードして
インストールしたプログラムが記録されている場合に
は、ステップS72において、そのプログラムのファイ
ル名も含むデータリストを表示し、ユーザによって、プ
ログラムが選択されたときには、そのプログラムを、C
PU202に実行させることが可能である。
されたデータが、画像データと音声データの両方を含む
場合には、ステップS74乃至S77およびステップS
78乃至S81の処理は、並列して行われる。
えば、インターネット105(図22)上の図示せぬサ
ーバ等から、いわゆるプッシュ型配信等によって、公衆
網104を介して送信されてくる画像データや音声デー
タ等のストリーミング再生を行うことができるようにな
っている。即ち、PDA101は、機能モードが、スト
リーミング再生を行うストリーミング再生モードとされ
ると、図33のフローチャートに示すストリーミング再
生処理を行う。
91において、通信I/F218(図23)は、通信モ
ードを制御チャネルモードとして待機する。
データを送信する旨の制御データが送信されてくると、
その制御データが、アンテナ64を介して、通信I/F
218で受信され、ステップS92に進み、通信I/F
218は、その制御データに基づき、ストリーミング再
生用のデータ(以下、適宜、ストリーミングデータとい
う)が送信されてくるのかどうかを判定する。
データが送信されてくるのではないと判定された場合、
ステップS91に戻り、以下、同様の処理を繰り返す。
ミングデータが送信されてくると判定された場合、ステ
ップS93に進み、通信I/F218は、通信モード
を、制御チャネルモードからデータチャネルモードに切
り替え、ステップS94に進む。ステップS94では、
通信I/F218は、データチャネルによって送信され
てくるストリーミングデータの受信を開始する。
ングデータは、バス201を介して、DRAM217に
供給されて一時記憶される。
ストリーミングデータの記憶が開始されると、ステップ
S95に進み、CPU202は、DRAM217に記憶
されたストリーミングデータのデータ種別を判別する。
即ち、図31(A)のデータ送受信処理で説明した場合
と同様に、ストリーミングデータには、そのストリーミ
ングデータの種別等を表すデータ識別子が付加されてお
り、ステップS95では、CPU202は、DRAM2
17に記憶されたストリーミングデータのデータ識別子
を参照することで、そのデータ種別を判別する。
02は、DRAM217に記憶されたストリーミングデ
ータが、画像データまたは音声データ(オーディオデー
タ)のうちのいずれであるかを、ステップS95で判別
したデータ種別に基づいて判定する。
に記憶されたストリーミングデータが、画像データであ
ると判定された場合、ステップS97に進み、CPU2
02は、DRAM217に記憶された画像データを読み
出し、その画像データを復号する処理を行う。
MPEGその他の符号化方式で符号化されており、ステ
ップS95では、その符号化されている画像データが復
号される。
ンコーダ/デコーダ213、またはCPU202がプロ
グラムを実行することにより実現されるデコーダによっ
て行われる。
されると、ステップS98に進み、CPU202は、そ
の画像データを、バス201を介して、LCDドライバ
206に供給し、LCD3等に表示させる。
02は、DRAM217に記憶されたストリーミングデ
ータ(ここでは、画像データ)のすべての再生が終了し
たかどうかを判定し、まだ、終了していないと判定した
場合、ステップS97に戻り、以下、DRAM217に
記憶されたストリーミングデータの復号、表示(再生)
が続行される。
217に記憶されたストリーミングデータのすべての再
生が終了したと判定された場合、ステップS91に戻
り、以下、同様の処理が繰り返される。
ミングデータが音声データであると判定された場合、ス
テップS100に進み、CPU202は、DRAM21
7に記憶された音声データを読み出し、その音声データ
を復号する処理を行う。
ATRACその他の符号化方式で符号化されており、ス
テップS100では、その符号化されている音声データ
が復号される。
エンコーダ/デコーダ214、またはCPU202がプ
ログラムを実行することにより実現されるデコーダによ
って行われる。
号されると、ステップS101に進み、CPU202
は、その音声データを、バス201、ATRACエンコ
ーダ/デコーダ214、D/A変換器212、およびア
ンプ208を介して、イヤフォンマイクジャック7また
はスピーカ10に供給して出力させる。
202は、DRAM217に記憶されたストリーミング
データ(ここでは、音声データ)のすべての再生が終了
したかどうかを判定し、まだ、終了していないと判定し
た場合、ステップS100に戻り、DRAM217に記
憶されたストリーミングデータの復号、出力(再生)が
続行される。
M217に記憶されたストリーミングデータのすべての
再生が終了したと判定された場合、ステップS91に戻
り、以下、同様の処理が繰り返される。
タと音声データの両方を含む場合には、ステップS97
乃至S99およびステップS100乃至S102の処理
は、並列して行われる。
ベース基地コンピュータ102との間で、各種のデータ
(ファイル)のやりとりを行うことが可能となってい
る。
PDA101とベース基地コンピュータ102との間で
のファイルのやりとりの手順について説明する。
地コンピュータ102(図26)との間でのファイルの
やりとりは、アンテナ64および343を介することに
よる電波での通信、コネクタ部8および337を介する
ことによる有線での通信、並びに無線通信部63および
304を介することによる赤外線での通信のうちのいず
れによっても可能となっている。但し、ここでは、例え
ば、アンテナ64および343を介することによる電波
での通信が行われることにより、PDA101とベース
基地コンピュータ102との間で、ファイルのやりとり
が行われるものとする。
らベース基地コンピュータ102にファイルが送信され
る場合の手順について説明する。
のCPU312(図27の制御部351に対応する)
は、ユーザが、キーボード301(図27の操作部35
3に対応する)等を操作することによって、PDA10
1から受信するファイルを指定するのを待って(A
1)、その指定されたファイルを、PDA101から受
信すべきファイルとして選択する(A2)。このとき、
PDA101(図23)のCPU202(図24の制御
部239に対応)は、制御チャネルモードで待機してい
る(B1)。
ベース基地コンピュータ102は、PDA101と通信
することにより、既に、PDA101のHDD215が
記憶しているファイルのファイル名の一覧を取得してい
るものとし、ユーザは、そのファイル名の一覧から、フ
ァイルの指定(A1)を行うものとする。
12は、PDA101から受信すべきファイルを選択し
た後、通信I/F336を制御することにより、アンテ
ナ343を介し、PDA101に対して、その選択した
ファイルの受信を要求する受信要求信号を、その選択し
たファイルを識別する、例えば、ファイル名とともに送
信する(A3)。
要求信号は、PDA101において、アンテナ64を介
して、通信I/F218で受信され(B2)、CPU2
02に供給される。
信号を受信すると、通信I/F218を制御することに
より、ベース基地コンピュータ102に対して、認証処
理を要求し、これにより、PDA101のCPU202
と、ベース基地コンピュータ102のCPU312との
間では、互いに正当な機器であるかどうかを確認する認
証処理が行われる(A4,B3)。
地コンピュータ102のCPU312において、認証が
成功すると、PDA101のCPU202は、通信I/
F218を制御することにより、ファイルの受信を許可
することを表す受信許可信号を、ベース基地コンピュー
タ102に送信する(B4)。
理は行われず、従って、PDA101からベース基地コ
ンピュータ102へのファイルの送信は行われない。
は、ベース基地コンピュータ102において、アンテナ
343を介して、通信I/F336で受信され(A
5)、バス311を介して、CPU312に供給され
る。これにより、CPU312は、PDA101からフ
ァイルが送信されてくることを認識する。
ベース基地コンピュータ102から受信要求信号ととも
に送信されてきたファイル名のファイルを、例えば、H
DD215から読み出し、バス201を介して、通信I
/F218に供給することで、そのファイルを、アンテ
ナ64を介して、ベース基地コンピュータ102に送信
させる(B5)。
A101から送信されてくるファイルが、アンテナ34
3を介して、通信I/F336で受信される(A6)。
通信I/F336は、受信したファイルを、バス311
を介して、DRAM335に転送して一時記憶させ、C
PU312は、このようにしてDRAM335に記憶さ
れたファイルのファイル識別信号に基づき、そのファイ
ルが、例えば、画像データ、音声データ、プログラム、
テキストデータ等のうちのいずれのファイル種別のもの
であるかを判別する(A7)。
表すファイル識別信号が付加されており、そのファイル
識別信号を参照することにより、ファイル種別が判別さ
れる。
に記憶されたファイルを、バス311を介して、HDD
333に転送し、そのファイル種別に応じて記憶させる
(A8)。
ピュータ102は、ファイルを、そのファイル種別ごと
に異なるディレクトリまたはフォルダに分けて、HDD
333に記憶させるようになっている。
ピュータ102からPDA101にファイルが送信され
る場合の手順について説明する。
のCPU312(図27の制御部351に対応する)
は、ユーザが、キーボード301(図27の操作部35
3に対応する)等を操作することによって、HDD33
3に記憶されたファイルの中から、PDA101に送信
するファイルを指定するのを待って(A11)、その指
定されたファイルを、PDA101に送信すべきファイ
ルとして選択する(A12)。このとき、PDA101
(図23)のCPU202(図24の制御部239に対
応)は、制御チャネルモードで待機している(B1
1)。
12は、PDA101に送信すべきファイルを選択した
後、通信I/F336を制御することにより、アンテナ
343を介し、PDA101に対して、その選択したフ
ァイルの送信を要求する送信要求信号を、その選択した
ファイルを識別する、例えば、ファイル名とともに送信
する(A13)。
要求信号は、PDA101において、アンテナ64を介
して、通信I/F218で受信され(B12)、CPU
202に供給される。
信号を受信すると、通信I/F218を制御することに
より、ベース基地コンピュータ102に対して、認証処
理を要求し、これにより、PDA101のCPU202
と、ベース基地コンピュータ102のCPU312との
間では、互いに正当な機器であるかどうかを確認する認
証処理が行われる(A14,B13)。
地コンピュータ102のCPU312において、認証が
成功すると、PDA101のCPU202は、通信I/
F218を制御することにより、ファイルの送信を許可
することを表す送信許可信号を、ベース基地コンピュー
タ102に送信する(B14)。
おける場合と同様に、以降の処理は行われず、従って、
ベース基地コンピュータ102からPDA101へのフ
ァイルの送信は行われない。
は、ベース基地コンピュータ102において、アンテナ
343を介して、通信I/F336で受信され(A1
5)、バス311を介して、CPU312に供給され
る。これにより、CPU312は、PDA101からフ
ァイルの送信が許可されたことを認識する。
は、PDA101に対して送信要求信号とともに送信し
たファイル名のファイルを、例えば、HDD333から
読み出し、バス311を介して、通信I/F336に供
給することで、そのファイルを、アンテナ343を介し
て、PDA101に送信させる(A16)。
タ102から送信されてくるファイルが、アンテナ64
を介して、通信I/F218で受信される(B15)。
通信I/F218は、受信したファイルを、バス201
を介して、DRAM217に転送して一時記憶させ、C
PU202は、このようにしてDRAM217に記憶さ
れたファイルのファイル識別信号に基づき、そのファイ
ルが、例えば、画像データ、音声データ、プログラム、
テキストデータ等のうちのいずれのファイル種別のもの
であるかを判別する(B16)。
には、そのファイル種別を表すファイル識別信号が付加
されており、そのファイル識別信号を参照することによ
り、ファイル種別が判別される。
に記憶されたファイルを、バス201を介して、フラッ
シュメモリ216に転送し、そのファイル種別に応じて
記憶させる(B17)。
を、フラッシュメモリ216に記憶させるのではなく、
HDD215に記憶させることも可能である。
法について説明する。
に示したように、蓋部20を開き、さらに、サブパネル
15と16を開くと、ほぼ同一平面上に、6つのLCD
41,51,12,21,22,23が隣り合って配置さ
れる。
6に示すように、6つのLCD41,51,12,21乃
至23を、1つの画面とみなして、その1つの画面に、
1つの情報を表示することができる。
ドが電話モードとされた場合の、6つのLCD41,
51,12,21乃至23の表示例を示している。
CD41,51,12,21乃至23を1つの画面とし
て、その1画面に、PDA101を電話機として機能さ
せるためのボタン群が表示されている。
は、オフフック状態とするためのオフフックボタンの全
体が表示されており、LCD51には、電話番号を入力
するダイヤルボタンのうち、数字「7」を入力するボタ
ンの全体、数字「8」を入力するボタンの一部、記号
「*」を入力するボタンの全体、および数字「0」を入
力するボタンの一部が表示されている。さらに、LCD
12には、数字「1」を入力するボタンの全体、数字
「2」を入力するボタンの一部、数字「4」を入力する
ボタンの全体、および数字「5」を入力するボタンの一
部が表示されており、LCD21には、数字「2」を入
力するボタンの残りの部分、数字「3」を入力するボタ
ンの全体、数字「5」を入力するボタンの残りの部分、
および数字「6」を入力するボタンの全体が表示されて
いる。また、LCD22には、オンフック状態とするた
めのオンフックボタンの全体が表示されており、LCD
23には、数字「8」を入力するボタンの残りの部分、
数字「9」を入力するボタンの全体、数字「0」を入力
するボタンの残りの部分、および記号「#」を入力する
ボタンの全体が表示されている。
するボタンは、電子メールの本文等を記述するときに用
いられるひらがなやアルファベット等を入力することも
できるようになっている。
に表示されたボタンが操作された場合、上述したよう
に、そのボタンの操作は、LCD41,51,12,2
1,22,23それぞれと一体的に構成されているタッ
チパネル4A1,5A1,12A,21A,22A,23
Aで検出される。
れているボタンに対する操作は、そのLCDと一体的に
構成されたタッチパネルで検出されるが、複数のLCD
に亘って表示されているボタンに対する操作は、その複
数のLCDそれぞれと一体的に構成されている複数のタ
ッチパネルのいずれでも検出される。
「1」を入力するボタンは、その全体がLCD12に表
示されているから、そのボタンに対する操作は、LCD
12と一体的に構成されているタッチパネル12Aで検
出される。また、例えば、数字「2」を入力するボタン
は、LCD12と21に亘って表示されているから、そ
のボタンに対する操作は、その操作位置によって、LC
D12と一体的に構成されているタッチパネル12A、
またはLCD21と一体的に構成されているタッチパネ
ル21Aのいずれかで検出される。
ている数字「2」を入力するボタンをタッチすることに
よっても、また、LCD21に表示されている数字
「2」を入力するボタンの表示部分をタッチすることに
よっても、数字「2」の入力を行うことができる。
2,21乃至23に、それらを1つの画面として、1つ
の情報を表示する場合には、1つのLCDに表示する場
合に比較して、情報を大きく表示することができ、操作
性を向上させることができる。
れらを1つの画面として、その1画面に情報を表示する
ことを、以下、適宜、マルチスクリーン表示という。
乃至23には、上述のように、それらの全体を1つの画
面として、情報を表示する他、6つのLCD41,51,
12,21乃至23それぞれを1つの画面として、各画
面ごとに、1つの情報を表示することも可能である。
12,21乃至23それぞれを1画面として、各画面ご
とに、1つの情報を表示した表示例を示している。な
お、図37の実施の形態では(後述する図38および図
39においても同様)、LCDを模式的に描いてある。
つのLCD41,51,12,21乃至23それぞれに、
メニューの各項目が表示されている。即ち、LCD41
には、項目「ニュース」が、LCD51には、項目「音
楽」が、LCD12には、項目「天気予報」が、LCD
21には、項目「メール」が、LCD22には、項目
「映画」が、LCD23には、項目「電話」が、それぞ
れ表示されている。
ザが、例えば、項目「映画」が表示されたLCD22を
タッチすると、そのタッチが、LCD22と一体的に構
成されているタッチパネル22Aによって検出され、例
えば、図37(B)に示すように、項目「映画」にリン
クされている複数の情報それぞれが、やはり、6つのL
CD41,51,12,21乃至23それぞれに表示され
る。
は、6つのLCD41,51,12,21乃至23それぞ
れごとに、映画のタイトル#1乃至#6それぞれが表示
されている。
ザが、例えば、映画のタイトル#1が表示されたLCD
41をタッチすると、そのタッチが、LCD41と一体的
に構成されているタッチパネル4A1によって検出さ
れ、例えば、図37(C)に示すように、映画のタイト
ル#1にリンクされている複数の情報それぞれが、やは
り、6つのLCD41,51,12,21乃至23それぞ
れに表示される。
CD41には、「スタート」の文字が表されたボタン
(以下、適宜、「スタート」ボタンという)が表示され
ている。また、LCD51,12,21乃至23それぞ
れには、タイトル#1の映画の監督、脚本家、主演俳
優、助演俳優、インタビューの様子といった、その映画
に関連する複数の画像それぞれが表示されている。
ザが、例えば、「スタート」ボタンが表示されたLCD
41をタッチすると、PDA101では、例えば、タイ
トル#1の映画の画像データの再生が開始され、その再
生画像が、例えば、6つのLCD41,51,12,21
乃至23を1画面として、マルチスクリーン表示され
る。
て、ユーザが、例えば、映画の監督の画像が表示された
LCDをタッチすると、PDA101では、その監督の
経歴や他の作品などの、その監督を紹介する情報の再生
が開始され、例えば、6つのLCD41,51,12,2
1乃至23を1画面として、マルチスクリーン表示され
る。
2,21乃至23それぞれを1つの画面として、各画面
ごとに、1つの情報を表示する場合には、各情報が、そ
の情報ごとに異なるLCDに表示されることから、ユー
ザは、複数の情報から1つの情報を選択するときに、そ
の情報が表示されているLCDを選択するような間隔
で、情報の選択を行うことができる。
図36に示したように、ボタンが、2つのLCDに亘っ
て表示されることがあり、この場合、その2つのLCD
のボタンが表示された部分のいずれをタッチしても、そ
のボタンの操作が可能である。しかしながら、このよう
に、1つのボタンが2つのLCDに亘って表示されてい
る場合には、いわば、1つのボタンが、2つのLCDに
対応していることになるから、ボタンとLCDの対応関
係が一対一でないため、ユーザが操作を戸惑うことがあ
り得る。
D41,51,12,21乃至23それぞれを1つの画面
として、各画面ごとに、1つの情報を表示する場合に
は、1つの情報と1つのLCDとの対応関係が一対一と
なっているため、1つのLCDに表示されている情報
を、他のLCDに表示されている情報と区別しやすく、
従って、ユーザは、所望の情報の選択操作を容易かつ正
確に行うことができる。
する場合には、複数の情報を1つのLCDに表示する場
合に比較して、情報を大きく表示することができ、従っ
て、ユーザにとって分かりやすい情報表示を行うことが
可能となる。
区切り、各領域に1つの情報を表示する場合には、見か
け上、図37に示した場合と同様の表示を行うことがで
きる。しかしながら、1つのLCDを複数領域に区切る
ことによって、図37における場合と同じ大きさで情報
を表示するには、その1つのLCDとして大型のものを
採用する必要があり、装置全体が大型化する。さらに、
1つのLCDを複数領域に区切って、各領域にボタンを
表示する場合には、ユーザが、2つの領域の境界部分に
タッチしたときに、その2つの領域のうちのいずれに表
示されたボタンが操作されたのかの判断が困難となる。
に、回動可能な複数のLCDごとに、1つの情報を表示
する場合には、上述のような装置の大型化や、ユーザの
操作の判断が困難となることを防止することができる。
つ1つに、1つの情報を表示することを、以下、適宜、
ディレクトリ表示という。
乃至23において、マルチスクリーン表示またはディレ
クトリ表示のいずれで、情報の表示を行うかは、ユーザ
が選択することができるようになっており、さらに、マ
ルチスクリーン表示とディレクトリ表示との切り替えも
可能になっている。
トリ表示を切り替えて、マルチスクリーン表示とした表
示例を示している。
ィレクトリ表示を、図38(B)は、図37(B)のデ
ィレクトリ表示を、図38(C)は、図37(C)のデ
ィレクトリ表示を、それぞれマルチスクリーン表示とし
たものである。
6および図17の実施の形態に示したように、時計バン
ド1に、多数のLCD41,42,43,44、並びにLC
D5 1,52,53,54を設けた場合にも行うことが可能
である。
1乃至54,12,21乃至23によるディレクトリ表示
の表示例を示している。
力する場合の表示例を示しており、図39(A)の実施
の形態では、LCD12には、既に入力された文字列
「きの」が表示されている。そして、LCD44には、
あ行を表す文字「あ」が、LCD43には、か行を表す
文字「か」が、LCD42には、さ行を表す文字「さ」
が、LCD41には、た行を表す文字「た」が、LCD
22には、な行を表す文字「な」が、LCD21には、
は行を表す文字「は」が、LCD23には、ま行を表す
文字「ま」が、LCD51には、や行を表す文字「や」
が、LCD52には、ら行を表す文字「ら」が、LCD
53には、わ行を表す文字「わ」が、LCD54には、文
字「ん」が、それぞれ表示されている。
うとする場合、あ行を表す文字「あ」が表示されている
LCD44をタッチする。この場合、LCD44と一体的
に構成されているタッチパネル4A4(図17)におい
て、LCD44へのタッチが検出され、CPU202
(図23)は、その検出結果に基づき、LCD41乃至
44,51乃至54,12,21乃至23の表示を、図3
9(B)に示すように変化させる。
の状態のまま変化しないが、他のLCD41乃至44,5
1乃至54,21乃至23それぞれの表示は、あ行の文字
を入力するため等の表示に変化する。
「てんてん」が、LCD43には、半濁音を表す「ま
る」が、LCD42には、長音を表す「ー」が、LCD
41には、ア行の文字「あ」が、LCD22には、あ行
の文字「い」が、LCD21には、あ行の文字「う」
が、LCD23には、あ行の文字「え」が、LCD51
には、あ行の文字「お」が、LCD52には、読点を入
力するための「読点」が、LCD53には、句点を入力
するための「句点」が、LCD54には、図39(A)
の状態に戻ることを表す「戻る」が、それぞれ表示され
ている。
うとする場合、文字「う」が表示されているLCD21
をタッチする。この場合、LCD21と一体的に構成さ
れているタッチパネル21Aにおいて、そのタッチが検
出され、その検出結果に基づき、CPU202(図2
3)は、LCD41乃至44,51乃至54,12,21乃
至23の表示を、図39(C)に示すように変化させ
る。
おける場合に比較して、LCD12の表示だけが変化し
ており、LCD12には、既に表示されていた文字列
「きの」に、図39(B)の状態でタッチされたLCD
21に表示されていた文字「う」を加えた文字列「きの
う」が表示されている。
れた文字「う」は、既に表示されていた文字列「きの」
とは区別する形で表示されており、まだ、その入力が未
確定状態になっている。なお、図39(C)では、入力
が確定している文字列「きの」は実線で、入力が未確定
の文字「う」は点線で、それぞれ図示してある。
力を確定する場合、図39(C)の状態において、文字
列「きのう」が表示されているLCD12をタッチす
る。このタッチは、LCD12Aと一体的に構成されて
いるタッチパネル12Aで検出され、これにより、文字
「う」の入力が確定される。即ち、この場合、LCD1
2においては、文字「う」は、LCD12に既に表示さ
れていた文字列「きの」と同一の表示状態とされる。
定ボタンとしての機能をもたせるとともに、仮名漢字変
換を指示する機能をもたせることが可能であり、この場
合、LCD12に対する操作位置によって、LCD12
に表示された文字の仮名漢字変換や、入力の確定を行う
ようにすることが可能である。
PDAは、LCD3,41,51,12,21乃至23の
7個のLCDを有しているが、電源スイッチ62(図7
等)がオン状態とされている場合に、その7個のLCD
3,41,51,12,21乃至23のすべてをオン状態
としておくのは、バッテリ222(図23)の電力消費
の観点から好ましくない。
21乃至23のうち、特に、LCD3,12,21乃至
23の5つのLCDについては、常に露出状態(ユーザ
が、その表示を見ることができる状態)になっているわ
けではないため、常時オン状態にしておくのは、無駄な
電力を消費することになる。
部20の状態、並びにサブパネル115および16の状
態を、スイッチ部225で検出し、その検出結果に基づ
いて、CPU202が、LCD3,12,21乃至23
のオン/オフ制御を行うようになっている。
51(図16および図17の実施の形態では、41乃至4
4,51乃至54)については、例えば、ユーザが、その
オン/オフを手動で切り替えるようにすることもできる
し、蓋部20とサブパネル15および16のすべてが開
いている状態の場合のみオン状態とし、それ以外の場合
は、オフ状態とするようにすること等も可能である。ま
た、LCD41および51は、例えば、LCD3と連動し
てオン/オフするようにすることも可能である。
て、蓋部20の状態とサブパネル115および16の状
態に基づいてCPU202が行うLCD3,12,21
乃至23のオン/オフ制御の処理について説明する。
CPU202は、操作部224(図23)を構成する電
源スイッチ62(図7)がオン状態またはオフ状態のい
ずれの状態であるかを判定する。
62がオフ状態であると判定された場合、ステップS1
12に進み、CPU202は、LCDドライバ206
(図23)を制御して、LCD3,12,21乃至23
のうちのオン状態になっているものすべてをオフ状態に
させ(例えば、LCDを構成するバックライトを消灯
し)、ステップS111に戻る。
オフに連動して、タッチパネルドライバ205も制御
し、対応するタッチパネル(オン/オフさせたLCDと
一体的に構成されているタッチパネル)もオン/オフさ
せる(電源の供給を開始/停止させる)ようになってい
る。
イッチ62がオン状態であると判定された場合、ステッ
プS113に進み、CPU202は、LCD3がオン状
態になっていないときには、LCDドライバ206を制
御することにより、LCD3をオン状態にし(例えば、
LCDを構成するバックライトを点灯し)、ステップS
114に進む。
スイッチ部225による蓋部20(図7)の開閉の状態
の検出結果に基づいて、蓋部20が開いているかどうか
を判定する。ステップS114において、蓋部20が開
いていないと判定された場合、即ち、蓋部20が閉じて
おり、LCD3だけが露出状態にあり、LCD12およ
び21乃至23が収納状態(上側を向いていない状態)
にある場合、ステップS115に進み、CPU202
は、LCDドライバ206を制御することにより、LC
D3がオフ状態になっているときはオン状態にし、さら
に、LCD12および21乃至23のうちオン状態にな
っているものをオフ状態にして、ステップS111に戻
る。
0が開いていると判定された場合、即ち、LCD3が収
納状態(ユーザが見ることができない状態)となってお
り、LCD12(図9)が露出状態(上側を向いている
状態)となっている場合、ステップS116に進み、C
PU202は、LCDドライバ206を制御することに
より、LCD3がオン状態になっているときはオフ状態
にし、さらに、LCD12がオフ状態になっているとき
はオン状態にして、ステップS117に進む。
スイッチ部225によるサブパネル15(図9、図1
0)の開閉の状態の検出結果に基づいて、サブパネル1
5が開いているかどうかを判定する。ステップS117
において、サブパネル15が開いていると判定された場
合、即ち、サブパネル15が開いており、そこに設けら
れたLCD22(図10)が露出状態にある場合、ステ
ップS118に進み、CPU202は、LCDドライバ
206を制御することにより、LCD22がオフ状態に
なっているときはオン状態にして、ステップS120に
進む。
ネル15が閉じていると判定された場合、即ち、サイド
パネル15が閉じており、そこに設けられたLCD22
が収納状態となっており、さらに、閉じた状態のサイド
パネル15によって、メインパネル14に設けられたL
CD21(図10)の一部(上半分)が隠された状態に
なっている場合、ステップS119に進み、CPU20
2は、LCDドライバ206を制御することにより、L
CD21と22のうちのオン状態となっているものをオ
フ状態にして、ステップS120に進む。
スイッチ部225によるサブパネル16(図9、図1
0)の開閉の状態の検出結果に基づいて、サブパネル1
6が開いているかどうかを判定する。ステップS120
において、サブパネル16が閉じていると判定された場
合、即ち、サイドパネル16が閉じており、そこに設け
られたLCD23が収納状態となっており、さらに、閉
じた状態のサイドパネル16によって、メインパネル1
4に設けられたLCD21(図10)の一部(下半分)
が隠された状態になっている場合、ステップS121に
進み、CPU202は、LCDドライバ206を制御す
ることにより、LCD21と23のうちのオン状態とな
っているものをオフ状態にして、ステップS111に戻
る。
ネル16が開いていると判定された場合、即ち、サブパ
ネル16が開いており、そこに設けられたLCD23
(図10)が露出状態にある場合、ステップS122に
進み、CPU202は、LCDドライバ206を制御す
ることにより、LCD23がオフ状態になっているとき
はオン状態にして、ステップS123に進む。
スイッチ部225によるサブパネル15および16(図
9、図10)の開閉の状態の検出結果に基づいて、サブ
パネル15と16の両方が開いているかどうかを判定す
る。ステップS123において、サブパネル15および
16の両方、またはいずれか一方が閉じていると判定さ
れた場合、即ち、サイドパネル15と16のうちの少な
くとも一方が閉じており、閉じた状態のサイドパネル1
5または16によって、メインパネル14に設けられた
LCD21(図10)の少なくとも一部(上半分または
下半分)が隠された状態になっている場合、ステップS
124に進み、CPU202は、LCDドライバ206
を制御することにより、LCD21がオン状態となって
いるときには、そのLCD21をオフ状態にして、ステ
ップS111に戻る。
ネル15と16の両方が開いていると判定された場合、
即ち、サブパネル15および16が開いており、サブパ
ネル15と16それぞれに設けられたLCD22と23
(図10)がそれぞれ露出状態にあり、さらに、メイン
パネル14に設けられたLCD21も露出状態にある場
合、ステップS125に進み、CPU202は、LCD
ドライバ206を制御することにより、LCD21乃至
23のうちのオフ状態になっているものをオン状態にし
て、ステップS111に戻る。
説明したように、複数である6つのLCD41,51,1
2,21乃至23それぞれごとに1つの情報を表示し、
その6つのLCD41,51,12,21乃至23それぞ
れに表示された情報のうちのいずれかが選択された場合
には、その選択された情報にリンクされている複数の情
報それぞれを、6つのLCD41,51,12,21乃至
23それぞれに表示させることを繰り返すことができ
る。
連の情報が、階層構造に構造化されている場合、上位階
層の複数の情報を表示し、そのうちのいずれかの情報
を、ユーザが選択したときには、その情報にリンクされ
ている(対応付けられている)下位階層の情報を表示す
ることを順次繰り返すことができ、この場合、ユーザ
は、比較的容易に所望の情報に辿り着く(所望の情報を
検索する)ことができる。
て、そのような階層構造に構造化された情報の表示を制
御する階層表示制御処理について説明する。
3)を操作することにより、情報の表示を要求すると、
その情報の表示の要求(以下、適宜、表示要求という)
は、入力I/F223およびバス201を介して、CP
U202に供給される。CPU202は、表示要求を受
信すると、バス201を介して、HDD215にアクセ
スし、ステップS131において、表示要求によって要
求されている情報を検索する。
検索するようにしたが、情報は、その他、例えば、通信
I/F218を介して、外部の装置(例えば、ベース基
地コンピュータ102や、他のPDA103、インター
ネット105上の図示せぬサーバ、通信端末106等)
と通信を行い、その外部の装置が有する記憶媒体(記録
媒体)から検索するようにすることも可能である。
要求によって要求されている情報を検索すると、ステッ
プS132に進み、その情報が、階層構造を有するもの
であるかどうかを判定する。ステップS132におい
て、HDD215から検索された情報が、階層構造を有
するものではないと判定された場合、ステップS133
乃至S136をスキップして、ステップS137に進
む。ステップS137ではCPU202は、HDD21
5から検索した情報を、LCDドライバ206に供給
し、LCD41,51,12,21乃至23に、HDD2
15から検索した情報を、例えば、図36で説明したマ
ルチスクリーン表示させて、処理を終了する。
215から検索された情報が、階層構造を有するもので
あると判定された場合、ステップS133に進み、CP
U202は、HDD215から検索した情報のうちの最
上位階層の複数の情報を、LCDドライバ206に供給
し、これにより、LCD41,51,12,21乃至23
に、最上位階層の複数の情報を、図37で説明したよう
に、ディレクトリ表示させ、ステップS134に進む。
ユーザが、LCD41,51,12,21乃至23のうち
のいずれかをタッチすることにより、LCD41,51,
12,21乃至23に表示されたいずれかの情報を選択
したかどうかを判定する。
3のうちのいずれかにタッチしたかどうかは、CPU2
02が、タッチパネルドライバ205の出力を監視する
ことにより判定される。
51,12,21乃至23に表示されたいずれの情報も
選択されていないと判定された場合、ステップS134
に戻る。
41,51,12,21乃至23に表示されたいずれかの
情報が選択されたと判定された場合、ステップS135
に進み、CPU202は、その選択された情報の階層に
リンクされている下位階層が存在するかどうかを判定す
る。
報の階層にリンクされている下位階層が存在すると判定
された場合、ステップS136に進み、CPU202
は、その下位階層の複数の情報を、LCDドライバ20
6に供給し、これにより、LCD41,51,12,21
乃至23に、その下位階層の複数の情報をディレクトリ
表示させ、ステップS134に戻り、以下、同様の処理
を繰り返す。
6の処理が繰り返されることにより、LCD41,51,
12,21乃至23には、順次、より下位階層の情報が
表示されていく。
が選択した情報の階層にリンクされている下位階層が存
在しないと判定された場合、ステップS137に進み、
CPU202は、LCDドライバ206を制御すること
により、LCD41,51,12,21乃至23に、ユー
ザが選択した情報の内容をマルチスクリーン表示させ、
処理を終了する。
情報のフォーマットを示している。
を示しており、図42(B)は、その1つ下位の階層
(2番目の階層)の情報を、図42(C)は、さらにそ
の1つ下位の階層(3番目の階層)の情報を、それぞれ
示している。
および表示情報で構成されている。
の実施の形態では、階層情報は、最上位階層の階層情報
を0として、下位の階層になるほど、その値が1ずつ増
加するようになっている。
ンク先の情報を表す。
乃至23に表示される画像データである。
上位階層の情報Info#0の表示情報に、メニュー画面の画
像データが配置されている場合において、ユーザが、メ
ニュー画面の表示を要求したときには、例えば、図37
(A)に示したようなメニュー画面が、LCD41,
51,12,21乃至23に表示される。
項目「映画」が表示されたLCD22をタッチすること
により選択すると、図42(A)の最上位階層の情報In
fo#0のリンク情報において、項目「映画」にリンクされ
ている図42(B)における2番目の階層の情報Info#1
に配置されている表示情報が、LCD41,51,12,
21乃至23に表示される。即ち、項目「映画」のリン
ク先の情報Info#1には、映画のタイトル情報(例えば、
タイトルの画像データ)が、表示情報として配置されて
おり、このタイトル情報が、LCD41,51,12,2
1乃至23に表示される。これにより、図37(B)に
示したように、映画のタイトル#1乃至#6がディレク
トリ表示される。
おいて、例えば、映画のタイトル#1が表示されたLC
D41をタッチすることにより選択すると、図42
(B)の2番目の階層の情報Info#1のリンク情報におい
て、映画のタイトル#1にリンクされている図42
(C)における3番目の階層の情報Info#2に配置されて
いる表示情報が、LCD41,51,12,21乃至23
に表示される。即ち、映画のタイトル#1のリンク先の
情報Info#2には、映画の紹介情報(例えば、監督や主演
俳優等の静止画の画像データ)が、表示情報として配置
されており、この紹介情報が、LCD41,51,12,
21乃至23に表示される。これにより、図37(C)
に示したように、映画の監督や主演俳優等の画像がディ
レクトリ表示される。
リンク情報には、その紹介情報としての画像に表示され
ている監督や主演男優等のビデオクリップその他のデー
タがリンクされており、これにより、例えば、ユーザ
が、映画の監督が表示されているLCDをタッチする
と、LCD41,51,12,21乃至23には、その監
督のビデオクリップを再生した画像がマルチスクリーン
表示される。
おくことで、情報の検索を容易化することが可能とな
る。
画像データやテキストデータ、さらには、音声データを
採用することが可能である。なお、階層構造とする情報
として音声データを採用する場合には、音声データそれ
自体は、LCD41,51,12,21乃至23で表示す
ることができないため、LCD41,51,12,21乃
至23には、音声データに対応するテキスト(例えば、
その音声データが楽曲のデータである場合には、その曲
名など)等が表示される。但し、音声については、LC
D41,51,12,21乃至23それぞれにスピーカを
設け、その各スピーカから音声を出力するようにするこ
とで、音声を、ディレクトリ表示に相当する方法で出力
することが可能である。
A103とが通信する様子を示している。同図に示すよ
うに、PDA101は、1つのPDA103と通信する
こともできるし、PDA103に他のPDAを加えた複
数のPDAと通信することもできる。他のPDA103
も同様である。
の1以上のPDAと通信を行うことにより受信したデー
タに基づき、より品質の良いデータを得ることが可能と
なっている。
の間で、データの送受信が行われる場合のPDA101
と103の機能的構成例を示している。ここで、図44
に示したPDA101の機能的構成は、例えば、CPU
202(図23)がプログラムを実行することで実現さ
れる。PDA103の機能的構成も同様である。
ら103に対してデータが送信されるものとしてあり、
従って、PDA101がデータを送信する送信装置とし
て機能し、PDA103がそのデータを受信する受信装
置として機能する。
理部401から構成され、送信処理部401は、受信装
置としてのPDA103に送信するデータとしての、例
えば、画像データに対して所定の送信処理を施し、受信
装置としてのPDA103に送信する。
置としてのPDA101から送信されてくるデータを受
信し、所定の受信処理を施し、画像データを得て出力す
る。
に対してデータが送信されるものとしたが、PDA10
3から101に対してデータを送信することも可能であ
り、この場合、PDA103がデータを送信する送信装
置として機能し、PDA101がそのデータを受信する
受信装置として機能する。
信装置として機能する場合もあるし、受信装置として機
能する場合もあるので、いずれも、送信処理部401と
受信処理部402の両方を有するが、図44において
は、PDA101については、受信処理部402の図示
を省略してあり、PDA103については、送信処理部
401の図示を量略してある。そこで、以下では、特に
断らない限り、PDA101を送信装置とするととも
に、PDA103を受信装置として、説明を行う。
1の構成例を示している。
1は、符号化部411とイベント検出部412から構成
されている。そして、符号化部411には、PDA10
3に送信する画像データが供給されるようになってお
り、イベント検出部412には、後述するリクエスト信
号が供給されるようになっている。
データは、例えば、PDA101(図23)のCCDカ
メラ65で撮像されたものや、HDD215に記憶され
ているものである。さらに、ここでは、符号化部411
に供給される画像データは、画質の良い高解像度の画像
(以下、適宜、HD(High definition)画像という)で
あるとする。
リクエスト信号は、受信装置としてのPDA103から
送信されてくるもので、通信I/F218(図23)で
受信されて、イベント検出部412に供給されるように
なっている。
画像データについて符号化等を行い、受信装置としての
PDA103に送信すべき送信データを得て出力する。
この送信データは、通信I/F218(図23)を介し
て、受信装置としてのPDA103に送信される。
を受信すると、そのリクエスト信号の受信をイベントと
して検出し、イベントが発生したことを表すメッセージ
(以下、適宜、イベントメッセージという)を、符号化
部411に供給する。
ように、データ圧縮部421、送信制御部422、クラ
スタップ抽出部423、クラス分類部424、クラスコ
ードデータベース425から構成される。
タは、データ圧縮部421およびクラスタップ抽出部4
23に供給されるようになっており、データ圧縮部42
1は、そこに供給されるHD画像データを、例えば、そ
の空間方向の画素数を間引く等して圧縮し、標準解像度
または低解像度の画像(以下、適宜、SD(StandardDef
inition)画像という)データに変換する。SD画像デー
タは、データ圧縮部421から送信制御部422に供給
される。
信が無線で行われるものとすると、その伝送帯域とし
て、それほど広い帯域を確保することができないことが
ある。そのため、狭帯域であっても、高速なデータ伝送
を行うことができるように、データ圧縮部421におい
て、データ量の多いHD画像データを、データ量の少な
いSD画像に変換(データ圧縮)するようになってい
る。
1からSD画像データが供給される他、クラスコードデ
ータベース425からクラスコードが供給されるように
なっている。さらに、送信制御部422は、イベント検
出部412からイベントメッセージも供給されるように
なっている。そして、送信制御部422は、基本的に
は、データ圧縮部421からのSD画像データを送信デ
ータとして選択して出力するが、イベント検出部412
からイベントメッセージを受信すると、クラスコードデ
ータベース425からのクラスコードを送信データとし
て選択して出力する。
されるHD画像データの各画素(以下、適宜、HD画素
という)を、順次、注目画素として、その注目画素をク
ラス分類するのに用いるHD画素を抽出し、クラスタッ
プとして出力する。
画素を複数のうちのいずれかにクラスタリング(クラス
分け)するのに用いるHD画素として、注目画素から空
間的または時間的に近い幾つかのHD画素(例えば、注
目画素を中心とする、水平方向×垂直方向の画素数が3
×3のHD画素)を、そこに供給されるHD画像データ
から抽出し、クラスタップとして出力する。クラスタッ
プ抽出部423が出力するクラスタップは、クラス分類
部424に供給される。
部423から供給される注目画素についてのクラスタッ
プに基づいて、注目画素をクラス分類し、そのクラス分
類の結果得られる、注目画素が属するクラスを表すクラ
スコードを出力する。
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。
成する画素の画素値が、KビットADRC処理され、その結
果得られるADRCコードにしたがって、注目画素のクラス
が決定される。
クラスタップを構成する画素値の最大値MAXと最小値MIN
が検出され、DR=MAX-MINを、集合の局所的なダイナミッ
クレンジとし、このダイナミックレンジDRに基づいて、
クラスタップを構成する画素がKビットに再量子化され
る。即ち、クラスタップを構成する各画素の画素値か
ら、最小値MINが減算され、その減算値がDR/2Kで除算
(量子化)される。そして、以上のようにして得られ
る、クラスタップを構成するKビットの各画素の画素値
を、所定の順番で並べたビット列が、ADRCコードとして
出力される。従って、クラスタップが、例えば、1ビッ
トADRC処理された場合には、そのクラスタップを構成す
る各画素の画素値は、最小値MINが減算された後に、最
大値MAXと最小値MINとの平均値で除算され、これによ
り、各画素の画素値が1ビットとされる(2値化され
る)。そして、その1ビットの画素値を所定の順番で並
べたビット列が、ADRCコードとして出力される。
ップを構成する画素のレベル分布(画素値分布)のパタ
ーンを、そのままクラスコードとして出力することも可
能であるが、この場合、クラスタップが、N個の画素で
構成され、各画素に、Kビットが割り当てられていると
すると、クラス分類によって得られるクラスコードの場
合の数は、(2N)K通りとなり、画素のビット数Kに指
数的に比例した膨大な数となる。
報量を、上述のADRC処理や、あるいはベクトル量子化等
によって圧縮する手法を利用するのが好ましい。
ス分類部424が出力するクラスコードを記憶する。
像データの各HD画素を注目画素としてクラス分類が行
われるから、クラスコードは、HD画素ごとに得られ
る。従って、クラスコードデータベース425には、H
D画像データの各HD画素のクラスコードを画素値とす
る画像データが記憶されると考えることができ、このク
ラスコードで構成される画像を、以下、適宜、クラスコ
ード画像という。
では、HD画像データから得られたSD画像データを送
信する画像データ送信処理、そのHD画像データからク
ラスコード画像を生成するクラスコード生成処理、およ
びクラスコードデータベース425に記憶されたクラス
コード画像を送信するクラスコード送信処理が行われる
ようになっている。
て、図45の送信処理部401で行われる画像データ送
信処理、クラスコード生成処理、およびクラスコード送
信処理について説明する。
照して、図45の送信処理部401が行う画像データ送
信処理について説明する。
24(図23)が、ユーザによって、画像データの送信
を要求するように操作が行われると開始される。
ば、1フレーム単位で、符号化部411に供給されるよ
うになっており、画像データ送信処理では、まず最初
に、ステップS201において、符号化部411のデー
タ圧縮部421が、そのHD画像データを、SD画像デ
ータに変換することにより圧縮し、そのSD画像データ
を、送信制御部422に供給する。
画面と考えることもできるし、静止画の1画面と考える
こともできる。
おいて、データ圧縮部421からのSD画像データを選
択し、送信データとして出力する。この送信データは、
通信I/F218(図23)に供給され、例えば、アン
テナ64から送信される。
像データを送信した後、次のSD画像データを送信する
までの間に余裕があるときには、同一フレームのSD画
像データが繰り返し送信される。従って、ステップS2
02では、同一フレームのSD画像データが、1回以上
送信される。
圧縮部421は、次のフレーム(次に処理すべきフレー
ム)のHD画像データがあるかどうかを判定し、あると
判定した場合、ステップS201に戻って、以下、同様
の処理を繰り返す。
レームのHD画像データがないと判定された場合、画像
データ送信処理を終了する。
において、同一フレームのSD画像データが、複数回続
けて送信されることがあるが、同一のSD画像データの
送信(再送)は、後で行うことも可能である。即ち、S
D画像データの再送は、一連のSD画像データの送信が
終了した後に、その一連のSD画像データを再び送信す
ることで行うことが可能である。
照して図45の送信処理部401が行うクラスコード生
成処理について説明する。
(A)に示した画像データ送信処理が開始されると開始
される。
ータ圧縮部421に供給されるのと同一のHD画像デー
タが、例えば、1フレーム単位で供給されるようになっ
ており、クラスタップ抽出部423は、まず最初に、ス
テップS211において、そこに供給された1フレーム
のHD画像データを構成する各HD画素を注目画素とし
て、各注目画素についてクラスタップを抽出する。この
クラスタップは、クラス分類部424に供給される。
部423から、1フレームの各HD画素を注目画素とす
るクラスタップを受信すると、ステップS212におい
て、各HD画素のクラスコードを、そのHD画素につい
てのクラスタップに基づいてクラス分類を行うことによ
り取得し、クラスコードデータベース425に供給す
る。
ップS213において、クラス分類部424から供給さ
れる1フレームのHD画像データを構成するHD画素そ
れぞれについてのクラスコードからなる画像、即ち、ク
ラスコード画像を記憶し、ステップS214に進む。
部423が、次のフレームのHD画像データがあるかど
うかを判定し、あると判定した場合、ステップS211
に戻って、以下、同様の処理を繰り返す。
レームのHD画像データがないと判定された場合、クラ
スコード生成処理を終了する。
照して、図45の送信処理部401が行うクラスコード
送信処理について説明する。
ステップS221において、送信制御部422が、所定
のイベントが発生したかどうかを判定する。
のPDA103からリクエスト信号が送信されてきたこ
とが、所定のイベントとして採用されており、ステップ
S221では、イベント検出部412がリクエスト信号
を受信することにより、PDA103からリクエスト信
号が送信されてきたというイベントが発生したことを表
すイベントメッセージを、送信制御部422に供給した
かどうかによって、所定のイベントが発生したかどうか
が判定される。
トが発生していないと判定された場合、ステップS22
1に戻り、所定のイベントが発生するまで待つ。
のイベントが発生したと判定された場合、ステップS2
22に進み、送信制御部422は、クラスコード画像
が、クラスコードデータベース425に記憶されている
かどうかを判定する。
画像が記憶されていないと判定された場合、ステップS
221に戻り、以下、同様の処理が繰り返される。
コード画像が記憶されていると判定された場合、ステッ
プS223に進み、送信制御部422は、クラスコード
データベース425に記憶されたクラスコードを読み出
し、送信データとして選択する。この送信データは、送
信制御部422から通信I/F218(図23)に供給
され、アンテナ64から送信される。
おいて、その処理の開始時に、クラスコードデータベー
ス425に記憶されていたすべてのクラスコード画像の
送信が終了すると、クラスコードデータベース425か
ら、その送信が終了したクラスコード画像を削除し、ス
テップS222に戻る。そして、上述したように、ステ
ップS222において、送信制御部422は、クラスコ
ードデータベース425に、クラスコード画像が記憶さ
れているかどうかを判定する。
始時から、今回のステップS222の処理の開始時まで
の間に、クラス分類部424において得られた新たなク
ラスコード画像が、クラスコードデータベース425に
記憶されている場合があるので、送信制御部422は、
そのような新たなクラスコード画像が、クラスコードデ
ータベース425に記憶されているかどうかを判定す
る。そして、その判定結果に基づき、以下、同様の処理
が繰り返される。
のイベントが発生すると、クラスコードデータベース4
25に記憶されるクラスコード画像がなくなるまで、ク
ラスコード画像の送信が行われる。
2の第1の構成例を示している。
2は、復号部431、画質判定部432、およびリクエ
スト信号送信部433で構成されている。
ータを復号等し、SD画像データまたはHD画像データ
を得る。
送信処理部401から、図45および図46で説明した
ようにして送信されてくる送信データが、そのアンテナ
64(図23)を介して、通信I/F218で受信さ
れ、その結果得られる受信データが、受信処理部402
に供給される。
からの受信データが、復号部431に供給され、復号部
431は、この受信データを処理することにより、SD
画像データまたはHD画像データを得る。
れたSD画像データの画質を判定し、その判定結果をリ
クエスト信号送信部433に供給する。
部432によるSD画像データの画質の判定結果に基づ
き、クラスコード画像を要求するリクエスト信号を生成
して出力する。このリクエスト信号は、通信I/F21
8(図23)に供給され、アンテナ64を介して、送信
装置としてのPDA101に送信される。
うに、受信制御部441、受信バッファ442、登録部
443、ストレージ444、選択部445、クラスコー
ドデータベース446、および適応処理部447から構
成されている。
し、その受信データがSD画像データである場合には、
受信バッファ442に供給し、受信データがクラスコー
ド画像である場合には、クラスコードデータベース44
6に供給する。
から供給されるSD画像データを一時記憶する。登録部
443は、受信バッファ442に記憶されたSD画像デ
ータの各フレームを、ストレージ444に記憶(登録)
させる制御を行う。ストレージ444は、登録部443
の制御にしたがい、SD画像データを記憶する。このS
D画像データは、ストレージ444から読み出され、選
択部445に供給される。
給されるSD画像データを選択し、LCDドライバ20
6(図23)に供給して、LCD3等に表示させる。但
し、選択部445は、適応処理部447から、後述する
ようにしてHD画像データが出力される場合には、その
HD画像データを選択し、LCDドライバ206(図2
3)に供給して、LCD3等に表示させる。
制御部441から供給されるクラスコード画像を記憶す
る。
ベース446に記憶されたクラスコード画像を構成する
各クラスコードを用いて、ストレージ444に記憶され
たSD画像データに適応処理を施し、これにより、その
SD画像データの画質を向上させたHD画像データを得
て、選択部445に供給する。
る画素(以下、適宜、SD画素という)と、所定のタッ
プ係数との線形結合により、そのSD画像の空間解像度
等を向上させたHD画像の画素の予測値を求めること
で、そのSD画像の解像度を高くした画像が得られる。
を教師データとするとともに、そのHD画像の解像度を
劣化させたSD画像を生徒データとして、HD画像を構
成する画素(以下、適宜、HD画素という)の画素値y
の予測値E[y]を、幾つかのSD画素(SD画像を構
成する画素)の画素値x1,x2,・・・の集合と、所定
のタップ係数w1,w2,・・・の線形結合により規定さ
れる線形1次結合モデルにより求めることを考える。こ
の場合、予測値E[y]は、次式で表すことができる。
wjの集合でなる行列W、生徒データxijの集合でなる
行列X、および予測値E[yj]の集合でなる行列Y’
を、
合(i件目の教師データyiの予測に用いる生徒データ
の集合)の中のj番目の生徒データを意味し、行列Wの
成分wjは、生徒データの集合の中のj番目の生徒デー
タとの積が演算されるタップ係数を表す。また、y
iは、i件目の教師データを表し、従って、E[yi]
は、i件目の教師データの予測値を表す。なお、式
(1)の左辺におけるyは、行列Yの成分yiのサフィ
ックスiを省略したものであり、また、式(1)の右辺
におけるx1,x2,・・・も、行列Xの成分xijのサフ
ィックスiを省略したものである。
して、HD画素の画素値yに近い予測値E[y]を求め
ることを考える。この場合、教師データとなるHD画素
の真の画素値yの集合でなる行列Y、およびHD画素の
画素値yに対する予測値E[y]の残差eの集合でなる
行列Eを、
成立する。
値E[y]を求めるためのタップ係数wjは、自乗誤差
で微分したものが0になる場合、即ち、次式を満たすタ
ップ係数wjが、HD画素の画素値yに近い予測値E
[y]を求めるため最適値ということになる。
jで微分することにより、次式が成立する。
られる。
徒データxij、タップ係数wj、教師データyi、および
残差eiの関係を考慮すると、式(6)から、次のよう
な正規方程式を得ることができる。
列(共分散行列)Aおよびベクトルvを、
に定義すると、式 AW=v ・・・(8) で表すことができる。
ータxijおよび教師データyiのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数wjの数
Jと同じ数だけたてることができ、従って、式(8)
を、ベクトルWについて解くことで(但し、式(8)を
解くには、式(8)における行列Aが正則である必要が
ある)、最適なタップ係数wjを求めることができる。
なお、式(8)を解くにあたっては、例えば、掃き出し
法(Gauss-Jordanの消去法)などを用いることが可能で
ある。
用いて、生徒データおよびタップ係数から教師データを
求めるのに統計的な誤差(ここでは、例えば、自乗誤
差)を最小にするタップ係数wjを求める学習をしてお
き、さらに、そのタップ係数wjを用い、式(1)によ
り、教師データyに近い予測値E[y]を求めるのが適
応処理である。
いないが、HD画像に含まれる成分が再現される点で、
単なる補間とは異なる。即ち、適応処理では、式(1)
だけを見る限りは、いわゆる補間フィルタを用いての単
なる補間と同一に見えるが、その補間フィルタのタップ
係数に相当するタップ係数wが、教師データyを用いて
の、いわば学習により求められるため、HD画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造(解像度創造)作用がある処
理ということができる。
(1))による適応処理について説明したが、適応処理
では、2次以上の高次の予測演算を用いることも可能で
ある。
図47の適応処理部447の構成例を示している。
記憶されたSD画像データが、例えば、1フレーム単位
で供給されるようになっており、バッファ451は、そ
のSD画像データを一時記憶する。
1に記憶されたSD画像データのフレームのうち、まだ
処理していない最も古い(時間的に最も過去のフレー
ム)フレームを注目フレームとし、さらに、その注目フ
レームのSD画像データの画質を向上させたHD画像デ
ータを構成するHD画素を、順次、注目画素として、そ
の注目画素の画素値を予測するのに用いるSD画素を、
バッファ451に記憶されたSD画像データから抽出
し、後段の積和演算部453で用いる予測タップとして
出力する。
素の位置に対応するSD画像データの位置から空間的ま
たは時間的に近い位置にある幾つかのSD画素(例え
ば、水平方向×垂直方向の画素数が5×5のSD画素)
を、予測タップとして抽出して出力する。
52が出力する注目画素についての予測タップと、後述
する係数メモリ455から供給される注目画素のクラス
のタップ係数とを用いて、式(1)の線形一次予測演算
を行い、これにより、注目画素の画素値(HD画素の画
素値の予測値)を求めて出力する。
コードデータベース446(図47)に記憶されたクラ
スコード画像のうち、注目フレームのHD画像データか
ら生成されたものを、注目クラスコード画像として読み
出す。さらに、クラスコード読み出し部454は、注目
クラスコード画像のクラスコードのうち、注目画素に対
応するものを、係数メモリ455に対して、アドレスと
して与える。
されるクラスコード画像には、そのクラスコード画像に
対応するHD画像のフレームを識別するフレーム識別情
報が付加されるようになっており、クラスコード読み出
し部454は、注目フレームに対応するクラスコード画
像(注目フレームのHD画像データから生成されたクラ
スコード画像)を、そのフレーム識別情報に基づいて認
識する。
ータを教師データとするとともに、学習用のSD画像デ
ータを生徒データとして、HD画像データのHD画素が
クラス分類され得るクラス(以下、適宜、HDクラスと
いう)ごとに、式(8)に示した正規方程式をたてて解
くことにより求められたHDクラスごとのタップ係数を
記憶している。即ち、係数メモリ455は、各HDクラ
スに対応するアドレスに、そのHDクラスのタップ係数
が記憶されている。そして、係数メモリ455は、クラ
スコード読み出し部454から供給される注目画素のク
ラスに対応するアドレスから、そのクラスのタップ係数
を読み出し、積和演算部453に供給する。
習を行う方法については、後述する。
DA101から送信されてくる画像データを処理する画
像データ受信処理、PDA101にリクエスト信号を送
信するリクエスト信号送信処理、および画像データの画
質を向上させる適応処理が行われるようになっている。
て、図47の受信処理部402で行われる画像データ受
信処理、リクエスト信号送信処理、および適応処理につ
いて説明する。
トを参照して、画像データ受信処理について説明する。
タは、アンテナ64(図23)で受信され、通信I/F
218を介して、受信データとして、受信制御部441
に供給される。
コード画像である場合、そのクラスコード画像を、クラ
スコードデータベース446に供給して記憶させる。
SD画像データである場合、そのSD画像データを受信
バッファ442に供給して記憶させる。
タの記憶が開始されると、画像データ受信処理が開始さ
れ、まず最初に、ステップS231において、登録部4
43は、受信バッファ442に記憶されたSD画像デー
タのうち、最も古い(最も時間的に過去の)フレーム
を、注目フレームとして、その注目フレームのSD画像
データを読み出し、その読み出したSD画像データを、
受信バッファ442から削除する。さらに、ステップS
231において、登録部443は、受信バッファ442
から読み出た注目フレームのSD画像データと同一のフ
レームのSD画像データが、ストレージ444に既に記
憶されているかどうかを判定する。
送信制御部422において、送信データとして出力され
るSD画像データの各フレームに、そのフレームを識別
する識別情報が付加されるようになっており、登録部4
43は、そのフレーム識別情報を参照することで、受信
バッファ442から読み出したSD画像データと同一フ
レームのSD画像データが、ストレージ444に記憶さ
れているかどうかを判定する。
いて、同一フレームのSD画像データが複数存在しうる
のは、図46(A)のフローチャートで説明したよう
に、図45の送信処理部401が同一フレームのSD画
像データを送信することがあるからである。
と同一フレームのSD画像データが、ストレージ444
に記憶されていないと判定された場合、ステップS23
2に進み、登録部443は、注目フレームのSD画像デ
ータを、ストレージ444に書き込み、ステップS23
6に進む。
レームと同一フレームのSD画像データが、ストレージ
444に記憶されていると判定された場合、ステップS
233に進み、登録部443は、ストレージ444に記
憶されているSD画像データのうち、注目フレームと同
一フレームのSD画像データを読み出し、ステップS2
34に進む。
注目フレームのSD画像データと、ステップS234で
読み出した、注目フレームと同一フレームのSD画像デ
ータとを重み付け加算し、その重み付け加算値を画素値
とする新たな注目フレームのSD画像データを生成す
る。
D画像データと、ストレージ444から読み出した、注
目フレームと同一フレームのSD画像データとを位置あ
わせした上で、同一位置にある画素値どうしを重み付け
加算し、その位置における新たな画素値を求める。
け加算においては、その重み付け加算に用いる重みを、
例えば、ストレージ444から読み出したSD画像デー
タの重み付け加算回数に基づいて決定することができ
る。
と同一のフレームのSD画像データが記憶されている場
合、登録部443において、その注目フレームのSD画
像データと、ストレージ444に記憶されているSD画
像データとが重み付け加算され、その重み付け加算値を
画素値とするSD画像データが、注目フレームのSD画
像データとして、新たに、ストレージ444に上書きす
る形で記憶される。
注目フレームと同一フレームのSD画像データが、Nフ
レーム分のSD画像データの重み付け加算値である場合
には、ステップS234では、注目フレームのSD画像
データの重みを1とするとともに、ストレージ444に
記憶された注目フレームと同一フレームのSD画像デー
タの重みをNとして、その2つのSD画像データの重み
付け加算を行うようにすることができる。
されるものではない。
受信バッファ442から読み出したSD画像データと、
ストレージ444から読み出したSD画像データとの重
み付け加算値としての新たなSD画像データを得ると、
ステップS235に進み、その注目フレームの新たなS
D画像データを、ストレージ444に供給し、そこに記
憶されていた注目フレームと同一フレームのSD画像デ
ータに上書きする形で記憶させる。
443は、受信バッファ442に、まだ、SD画像デー
タが記憶されているかどうかを判定し、記憶されている
と判定した場合、ステップS231に戻り、次のフレー
ム(次に処理すべきフレーム)を新たに注目フレームと
して、以下、同様の処理を繰り返す。
ッファ442に、SD画像データが記憶されていないと
判定された場合、処理を終了する。
同一フレームのSD画像データが重み付け加算されるた
め、画質を向上させたSD画像データを得ることが可能
となる。
SD画像データが送信される場合には、その送信中に、
SD画像データにノイズが重畳したり、また、一部のデ
ータが欠落したりすることがあり、このようなノイズの
重畳やデータの欠落等は、SD画像データの画質を大き
く劣化させる。そこで、登録部443は、上述のよう
に、同一フレームのSD画像データどうしの重み付け加
算を行うことで、その画質の劣化を改善する(画質が劣
化した画像を基準とすれば、画質を向上させる)ように
なっている。
照して、リクエスト信号送信処理について説明する。
のタイミングで開始され、まず最初に、ステップS24
1において、画質判定部432が、ストレージ444に
記憶されている各フレームのSD画像データを読み出
し、各フレームのSD画像データの自己相関を演算す
る。
プS241で計算した自己相関に基づいて、各フレーム
のSD画像データの画質を評価し、ステップS243に
進む。
は、ステップS242での画質の評価結果に基づき、ス
トレージ444に記憶された各フレームのSD画像デー
タが、ある程度画質の良いものとなっているかどうかを
判定する。ステップS243において、ストレージ44
4に記憶された各フレームのSD画像データが、あまり
画質の良いものとなっていないと判定された場合、ステ
ップS244をスキップして、処理を終了する。
ージ444に記憶された各フレームのSD画像データ
が、ある程度画質の良いものとなっていると判定された
場合、ステップS244に進み、画質判定部432は、
リクエスト信号送信部433にリクエスト信号を出力さ
せ、処理を終了する。
PDA101に送信され、リクエスト信号を受信したP
DA101の送信処理部401(図45)では、上述し
たように、そのリクエスト信号をイベントとして、クラ
スコード画像が送信される。そして、PDA101から
送信されてくるクラスコード画像は、上述したように
に、受信制御部441を介して、クラスコードデータベ
ース446に供給されて記憶される。
SD画像データの自己相関が所定の閾値以上(より大)
であるかどうかや、SD画像データの自己相関が所定の
閾値以上であり、かつその所定の閾値以上の自己相関
が、図49(A)の画像データ受信処理においてSD画
像データの重み付け加算を行う前後で、ほとんど変化し
ないかどうか等を、SD画像の画質の評価基準として採
用することができる。
基準を満たす場合、即ち、SD画像データの自己相関が
所定の閾値以上である場合や、SD画像データの自己相
関が所定の閾値以上であり、かつその所定の閾値以上の
自己相関が、図49(A)の画像データ受信処理におい
てSD画像データの重み付け加算を行う前後で、ほとん
ど変化しない場合に、ストレージ444に記憶された各
フレームのSD画像データが、ある程度画質の良いもの
となっていると判定するようにすることができる。
評価する評価値として、そのSD画像データの自己相関
を用いることとしたが、他の評価値を用いることも可能
である。
価値としては、その他、例えば、ストレージ444に記
憶されたSD画像データの、図49(A)の画像データ
受信処理で重み付け加算がされる前後のものどうしの相
互相関などを採用することも可能である。この場合、画
質判定部432では、重み付け加算前のSD画像データ
と、重み付け加算後のSD画像データとが必要となる
が、重み付け加算前のSD画像データは、ストレージ4
44から読み出すことで取得し、重み付け加算後のSD
画像データは、登録部443に要求することで取得す
る。
価値として、上述のような相互相関を使用する場合も、
例えば、SD画像データの自己相関を使用する場合と同
様に、SD画像データの相互相関が所定の閾値以上であ
るかどうか等を、SD画像データの画質の評価基準とし
て採用することが可能である。
照して、適応処理について説明する。
ベース446にクラスコード画像が記憶されると開始さ
れる。
に、クラスコード画像が記憶されると、適応処理部44
7(図48)は、ストレージ444に記憶されたSD画
像データを、順次読み出し、バッファ451に記憶させ
る。
ファ451に記憶されたSD画像データのフレームのう
ち、まだ処理していない最も古い(時間的に最も過去の
フレーム)フレームを注目フレームとする。さらに、予
測タップ抽出部452は、ステップS251において、
注目フレームのSD画像データの画質を向上させたHD
画像データ(このHD画像データは、実際には存在しな
いが、存在するものと仮定される)を構成するHD画素
の、まだ予測値を求めていないものの1つを、注目画素
として、その注目画素の画素値を予測するのに用いるS
D画素を、バッファ451に記憶されたSD画像データ
から抽出し、予測タップとして出力する。
コード読み出し部454は、クラスコードデータベース
446(図47)に記憶されたクラスコード画像のう
ち、注目フレームのHD画像データから生成されたもの
を、注目クラスコード画像とし、その注目クラスコード
画像のクラスコードのうち、注目画素に対応するものを
読み出して、係数メモリ455に対して、アドレスとし
て与える。
クラスコードデータベース446から読み出したクラス
コードについては、例えば、その読み出し後、クラスコ
ードデータベース446から削除する。
ラスコードを受信すると、ステップS253に進み、そ
のクラスコードに対応するクラスの予測タップを読み出
し、積和演算部453に供給して、ステップS254に
進む。
が、予測タップ抽出部452が出力する注目画素につい
ての予測タップと、係数メモリ455から供給される注
目画素のクラスのタップ係数とを用いて、式(1)の線
形一次予測演算を行い、これにより、注目画素の画素値
(HD画素の画素値の予測値)を求めて出力し、ステッ
プS255に進む。
出し部454が、クラスコードデータベース446に、
クラスコードが、まだ記憶されているかどうかを判定
し、まだ記憶されていると判定された場合、ステップS
251に戻り、クラスコードデータベース446に記憶
されているクラスコードのうちのいずれかに対応するH
D画素を、新たに注目画素として、以下、同様の処理が
繰り返される。
コードデータベース446にクラスコードが記憶されて
いないと判定された場合、処理を終了する。
信処理部401から送信されてくるSD画像データが蓄
積され、重み付け加算により画質が改善されていく。
度改善されると、リクエスト信号が、送信処理部401
に送信され、これにより、送信処理部401から送信さ
れてくるクラスコード画像が、クラスコードデータベー
ス446に記憶される。そして、そのクラスコード画像
を用いて、SD画像データがHD画像データに変換され
る。
データの画質が、ある程度改善されると、そのことがト
リガとなって、クラスコード画像が要求され、そのクラ
スコード画像に基づき、SD画像データの画質をさらに
改善したHD画像データが得られることになる。即ち、
SD画像データの画質の改善がトリガとなって、そのS
D画像データが、より画質の良いHD画像データに変換
される。
が、突然改善されることになる。
(S/N(Signal/Noise)等)を、重み付け加算により改
善し、SD画像データの画質が、ある程度良好になって
から、そのSD画像データをHD画像データに変換する
ようにしたが、そのようなSD画像データの画質の改善
を行わずに、HD画像データへの変換を行うことも可能
である。
としての適応処理を行う適応処理部447(図48)で
用いられる係数メモリ455に記憶されたタップ係数
は、一般に、学習用のHD画像データを教師データとす
るとともに、そのHD画像データの解像度を単に劣化さ
せたSD画像データを生徒データとして用いて、式
(8)の正規方程式をたてて求められるものであるた
め、即ち、生徒データとしてのSD画像データは、デー
タの欠落が生じたものや、ノイズが重畳されたものでは
ないため、そのようなデータが欠落していたり、ノイズ
が重畳された画質が大きく劣化したSD画像データを対
象に適応処理を行うと、十分に画質を改善したHD画像
データを得ることが困難なことがある。
画質が改善されたSD画像データ、即ち、ここでは、過
去に受信したSD画像データを重み付け加算しながら蓄
積したものを用いて行うのが望ましい。
において、SD画像データの自己相関や相互相関に基づ
いて、ストレージ444に記憶されたSD画像データの
画質を判定するようにしが、SD画像の画質の判定は、
ユーザに行ってもらうようにすることも可能である。
ジ444に記憶されたSD画像データを表示し、ユーザ
に、そのSD画像データの画質が良くなったと感じたと
きに、操作部224等(図23)を、画質が良くなった
ことを表すように操作してもらうようにすることができ
る。この場合、操作部224は、そのような操作がされ
たことを表す操作信号(以下、適宜、画質向上操作信号
という)を、リクエスト信号送信部433に出力する。
そして、リクエスト信号送信部433は、図47におい
て点線で示すように、画質向上操作信号を受信すると、
リクエスト信号を送信する。
から受信処理部402に対しては、クラスコード画像が
送信されてくるので、受信処理部402では、やはり、
SD画像データの画質をより向上させたHD画像データ
を得ることができる。即ち、この場合、外部入力として
のユーザの操作をトリガとして、SD画像がHD画像に
変換されることになる。
3では、例えば、受信装置としてのPDA103が、デ
ータの送受信を行ってない待ち受け状態にあるかどうか
を判定し、待ち受け状態にあるときに、リクエスト信号
を送信するようにすることが可能である。この場合、送
信処理部401から受信処理部402に対しては、PD
A103(受信処理部402)が待ち受け状態にあると
きに、クラスコードが送信されることになる。
ベント検出部412において、リクエスト信号を検出す
る他、送信装置としてのPDA101が、データの送受
信を行っていない待ち受け状態にあるかどうかを判定
し、待ち受け状態にあるときに、イベントメッセージを
出力するようにすることが可能である。この場合、送信
処理部401から受信処理部402に対しては、PDA
101(送信処理部401)が待ち受け状態にあるとき
に、クラスコードが送信されることになる。
402に対するクラスコードの送信は、送信装置として
のPDA101と、受信装置としてのPDA103のい
ずれもが待ち受け状態であることを、所定のイベントと
して行うようにすることも可能である。
1の第2の構成例を示している。なお、図中、図45に
おける場合と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。即
ち、図50の送信処理部401は、ストレージ413、
学習部414、タップ係数バッファ415、およびスト
レージ416が新たに設けられている他は、基本的に、
図45における場合と同様に構成されている。
供給されるのと同一のHD画像データが供給されるよう
になっており、ストレージ413は、そのHD画像デー
タを一時記憶する。
に記憶されたHD画像データを、学習用の画像データと
して、上述した式(8)の正規方程式をたてて解く学習
を行うことにより、適応処理に用いられるタップ係数を
取得する。このタップ係数は、タップ係数バッファ41
5に供給される。
4が出力するタップ係数を一時記憶する。なお、タップ
係数バッファ415に記憶されたタップ係数は、例え
ば、送信制御部422において、クラスコードバッファ
425に記憶されたクラスコードが送信されるのと同じ
タイミングで、そのクラスコードとともに送信される。
プ係数の学習を行うにあたって、その学習の途中で得ら
れる情報を一時記憶する。
構成例を示している。
レージ413に新たに記憶されたHD画像データを、教
師データとして記憶する。
縮部421と同様にして、HD画像データを圧縮し、S
D画像データを生成して出力する。
462が出力するSD画像データを、生徒データとして
記憶する。
モリ461に記憶された教師データとしてのHD画像デ
ータを構成するHD画素を、順次、注目画素として、そ
の注目画素について、図48の予測タップ抽出部452
(後述する図54の予測タップ抽出部452)が構成す
るのと同一の予測タップを、生徒データメモリ463に
記憶された生徒データとしてのSD画像データを構成す
るSD画素から生成し、足し込み部467に供給する。
ついて、図50のクラスタップ抽出部423が構成する
のと同一のクラスタップを、教師データメモリ461に
記憶された教師データとしてのHD画像データを構成す
るHD画素から構成し、クラス分類部466に出力す
る。
部465から供給される注目画素についてのクラスタッ
プに基づいて、図50のクラス分類部424における場
合と同様にして、注目画素をクラス分類し、そのクラス
を表すクラスコードを、足し込み部467に出力する。
61から、注目画素となっている教師データ(HD画
素)を読み出し、予測タップ生成部464からの予測タ
ップを構成する生徒データ、および注目画素としての教
師データを対象とした足し込みを、ストレージ416
(図50)の記憶内容を用いながら、クラス分類部46
6から供給されるクラスごとに行う。
分類部466から供給されるクラスコードに対応するク
ラスごとに、予測タップ(生徒データ)を用い、式
(8)の行列Aにおける各コンポーネントとなってい
る、生徒データどうしの乗算(xinxim)と、サメーシ
ョン(Σ)に相当する演算を行う。
ラス分類部466から供給されるクラスコードに対応す
るクラスごとに、予測タップ(生徒データ)および注目
画素(教師データ)を用い、式(8)のベクトルvにお
ける各コンポーネントとなっている、生徒データと教師
データの乗算(xinyi)と、サメーション(Σ)に相
当する演算を行う。
67において前回の学習までに求められた式(8)にお
ける行列Aのコンポーネントと、ベクトルvのコンポー
ネントを、クラスごとに記憶している。
データを用いて学習を行う場合、ストレージ416に記
憶された、前回までの学習で求められた式(8)におけ
る行列Aのコンポーネントと、ベクトルvのコンポーネ
ントを読み出し、その行列Aまたはベクトルvのコンポ
ーネントに対して、新たな学習用の画像データから得ら
れる教師データおよび生徒データを用いて計算される、
対応するコンポーネントxinximまたはxinyiをそれ
ぞれ足し込むことにより(行列A、ベクトルvにおける
サメーションで表される加算を行うことにより)、各ク
ラスについて、式(8)に示した新たな正規方程式をた
てる。
習用の画像データだけではなく、過去の学習に用いられ
た画像データにも基づいて、式(8)の正規方程式がた
てられる。即ち、ストレージ416は、過去の学習にお
いて得られた行列Aおよびベクトルvのコンポーネント
を蓄積しており、足し込み部467では、その蓄積され
た行列Aおよびベクトルvのコンポーネントをも用い
て、式(8)の正規方程式がたてられる。
習が行われる場合おいては、ストレージ416には、前
回の学習までに求められた行列Aとベクトルvのコンポ
ーネントは記憶されていないため、式(8)の正規方程
式は、いまある学習用の画像データだけを用いてたてら
れることになる。
数が十分でないこと等に起因して、タップ係数を求める
のに必要な数の正規方程式が得られないクラスが生じる
場合があり得る。
め用意された多数のHD画像データを学習用のデータと
して学習を行うことにより得られた、クラスごとの行列
Aのコンポーネントと、ベクトルvのコンポーネント
を、初期値として記憶させておくようにすることができ
る。この場合、タップ係数を求めるのに必要な数の正規
方程式が得られないクラスが生じることを防止すること
ができる。
データから得られた行列Aおよびベクトルvのコンポー
ネントと、ストレージ416に記憶された行列Aおよび
ベクトルvのコンポーネントと用いて、新たに、クラス
ごとの行列Aおよびベクトルvのコンポーネントを求め
ると、それらのコンポーネントを、ストレージ416に
供給し、上書きする形で記憶させる。
たクラスごとの行列Aおよびベクトルvのコンポーネン
トで構成される式(8)の正規方程式を、タップ係数決
定部468に供給する。
67から供給されるクラスごとの正規方程式を解くこと
により、クラスごとに、タップ係数を求め、このクラス
ごとのタップ係数を、タップ係数バッファ415(図5
0)に供給して、上書きする形で記憶させる。
タップ抽出部465において、図50のクラスタップ抽
出部423と同様に、HD画像データを構成するHD画
素からクラスタップが生成され、さらに、クラス分類部
466において、そのHD画素から構成されるクラスタ
ップに基づいて、クラス分類が行われるから、タップ係
数決定部468で得られるクラスごとのタップ係数は、
HDクラスごとのタップ係数である。
では、図46で説明した画像データ送信処理、クラスコ
ード生成処理、およびクラスコード送信処理の他、HD
クラスごとのタップ係数を求める学習処理、およびその
HDクラスごとのタップ係数を送信するタップ係数送信
処理が行われるようになっている。
て、図50の送信処理部401で行われる学習処理およ
びタップ係数送信処理について説明する。
照して、図50の送信処理部401が行う学習処理につ
いて説明する。
414(図51)において開始される。
に、あるいは、ストレージ413(図50)に、所定数
フレーム以上の新たなHD画像データが記憶されると、
学習処理を開始する。
回の学習から今回の学習までの間に、ストレージ413
(図50)に新たに記憶されたHD画像データが、新た
な学習用の画像データとして読み出され、教師データメ
モリ461に供給され、教師データとして記憶される。
込み部467が、ストレージ416から、式(8)にお
ける行列Aのコンポーネントと、ベクトルvのコンポー
ネントを読み出し、ステップS262に進む。
2が、教師データメモリ461に記憶された教師データ
を読み出し、SD画像データに変換する。このSD画像
データは、生徒データメモリ463に供給され、生徒デ
ータとして記憶される。
ップ抽出部461が、教師データメモリ416に記憶さ
れた教師データとしてのHD画素のうち、まだ注目画素
としていないもののうちの1つを注目画素として、その
注目画素について、生徒データメモリ463から生徒デ
ータとしての幾つかのSD画素を読み出すことにより、
予測タップを生成する。
ップ抽出部465が、注目画素について、教師データメ
モリ461から教師データとしての幾つかのHD画素を
読み出すことにより、クラスタップを生成する。
タップは、足し込み部467に供給され、クラスタップ
抽出部465で生成されたクラスタップは、クラス分類
部466に供給される。
分類部466が、クラスタップ抽出部465から供給さ
れるクラスタップに基づき、注目画素をクラス分類し、
その注目画素のクラスを表すクラスコードを、足し込み
部467に供給する。
み部467は、教師データメモリ461から注目画素を
読み出し、その注目画素と、予測タップ抽出部464か
らの予測タップを用いて、行列Aとベクトルvのコンポ
ーネントを計算する。さらに、足し込み部467は、ス
テップS261でストレージ416(図50)から読み
出した行列Aとベクトルvのコンポーネントのうち、ク
ラス分類部466からのクラスコードに対応するものに
対して、注目画素と予測タップから求められた行列Aと
ベクトルvのコンポーネントを足し込み、ステップS2
66に進む。
464が、教師データメモリ461に、まだ、注目画素
としていない教師データが存在するかどうかを判定し、
存在すると判定した場合、ステップS263に戻り、ま
だ、注目画素とされていない教師データを、新たに注目
画素として、以下、同様の処理が繰り返される。
ータメモリ461に、注目画素としていない教師データ
が存在しないと判定された場合、足し込み部467は、
それまでに得られているクラスごとの行列Aおよびベク
トルvのコンポーネントで構成される式(8)の正規方
程式を、タップ係数決定部468に供給し、ステップS
267に進む。
は、タップ係数決定部468に供給したクラスごとの行
列Aおよびベクトルvのコンポーネントを、ストレージ
416にも供給し、上書きする形で記憶させ、ステップ
S268に進む。
468は、足し込み部467から供給される各クラスご
との正規方程式を解くことにより、各クラスごとに、タ
ップ係数を求める。さらに、ステップS268では、タ
ップ係数決定部468は、各クラスごとのタップ係数
を、タップ係数バッファ415に供給して上書きする形
で記憶させ、学習処理を終了する。
照して、図50の送信処理部401が行うタップ係数送
信処理について説明する。
テップS271において、送信制御部401が、図46
(C)のステップS221における場合と同様にして、
所定のイベントが発生したかどうかを判定し、所定のイ
ベントが発生していないと判定した場合、ステップS2
71に戻り、所定のイベントが発生するまで待つ。
のイベントが発生したと判定された場合、ステップS2
72に進み、送信制御部422は、クラス(HDクラ
ス)ごとのタップ係数が、タップ係数バッファ415に
記憶されているかどうかを判定する。
とのタップ係数が記憶されていないと判定された場合、
ステップS271に戻り、以下、同様の処理が繰り返さ
れる。
ラスごとのタップ係数が記憶されていると判定された場
合、ステップS273に進み、送信制御部422は、タ
ップ係数バッファ415に記憶されたクラスコードを読
み出し、送信データとして選択する。この送信データ
は、送信制御部422から通信I/F218(図23)
に供給され、アンテナ64から送信される。
おいて、タップ係数バッファ415に記憶されていたす
べてのHDクラスごとのタップ係数の送信が終了する
と、ステップS271に戻り、以下、同様の処理を繰り
返す。
2の第2の構成例を示している。即ち、図53は、送信
処理部401が図50に示したように構成される場合の
受信処理部402の構成例を示している。
る部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図53の受信処
理部402は、適応処理部447に代えて適応処理部4
48が設けられている他は、基本的に、図47における
場合と同様に構成されている。
50の送信処理部401から、SD画像データおよびH
Dクラスを表すクラスコードの他、HDクラスごとのタ
ップ係数が送信されてくる場合があり、HDクラスごと
のタップ係数が送信されてきた場合には、受信制御部4
41は、そのHDクラスごとのタップ係数を、適応処理
部448に供給するようになっている。
ら供給されるタップ係数を用いて、図48の適応処理部
447における場合と同様の処理(適応処理)を行い、
これにより、HD画像データを生成する(予測する)よ
うになっている。
8の構成例を示している。なお、図中、図48の適応処
理部447における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図54の適応処理部448は、登録部4
56が新たに設けられている他は、図48の適応処理部
447と同様に構成されている。
3)から供給されるHDクラスごとのタップ係数を受信
し、係数メモリ455に上書きする形で記憶させる。
の、HDクラスごとのタップ係数を用いて適応処理が行
われるようになっていたが、図54の実施の形態では、
図50の送信処理部401から、新たなHDクラスごと
のタップ係数が送信されてくると、その新たなHDクラ
スごとのタップ係数によって、係数メモリ455の記憶
内容が更新され、その新たなHDクラスごとのタップ係
数を用いて適応処理が行われる。
ように、新たなHD画像データを、新たな学習用の画像
データとして、タップ係数が更新されるから、そのタッ
プ係数は、SD画像を、より、HD画像に近い画像に変
換するものとなっていく。従って、図53の受信処理部
402では、そのようなタップ係数を用いて、適応処理
が行われるので、より画質の良いHD画像を得ることが
可能となる。
421、並びに図51のデータ圧縮部462では、HD
画像データの空間方向の画素数を間引く等することによ
って、SD画像データを生成するようにしたが、その
他、SD画像データは、例えば、HD画像データの時間
方向の画素数を間引く等して生成することも可能であ
る。
1の第3の構成例を示している。
1において、画像データがベクトル量子化されることに
より符号化されて送信されるようになっている。
メラ65(図23)で撮像された画像データや、HDD
215に記憶された画像データが供給される。ベクトル
化部501は、そこに供給される画像データをベクトル
化する。即ち、ベクトル化部501は、例えば、そこに
供給される各フレームの画像データを、水平方向×垂直
方向の画素数が、例えば、3×3画素のブロックにブロ
ック化し、そのブロックの9画素(3×3画素)の画素
値を所定の順番で並べたものを、ベクトルのコンポーネ
ントとするベクトル(以下、適宜、画像ベクトルとい
う)を生成する。ベクトル化部501において得られた
画像ベクトルは、ベクトル量子化部502および差分演
算部504に供給される。
記憶部509に記憶されたコードブックを参照し、ベク
トル化部501から供給される画像ベクトルをベクトル
量子化する。
ブック記憶部509に記憶されたコードブックに登録さ
れているすべてのコードベクトルと、ベクトル化部50
1からの画像ベクトルとの距離を計算し、その距離を最
小にするコードベクトルに対応するコードを、ベクトル
量子化結果として出力する。ベクトル量子化部502が
出力するコードは、ローカルデコード部503、エント
ロピー符号化部505、および更新部506に供給され
る。
子化部502から供給されるコードを、コードブック記
憶部509に記憶されたコードブック(ベクトル量子化
部502がベクトル量子化に用いたのと同一のコードブ
ック)を用いてベクトル逆量子化する。即ち、ローカル
デコード部503は、コードブック記憶部509に記憶
されたコードブックにおいて、ベクトル量子化部502
が出力するコードに対応するコードベクトルを、ベクト
ル逆量子化結果として出力する。このベクトル逆量子化
結果としてのコードベクトルは、ローカルデコード部5
03から差分演算部504に供給される。
から供給される画像ベクトルと、ローカルデコード部5
03から供給される、その画像ベクトルをベクトル量子
化し、さらにベクトル逆量子化して得られるコードベク
トルとの差分を計算し、その結果得られるベクトル(以
下、適宜、差分ベクトルという)を、エントロピー符号
化部505および更新部506に供給する。
量子化部502から供給される、画像ベクトルのベクト
ル量子化結果としてのコードと、差分演算部504から
供給される、その画像ベクトルについて得られた差分ベ
クトルとをエントロピー符号化し、送信データとして出
力する。この送信データは、通信I/F218(図2
3)を介して、受信処理部402(受信装置としてのP
DA103)に送信される。
ントロピー符号化部505においてエントロピー符号化
されるため、差分ベクトルが0となる頻度が高い場合に
は、送信データ量のデータ量を低減することができる。
即ち、ベクトル量子化部502が、コードブック記憶部
509に記憶されたコードブックを用いて行うベクトル
量子化(符号化)による量子化誤差が0となる頻度が高
い場合には、送信データのデータ量を低減することがで
きる。このことは、同一画質の画像を得るための送信デ
ータのデータ量が少なくなることを意味するから、見方
を変えて、送信データのデータ量が一定であると仮定す
れば、上述のデータ量の低減する分だけ、画質を向上さ
せることができることと等価である。
から供給されるコードと、差分演算部504から供給さ
れる差分ベクトルとに基づいて、コードブックデータベ
ース507に記憶されたコードブックを更新する。な
お、更新部506には、選択部508から、コードブッ
ク記憶部509に記憶されているコードブック、即ち、
現在のベクトル量子化に用いられているコードブックを
特定する情報(後述するコードブック番号)が供給され
るようになっており、更新部506は、そのコードブッ
ク番号に基づいて、更新対象のコードブックを特定す
る。
ベクトルをベクトル量子化するのに用いられる1以上の
コードブックを記憶している。
は、コードブックの初期値として、例えば、あらかじめ
用意された学習用の多量の画像データを用い、LBG(L
inde Buzo Gray)アルゴリズム等によって求められたコ
ードブックを記憶しており、更新部506は、その初期
値のコードブックを、後述するように、適宜更新してい
く。
は、1以上のコードブックを記憶するが、その記憶方法
としては、例えば、最初に、初期値のコードブックを1
以上記憶しておくようにしても良いし、また、最初は、
初期値のコードブックを1つだけ記憶しておき、その
後、必要に応じて、その初期値のコードブックをコピー
するようにしても良い。
ようになっており、選択部508は、その選択情報にし
たがい、コードブックデータベース507に記憶された
1以上のコードブックの中から、ベクトル量子化に用い
るものを選択する。そして、選択部508は、その選択
したコードブックを、コードブックデータベース507
から読み出し、コードブック記憶部509に供給して上
書きする形で記憶させる。
ザ入力や、通信相手の情報、ベクトル化部501に供給
されるのと同一の画像データ等を採用することができ
る。ユーザ入力は、ユーザが操作部224(図23)等
を操作することにより与えられる。また、通信相手の情
報は、送信装置としてのPDA101が、受信装置とし
てのPDA103と通信を開始するときに、受信装置と
してのPDA103から送信されることにより、アンテ
ナ64および通信I/F218(図23)を介して与え
られる。さらに、ベクトル化部501に供給されるのと
同一の画像データは、CCDカメラ65やHDD215
(図23)から与えられる。
として与えられる場合、そのユーザ入力にしたがって、
コードブックデータベース507に記憶された1以上の
コードブックから、1つのコードブックを選択する。従
って、この場合、ベクトル量子化部502では、ユーザ
が指示したコードブックを用いて、画像データのベクト
ル量子化が行われることになる。
が、選択情報として与えられる場合、その通信相手の情
報にしたがって、コードブックデータベース507に記
憶された1以上のコードブックから、1つのコードブッ
クを選択する。従って、この場合、ベクトル量子化部5
02では、通信相手によって異なる(一人の通信相手ご
とに異なる、あるいは、複数のユーザをグループとし、
グループごとに異なる)コードブックを用いて、画像デ
ータのベクトル量子化が行われることになる。
選択情報として与えられる場合、その画像データにした
がって、コードブックデータベース507に記憶された
1以上のコードブックから、1つのコードブックを選択
する。従って、この場合、ベクトル量子化部502で
は、画像データの特性(例えば、画像データの絵柄を表
すアクティビティや、明るさ、動きなど)ごとに異なる
コードブックを用いて、その画像データのベクトル量子
化が行われることになる。
タベース507に記憶された1以上のコードブックか
ら、1つのコードブックを選択し、コードブック記憶部
509に記憶させるとき、即ち、ベクトル量子化部50
2でベクトル量子化に用いられるコードブックを変更す
るとき、その変更後のコードブック(コードブックデー
タベース507から選択したコードブック)を特定する
コードブック番号を、更新部506に供給する。
では、画像データをベクトル量子化して送信する画像デ
ータ送信処理、そのベクトル量子化に用いるコードブッ
クを選択するコードブック選択処理、およびコードブッ
クデータベース507の記憶内容を更新する更新処理が
行われる。
参照して、図55の送信処理部401が行う画像データ
送信処理とコードブック選択処理について説明する。
トを参照して、画像データ送信処理について説明する。
データが、例えば、1フレーム単位で、ベクトル化部5
01に供給され、ベクトル化部501は、その画像デー
タを受信する。
トル化部501は、そこに供給される1フレームの画像
データをベクトル化する。即ち、ベクトル化部501
は、1フレームの画像データを、例えば、3×3画素の
ブロックにブロック化し、そのブロックの9画素(3×
3画素)の画素値を所定の順番で並べたものをコンポー
ネントとする画像ベクトルを生成する。ベクトル化部5
01において、1フレームの画像データについて得られ
た画像ベクトルは、ベクトル量子化部502および差分
演算部504に供給される。
S305の処理は、1フレームの画像データについて得
られた画像ベクトルそれぞれについて行われる。
501から画像ベクトルを受信すると、ステップS30
2において、その画像ベクトルを、コードブック記憶部
509に記憶されたコードブックを用いてベクトル量子
化し、その結果得られるコードを、ローカルデコード部
503、エントロピー符号化部505、および更新部5
06に供給して、ステップS303に進む。
部503が、ベクトル量子化部502から供給されるコ
ードを、コードブック記憶部509に記憶されたコード
ブックを用いてベクトル逆量子化し、その結果得られる
コードベクトルを、差分演算部504に供給して、ステ
ップS304に進む。
が、ベクトル化部501から供給される画像ベクトル
と、ローカルデコード部503から供給されるコードベ
クトルとの差分を計算し、その結果得られる差分ベクト
ルを、エントロピー符号化部505および更新部506
に供給して、ステップS305に進む。
化部505が、ベクトル量子化部502から供給され
る、画像ベクトルのベクトル量子化結果としてのコード
と、差分演算部504から供給される、その画像ベクト
ルについて得られた差分ベクトルとをエントロピー符号
化し、送信データとして出力する。この送信データは、
通信I/F218(図23)を介して、受信処理部40
2(受信装置としてのPDA103)に送信される。
ル化部501は、次のフレームの画像データがあるかど
うかを判定し、あると判定した場合、ステップS301
に戻り、以下、同様の処理が繰り返される。
レームの画像データがないと判定された場合、処理を終
了する。
照して、コードブック選択処理について説明する。
画像データ送信処理(図56(A))が開始される直前
に開始される。
ステップS311において、選択部508が、コードブ
ックデータベース507に記憶された1以上のコードブ
ックの中から、デフォルトのコードブックを選択し、コ
ードブック記憶部509に供給して記憶させる。
は、例えば、上述した初期値のコードブックを採用する
ことができる。
508は、選択情報が供給されたかどうかを判定し、供
給されていないと判定した場合、ステップS313をス
キップして、ステップS314に進む。
報が供給されたと判定された場合、ステップS313に
進み、選択部508は、その選択情報にしたがい、コー
ドブックデータベース507に記憶された1以上のコー
ドブックの中から、ベクトル量子化に用いるものを選択
し、コードブック記憶部509に供給して記憶させる。
508は、今回のコードブック選択処理を開始した直後
に開始された画像データ送信処理(図56(A))によ
る画像データの送信が終了したかどうかを判定し、終了
していないと判定した場合、ステップS312に戻り、
以下、同様の処理を繰り返す。
よる画像データの送信が行われている間に、選択部50
8に対して、新たな選択情報が供給されると、コードブ
ック記憶部509に記憶されるコードブック、即ち、ベ
クトル量子化部502におけるベクトル量子化で用いら
れるコードブックが、その新たな選択情報に基づいて変
更され得る。
ータの送信が終了したと判定された場合、処理を終了す
る。
述したように、画像データ送信処理による画像データの
送信が行われている間に、選択部508に対して、新た
な選択情報が供給された場合に、ベクトル量子化で用い
られるコードブックが、その新たな選択情報に基づい
て、随時変更され得るようにしたが、画像データ送信処
理による画像データの送信が行われている間のコードブ
ックの変更は、1回だけに制限することが可能である。
即ち、コードブックの変更は、デフォルトのコードブッ
クから、最初に供給された選択情報に基づくコードブッ
クへの変更のみに制限することが可能である。
行われる、コードブックデータベース507の記憶内容
を更新する更新処理について説明するが、その前に、コ
ードブックデータベース507に記憶されているコード
ブックと、更新部506の構成について説明する。
ース507に記憶されているコードブックの例を示して
いる。
びコードブックバージョンが付されている。
特定するユニークな番号であり、従って、コードブック
番号によれば、コードブックが一意に特定される。コー
ドブックバージョンは、そのコードブックのバージョン
を表す情報であり、例えば、そのコードブックが更新さ
れた年月日および時刻と更新回数等で表される。
クは、一般のコードブックと同様に、コードnとコード
ベクトルVn(=(an,bn,・・・))とが対応付け
られて構成されている。なお、図57の実施の形態で
は、コード(コードベクトル)の数は、n+1個とされ
ており、コードとして、0からNまでの整数値が用いら
れている。
クにおいては、各コード#nに、コードベクトルVnの
他、前回の更新時までの頻度An、差分ベクトルの加算
値Σ△ n(=(a’n,b’n,・・・))、および前回
の更新時から現在までの頻度Bnも対応付けられてい
る。
は、前回のコードブックの更新時までのベクトル量子化
において、コード#nが、ベクトル量子化結果として出
力された頻度を表す。
回のコードブックの更新が行われた直後からいままでの
ベクトル量子化において、コード#nのベクトル量子化
結果が得られたときの差分ベクトル△nの総和を表す。
Bnは、前回のコードブックの更新が行われた直後から
いままでのベクトル量子化において、コード#nが、ベ
クトル量子化結果として出力された頻度を表す。
ベクトルの加算値Σ△n、および前回の更新時から現在
までの頻度Bnは、そのコードブックを用いて行われた
ベクトル量子化についてのものであり、他のコードブッ
クを用いて行われたベクトル量子化についての前回の更
新時までの頻度An、差分ベクトルの加算値Σ△n、およ
び前回の更新時から現在までの頻度Bnは、その、他の
コードブックに登録される。
前回の更新時までの頻度An、差分ベクトルの加算値Σ
△n、および前回の更新時から現在までの頻度Bnは、例
えば、すべて0とされている。
構成例を示している。
ータ更新部521とコードブック更新部522とから構
成される。
ら、コードブック記憶部509に記憶されているコード
ブック、即ち、ベクトル量子化部502で使用されてい
るコードブックを特定する情報としてのコードブック番
号が供給されるようになっている。さらに、データ更新
部521には、ベクトル量子化部502が出力する画像
ベクトルのベクトル量子化結果としてのコードも供給さ
れるようになっている。また、データ更新部521に
は、差分演算部504が出力する、ベクトル量子化部5
02でベクトル量子化が行われた画像ベクトルについて
求められた差分ベクトルも供給されるようになってい
る。
ックデータベース507に記憶された1以上のコードブ
ックの中から、いまベクトル量子化に用いられているコ
ードブックを、選択部508(図55)から供給される
コードブック番号によって特定する。さらに、データ更
新部521は、その特定したコードブックを、注目コー
ドブックとして、その注目コードブックの差分ベクトル
の加算値Σ△n、および前回の更新時から現在までの頻
度Bnを、ベクトル量子化部502からのコードと、差
分演算部504からの差分ベクトルによって更新する。
クデータベース507に記憶された1以上のコードブッ
クそれぞれを、各コードブックに記憶されている前回の
更新時までの頻度An、差分ベクトルの加算値Σ△n、お
よび前回の更新時から現在までの頻度Bnに基づいて更
新し、その更新後のコードブックを、コードブックデー
タベース507に上書きする形で記憶させる。
われる更新処理は、コードブックデータベース507に
記憶された差分ベクトルの加算値Σ△n、および前回の
更新時から現在までの頻度Bnを更新するデータ更新処
理と、コードブックのコードベクトルを、そのコードブ
ックに登録されている前回の更新時までの頻度An、差
分ベクトルの加算値Σ△n、および前回の更新時から現
在までの頻度Bnに基づいて更新するコードブック更新
処理とからなる。
て、データ更新処理とコードブック更新処理について説
明する。
トを参照して、データ更新処理について説明する。
プS321において、データ更新部521が、選択部5
08(図55)からコードブック番号を受信したかどう
かを判定する。
からコードブック番号を受信したと判定された場合、即
ち、ベクトル量子化部502でのベクトル量子化に用い
られるコードブックが変更された場合、ステップS32
2に進み、データ更新部521は、コードブックデータ
ベース507に記憶された1以上のコードブックのう
ち、選択部508から供給されるコードブック番号によ
って特定されるコードブックを、注目コードブックとし
て、ステップS323に進む。
508からコードブック番号を受信していないと判定さ
れた場合、即ち、ベクトル量子化部502でのベクトル
量子化に用いられるコードブックが変更されず、従っ
て、いままでのベクトル量子化で用いられていたもの
が、そのまま注目コードブックとされる場合、ステップ
S322をスキップして、ステップS323に進む。
1は、ベクトル量子化部502(図55)から、画像ベ
クトルのベクトル量子化結果としてのコードが供給され
るとともに、差分演算部504から、その画像ベクトル
について求められた差分ベクトルが供給されたかどうか
判定する。
差分ベクトルが供給されていないと判定された場合、ス
テップS321に戻り、以下、同様の処理を繰り返す。
および差分ベクトルが供給されたと判定された場合、ス
テップS324に進み、データ更新部521は、コード
ブックデータベース507の注目コードブックに登録さ
れた差分ベクトルの加算値Σ△n、および前回の更新時
から現在までの頻度Bnを更新する。
ブックの、ベクトル量子化部502から供給されたコー
ド#nのエントリを、注目エントリとして、その注目エ
ントリにおける前回の更新時から現在までの頻度Bnを
1だけインクリメントする。さらに、データ更新部52
1は、注目エントリにおける差分ベクトルの加算値Σ△
nに、差分演算部504から供給された差分ベクトルを
加算し、その加算値を、新たな差分ベクトルの加算値Σ
△nとして、注目コードブックの注目エントリに上書き
する。
同様の処理が繰り返される。
照して、コードブック更新処理について説明する。
期に、任意のタイミングで開始される。
に更新の対象となっている注目コードブックについて
は、その内容の整合性を保つため、図59(A)のデー
タ更新処理の対象から除外される(いわゆる排他制御さ
れる)ようになっている。
ステップS331において、コードブック更新部522
が、コードブック番号を表す変数iを、例えば、1に初
期化し、ステップS332に進む。ステップS332で
は、コードブック更新部522は、コードブックデータ
ベース507に記憶された1以上のコードブックのう
ち、i番目のコードブックを、注目コードブックとし
て、ステップS333に進む。ステップS333では、
コードブック更新部522が、注目コードブックにおけ
るコードを表す変数nを、例えば、0に初期化し、ステ
ップS334に進む。
部522が、注目コードブックのコード#nのエントリ
を注目エントリとして、例えば、その注目エントリの前
回の更新時までの頻度Anおよび前回の更新時から現在
までの頻度Bnを重みとして用い、注目エントリのコー
ドベクトルVnと、差分ベクトルの加算値Σ△nとを重み
付け加算することにより、注目エントリのコードベクト
ルVnを更新する。
ば、次式にしたがって、注目エントリのコードベクトル
Vnを更新する。
テップS335に進み、注目エントリにおける前回の更
新時までの頻度An、差分ベクトルの加算値Σ△n、およ
び前回の更新時から現在までの頻度Bnを更新する。
の更新時までの頻度Anと、前回の更新時から現在まで
の頻度Bnとを加算し、その加算値を、新たな前回の更
新時までの頻度Anとする。さらに、コードブック更新
部522は、差分ベクトルの加算値Σ△n、および前回
の更新時から現在までの頻度Bnを、いずれも0に初期
化し、ステップS336に進む。
部522は、注目コードブックにおけるコードを表す変
数nが、その最大値であるNに等しいかどうかを判定す
る。ステップS336において、変数nがNに等しくな
いと判定された場合、ステップS337に進み、コード
ブック更新部522は、変数nを1だけインクリメント
する。そして、ステップS334に戻り、以下、同様の
処理が繰り返される。
がNに等しいと判定された場合、即ち、注目コードブッ
クのすべてのエントリを更新した場合、ステップS33
8に進み、変数iが、コードブックデータベース507
に記憶されたコードブックの数を表すIに等しいかどう
かを判定する。
等しくないと判定された場合、ステップS339に進
み、コードブック更新部522は、変数iを1だけイン
クリメントする。そして、ステップS332に戻り、以
下、同様の処理を繰り返す。
がIに等しいと判定された場合、即ち、コードブックデ
ータベース507に記憶されたすべてのコードブックの
更新が終了した場合、処理を終了する。
タベース507においては、最初は、初期値のコードブ
ックを1つだけ記憶しておき、その後、必要に応じて、
その初期値のコードブックをコピーすることが可能であ
るが、この場合は、そのコピー元となるコードブックを
更新してしまうと、その後に、初期値のコードブックの
コピーを生成することができなくなる。そこで、コピー
元となるコードブックは、図59に示したデータ更新処
理およびコードブック更新処理の対象外とされる。
れたコードブックは、上述のように、そのコードブック
を用いて行われたベクトル量子化結果としてのコード
と、そのコードに対応する差分ベクトル(そのコードが
得られた画像ベクトルについて求められた差分ベクト
ル)とに基づいて更新されていくので、画質の向上を図
ることが可能となる。
ル量子化に用いられるコードブックは、上述したよう
に、例えば、通信相手によって選択される。この場合、
ベクトル量子化に用いられるコードブックは、通信相手
ごとに異なり、従って、あるコードブックに注目すれ
ば、その注目コードブックは、特定の通信相手に送信さ
れる画像データから得られるコードと差分ベクトルによ
って更新されることになる。
信相手に送信することの多い画像の特性(例えば、周波
数特性等)に応じて、差分ベクトルが0となる頻度が高
くなるように更新されていくことになり、送信データの
データ量が低減されることになる。そして、この送信デ
ータのデータ量の低減により、上述したように、画質を
向上させることができる。
ル量子化に用いられるコードブックは、上述したよう
に、例えば、そのベクトル量子化される画像データの絵
柄を表すアクティビティによって選択される。この場
合、ベクトル量子化に用いられるコードブックは、画像
データの絵柄ごとに異なり、従って、あるコードブック
に注目すれば、その注目コードブックは、特定の絵柄の
画像データから得られるコードと差分ベクトルによって
更新されることになる。
柄の画像について、差分ベクトルが0となる頻度が高く
なるように更新されていくことになり、送信データのデ
ータ量が低減されることになる。そして、この送信デー
タのデータ量の低減により、上述したように、画質を向
上させることができる。
2の第3の構成例を示している。即ち、図60は、送信
処理部401が図55に示したように構成される場合の
受信処理部402の構成例を示している。
力する送信データは、受信装置としてのPDA103の
アンテナ64(図23)で受信され、通信I/F218
を介して、エントロピー復号部531と、エラー検出部
540に供給されるようになっている。
される受信データを、コードと差分ベクトルにエントロ
ピー復号し、コードを、ベクトル逆量子化部532およ
び更新部539に供給するとともに、差分ベクトルを、
加算部533および更新部539に供給する。
ー復号部531から供給されるコードを、コードブック
記憶部538に記憶されたコードブックを用いてベクト
ル逆量子化する。即ち、ベクトル逆量子化部532は、
コードブック記憶部538に記憶されたコードブックに
おけるコードベクトルのうち、エントロピー復号部53
1からのコードに対応するものを、ベクトル逆量子化結
果として出力する。ベクトル逆量子化部532が出力す
るベクトル逆量子化結果としてのコードベクトルは、加
算部533に供給される。
1から供給される差分ベクトルと、ベクトル逆量子化部
432から供給されるコードベクトルとを加算し、これ
により、元の画像ベクトルを復号する。この画像ベクト
ルは、エラー訂正部534に供給される。
0から、画像ベクトルの符号化データとしてのコードや
差分ベクトルについて、欠落等のエラーがある旨のエラ
ーメッセージを受信すると、そのエラーを、コードブッ
ク記憶部538に記憶されたコードブックを参照して訂
正する。そして、エラー訂正部534は、エラー訂正後
の画像ベクトルを、スカラ化部535に供給する。
ンポーネントを、画像の画素値として、元の位置に配置
し、元の1フレームの画像データを構成するスカラ化を
行い、その結果得られる画像データを出力する。
ベクトルをベクトル量子化して得られるコードをベクト
ル逆量子化するのに用いられる1以上のコードブックを
記憶している。なお、コードブックデータベース536
に記憶されたコードブックも、例えば、図57に示した
のと同一フォーマットとされている。
ようになっており、選択部537は、その選択情報にし
たがい、コードブックデータベース536に記憶された
1以上のコードブックの中から、ベクトル量子化に用い
るものを選択する。そして、選択部537は、その選択
したコードブックを、コードブックデータベース536
から読み出し、コードブック記憶部538に供給して上
書きする形で記憶させる。
ザ入力や、通信相手の情報、エントロピー復号部531
が出力するコードと差分ベクトルから復号された画像デ
ータ等を採用することができる。ユーザ入力は、ユーザ
が操作部224(図23)等を操作することにより与え
られる。また、通信相手の情報は、受信装置としてのP
DA103が、送信装置としてのPDA101と通信を
開始するときに、送信装置としてのPDA101から送
信されることにより、アンテナ64および通信I/F2
18(図23)を介して与えられる。さらに、エントロ
ピー復号部531が出力するコードと差分ベクトルから
復号された画像データは、スカラ化部535からから与
えられる。
として与えられる場合、そのユーザ入力にしたがって、
コードブックデータベース536に記憶された1以上の
コードブックから、1つのコードブックを選択する。従
って、この場合、ベクトル逆量子化部532では、ユー
ザが指示したコードブックを用いて、ベクトル逆量子化
が行われることになる。
が、選択情報として与えられる場合、その通信相手の情
報にしたがって、コードブックデータベース536に記
憶された1以上のコードブックから、1つのコードブッ
クを選択する。従って、この場合、ベクトル逆量子化部
532では、通信相手によって異なるコードブックを用
いて、ベクトル逆量子化が行われることになる。
選択情報として与えられる場合、その画像データにした
がって、コードブックデータベース536に記憶された
1以上のコードブックから、1つのコードブックを選択
する。従って、この場合、ベクトル逆量子化部532で
は、復号される画像データの特性ごとに異なるコードブ
ックを用いて、ベクトル逆量子化が行われることにな
る。
タベース536に記憶された1以上のコードブックか
ら、1つのコードブックを選択し、コードブック記憶部
538に記憶させるとき、即ち、ベクトル逆量子化部5
32でベクトル量子化に用いられるコードブックを変更
するとき、その変更後のコードブック(コードブックデ
ータベース536から選択したコードブック)を特定す
るコードブック番号を、更新部539に供給する。
同様に構成され、エントロピー復号部531から供給さ
れるコードと差分ベクトルとに基づいて、コードブック
データベース536に記憶されたコードブックを更新す
る。なお、上述したように、更新部539には、選択部
537から、コードブック記憶部538に記憶されてい
るコードブック、即ち、現在のベクトル逆量子化に用い
られているコードブックを特定する情報としてのコード
ブック番号が供給されるようになっており、更新部53
9は、そのコードブック番号に基づいて、更新対象のコ
ードブックを特定する。
も、図55のコードブックデータベース507と同様
に、コードブックの初期値として、例えば、あらかじめ
用意された学習用の多量の画像データを用い、LBGア
ルゴリズム等によって求められたコードブックを記憶し
ており、更新部539は、その初期値のコードブックを
順次更新していく。
おける、1以上のコードブックを記憶する記憶方法とし
ては、図55のコードブックデータベース507におけ
る場合と同様に、最初に、初期値のコードブックを1以
上記憶しておくようにしても良いし、また、最初は、初
期値のコードブックを1つだけ記憶しておき、その後、
必要に応じて、その初期値のコードブックをコピーする
ようにしても良い。
ているデータの欠落等のエラーを有無を検出し、エラー
を検出した場合には、その旨のエラーメッセージを、エ
ラー訂正部534に出力する。
化部505は、送信データに、エラー検出用の符号(エ
ラー検出符号)を付加するようになっており、エラー検
出部540は、そのエラー検出符号に基づいて、エラー
の有無を検出する。
では、受信データを受信して画像データに復号する画像
データ受信処理、ベクトル逆量子化部532でのベクト
ル逆量子化に用いられるコードブックを選択するコード
ブック選択処理、およびコードブックデータベース53
6の記憶内容を更新する更新処理が行われる。
ブック更新処理)は、更新部539において、エントロ
ピー復号部531から供給されるコードおよび差分ベク
トルを用いて、図59のフローチャートで説明した場合
と同様に行われるため、その説明は省略する。
て、図60の受信処理部402が行う画像データ受信処
理およびコードブック選択処理について説明する。
トを参照して、画像データ受信処理について説明する。
ントロピー復号部531およびエラー検出部540に供
給されると開始される。
に、ステップS351において、エントロピー復号部5
31が、受信データをエントロピー復号し、その結果得
られるコードと差分ベクトルを出力する。コードは、ベ
クトル逆量子化部532および更新部539に供給さ
れ、差分ベクトルは、加算部533および更新部539
に供給される。
て、エントロピー復号部531から供給されるコードと
差分ベクトルに基づいて、図59で説明したように、コ
ードブックデータベース536のコードブックが更新さ
れる。
60の受信処理部402において、例えば、通信相手ご
とに異なるコードブックが、ベクトル量子化とベクトル
逆量子化それぞれに用いるコードブックとして選択され
るとすると、あるユーザAのPDA101から、他のユ
ーザBのPDA103に対して、画像データが送信され
る場合には、ユーザAのPDA101における送信処理
部401では、ユーザBに対応するコードブックが、ベ
クトル量子化に用いられるとともに、ユーザBのPDA
103における受信処理部402では、ユーザAに対応
するコードブックが、ベクトル逆量子化に用いられるこ
とになる。
更新部506と、受信処理部402(図60)の更新部
539とでは、ユーザAとBとの間で通信が行われるた
びに、コードブックが、同じように更新される。即ち、
ユーザAとBとの間では(他のユーザどうしの間でも同
様)、基本的には、同一のコードブックを用いて、ベク
トル量子化とベクトル逆量子化とがそれぞれ行われ、さ
らに、そのベクトル量子化で用いられるコードブック
と、ベクトル逆量子化で用いられるコードブックとは、
同一に更新されていく。
説明したように、データ量を低減するように、または画
質を向上させるように行われるから、図60の受信処理
部402では、画質の向上した画像データの復号を精度
良く行うことができる。
ば、1フレーム分の画像データについてのエントロピー
復号が終了すると、ステップS352に進み、ベクトル
量子化部532は、エントロピー復号部531から供給
される1フレーム分のコードを、コードブック記憶部5
38に記憶されたコードブックを用いて、ベクトル逆量
子化し、1フレーム分のコードそれぞれについて、コー
ドベクトルを得る。このコードベクトルは、加算部53
3に供給される。
て、ベクトル逆量子化部532から供給される1フレー
ム分のコードベクトルそれぞれに、エントロピー復号部
531から供給される1フレーム分の差分ベクトルの対
応するものを加算することで、1フレーム分の画像ベク
トルを復号する。加算部533において得られた1フレ
ーム分の画像ベクトルは、順次、エラー訂正部534に
供給される。
において、加算部533から供給される画像ベクトルに
対して、後述するようなエラー訂正処理を施し、スカラ
化部535に供給する。
おいて、エラー訂正部534から供給される1フレーム
分の画像ベクトルを、上述したようにスカラ化し、その
結果得られる1フレームの画像データを出力して、ステ
ップS356に進む。
部531が、次のフレームの受信データが送信されてき
たかどうかを判定し、送信されてきたと判定された場
合、ステップS351に戻り、その次のフレームの受信
データを対象に、以下、同様の処理が繰り返される。
レームの受信データが送信されてきていないと判定され
た場合、処理を終了する。
照して、コードブック選択処理について説明する。
画像データ受信処理(図61(A))が開始される直前
に開始される。
ステップS361において、選択部537が、コードブ
ックデータベース536に記憶された1以上のコードブ
ックの中から、デフォルトのコードブックを選択し、コ
ードブック記憶部538に供給して記憶させる。
は、例えば、上述した初期値のコードブックを採用する
ことができる。
537は、選択情報が供給されたかどうかを判定し、供
給されていないと判定した場合、ステップS363をス
キップして、ステップS364に進む。
報が供給されたと判定された場合、ステップS363に
進み、選択部537は、その選択情報にしたがい、コー
ドブックデータベース536に記憶された1以上のコー
ドブックの中から、ベクトル量子化に用いるものを選択
し、コードブック記憶部538に供給して記憶させる。
537は、今回のコードブック選択処理を開始した直後
に開始された画像データ受信処理(図61(A))によ
る画像データの受信が終了したかどうかを判定し、終了
していないと判定した場合、ステップS362に戻り、
以下、同様の処理を繰り返す。
よる画像データの受信が行われている間に、選択部53
7に対して、新たな選択情報が供給されると、コードブ
ック記憶部538に記憶されるコードブック、即ち、ベ
クトル逆量子化部532におけるベクトル逆量子化で用
いられるコードブックが、その新たな選択情報に基づい
て変更され得る。
ータの受信が終了したと判定された場合、処理を終了す
る。
述したように、画像データ受信処理による画像データの
送信が行われている間に、選択部537に対して、新た
な選択情報が供給された場合に、ベクトル逆量子化で用
いられるコードブックが、その新たな選択情報に基づい
て、随時変更され得るようにしたが、画像データ受信処
理による画像データの受信が行われている間のコードブ
ックの変更は、1回だけに制限することが可能である。
即ち、コードブックの変更は、デフォルトのコードブッ
クから、最初に供給された選択情報に基づくコードブッ
クへの変更のみに制限することが可能である。
34の構成例を示している。
書き込み部550に供給されるようになっており、書き
込み部550は、その画像ベクトルを、メモリ551に
供給して書き込む。メモリ551は、書き込み部550
から供給される画像ベクトルを記憶する。
とも1フレーム分の画像ベクトルを記憶することのでき
る記憶容量を有している。
例えば、3×3画素のブロックにおける9画素の画素値
をコンポーネントとしたベクトルであるが、書き込み部
550は、画像ベクトルを、その画像ベクトルとしての
ブロックに対応するメモリ551のアドレスに書き込む
ようになっている。
えば、1フレーム分の画像ベクトルが記憶されると、そ
の1フレーム分の画像ベクトルを、メモリ551から読
み出し、スカラ化部535(図60)に供給する。
部540(図60)からエラーメッセージが供給される
ようになっており、読み出し部552は、そのエラーメ
ッセージに基づき、部分ベクトル推定部553を制御す
る。
ーメッセージには、エラーが生じている画像ベクトルと
してのブロックの位置を表す情報が含まれており、読み
出し部552は、そのエラーが生じている画像ベクトル
(以下、適宜、エラーベクトルという)について、後述
する部分ベクトルを推定するように、部分ベクトル推定
部553を制御する。
552の制御にしたがい、エラーベクトルについて、例
えば、図63に示すように、その一部のコンポーネント
からなる部分ベクトルを推定する。
3(A)に示すように、3×3画素からなるブロックを
構成する9画素の画素値をコンポーネントとするベクト
ルであるから、画像ベクトル(画像ベクトルから得られ
たコードや差分ベクトル)が欠落等しているということ
は、図63(B)に示すように、その画像ベクトルとし
てのブロックの3×3画素を復号することができなこと
になる。
図63(C)に示すように、エラーベクトルとしてのブ
ロック(以下、適宜、エラーブロックという)の、他の
ブロックの画素と隣接する8画素を、その隣接する画素
により補完する。
の3×3画素のうち、中心の画素p 9を除く8画素p1乃
至p8が、それぞれに隣接する他のブロックの画素によ
って補完されている。なお、中心の画素p9を除く8画
素p1乃至p8のうち、他のブロックの1画素にのみ隣接
するp2,p4,p6,p8には、例えば、それぞれに隣接
する他のブロックの画素の画素値がコピーされる。ま
た、他のブロックの2画素に隣接する画素p1,p3,p
5,p7には、例えば、それぞれに隣接する他のブロック
の2つの画素の平均値、またはいずれか一方の値がコピ
ーされる。
に、エラーベクトルについて、ブロックの中心の画素p
9に対応するコンポーネントがないベクトル、即ち、本
来ならば9画素の画素値をコンポーネントとするベクト
ルについて、ブロックの中心の画素p9に対応するコン
ポーネントがない部分ベクトルを生成する。そして、部
分ベクトル推定部553は、その部分ベクトルを、エラ
ーベクトルに対応する真の画像ベクトルの一部(部分ベ
クトル)の推定値として出力する。
が出力する部分ベクトルは、画像ベクトル推定部554
に供給される。
ル推定部553からの部分ベクトルと、コードブック記
憶部538に記憶されているコードブックとから、エラ
ーベクトルに対応する真の画像ベクトルを推定すること
によりエラー訂正を行い、その推定した画像ベクトル
(以下、適宜、推定ベクトルという)を、メモリ551
の対応するアドレスに記憶させる。
て、図62のエラー訂正部534が、図61(A)のス
テップS354において行うエラー訂正処理について説
明する。
プS371において、書き込み部550が、画像ベクト
ルが、加算部533(図60)から供給されたかどうか
を判定する。ステップS371において、画像ベクトル
が供給されたと判定された場合、ステップS372に進
み、書き込み部550は、その画像ベクトルを、メモリ
551に供給して記憶させ、ステップS375に進む。
クトルが供給されていないと判定された場合、ステップ
S373に進み、読み出し部552は、エラー検出部5
40からエラーメッセージが供給されたかどうかを判定
する。
ージが供給されていないと判定された場合、ステップS
374をスキップして、ステップS375に進む。
メッセージが供給されたと判定された場合、ステップS
374に進み、読み出し部552は、そのエラーメッセ
ージに基づき、エラーが生じているブロック(画像ベク
トル)の位置(以下、適宜、エラー位置という)を認識
し、その内蔵するメモリ(図示せず)に一時記憶する。
し部552は、1フレーム分の画像ベクトル(エラーベ
クトルを含む)が、メモリ551に記憶されたかどうか
を判定する。
の画像ベクトルがメモリ551に記憶されていないと判
定された場合、ステップS371に戻り、以下、同様の
処理を繰り返す。
ーム分の画像ベクトルがメモリ551に記憶されたと判
定された場合、ステップS376に進み、読み出し部5
52は、その内蔵するメモリに、エラー位置が記憶され
ているかどうかを判定する。
記憶されていると判定された場合、ステップS377に
進み、読み出し部552は、その内蔵するメモリに記憶
されている1以上のエラー位置のうちの1つを注目エラ
ー位置とし、その注目エラー位置におけるエラーベクト
ルついて、部分ベクトルを推定するように、部分ベクト
ル推定部553を制御する。これにより、ステップS3
77では、部分ベクトル推定部553が、図63で説明
したように、部分ベクトルを推定し、画像ベクトル推定
部554に出力する。
378において、部分ベクトル推定部553からの部分
ベクトルと、コードブック記憶部538(図60)に記
憶されているコードブックとから、エラーベクトルに対
応する真の画像ベクトルを推定するエラー訂正を行い、
ステップS379に進み、そのエラー訂正により得られ
る推定ベクトルを、メモリ551の注目エラー位置に対
応するアドレスに記憶させる。
ベクトルの各コンポーネント(ここでは、図63で説明
したように、8つのコンポーネントそれぞれ)に対応す
るコンポーネントが、部分ベクトルの各コンポーネント
に最も近似するコードベクトルを、コードブック記憶部
538に記憶されているコードブックから抽出し、その
コードベクトルを、推定ベクトルとする。
は、例えば、部分ベクトルの各コンポーネントと、コー
ドブックのコードベクトルの対応するコンポーネントと
の差分の自乗和を計算し、その自乗和を最小にするコー
ドベクトルを検出する。そして、画像ベクトル推定部5
54は、そのコードベクトルを、注目エラー位置の画像
ベクトルの推定ベクトルとし、メモリ551に書き込
む。
位置を、その内蔵するメモリから消去して、ステップS
376に戻り、以下、エラー位置が、その内蔵するメモ
リに記憶されていない状態となるまで、ステップS37
6乃至S379の処理を繰り返す。
位置が記憶されていないと判定された場合、即ち、メモ
リ551に、1フレーム分の画像ベクトルがエラーのな
い状態(エラーの訂正がされた状態)で記憶された場
合、ステップS380に進み、読み出し部551は、メ
モリ551から、その1フレーム分の画像ベクトルを読
み出し、スカラ化部535(図60)に供給して、エラ
ー訂正処理を終了する。
コードブックを用いて符号化/復号を行って、データを
送受信する通信は、PDA101と他のPDA103と
の間だけではなく、ベース基地コンピュータ102(図
22)と、PDA103や、他の図示せぬベース基地コ
ンピュータとの間で行うことも可能である。
とベース基地コンピュータ102を所有し、他のユーザ
Bが、PDA103を所有する場合には、ユーザAが、
ユーザBのPDA103とデータのやりとりを、PDA
101を用いて行うときもあれば、ベース基地コンピュ
ータ102を用いて行うときもある。
地コンピュータ102それぞれと、ユーザBのPDA1
03との間でデータのやりとりをすると、PDA101
とベース基地コンピュータ102の両方に、ユーザBと
の通信用のコードブックが生成される。
間でやりとりされるデータと、ベース基地コンピュータ
102とPDA103との間でやりとりされるデータと
は、同一であるとは限らず、むしろ異なるデータである
ことが多いため、PDA101とベース基地コンピュー
タ102とでは、ユーザBとの通信用のコードブックと
して、異なるコードブックが生成される。
1におけるコードブックと、ベース基地コンピュータ1
02におけるコードブックとは、統合して同一のコード
ブックとすることができるようになっている。
101が、図55に示した送信処理部401と、図50
に示した受信処理部402とを有し、ベース基地コンピ
ュータ102が、図55の送信処理部401と同一構成
の送信処理部401’と、図50の受信処理部402と
同一構成の受信処理部402’とを有するとした場合に
は、PDA101とベース基地コンピュータ102と
が、上述したようにして通信を行うことで、それぞれが
有するコードブックがやりとりされる。これにより、P
DA101の送信処理部401とベース基地コンピュー
タ102の送信処理部401’とにおける対応するコー
ドブックが、同一のコードブックに統合される。さら
に、PDA101の受信処理部402とベース基地コン
ピュータ102の受信処理部402’とにおける対応す
るコードブックも、同一のコードブックに統合される。
ては、例えば、一方のコードブックのコードベクトル
を、統合後のコードブックのコードベクトルとして採用
する方法や、2つのコードブックのコードベクトルの平
均値(平均ベクトル)を、統合後のコードブックのコー
ドベクトルとして採用する方法その他がある。
いては、画像の画質を向上させる場合について説明した
が、図45乃至図65の実施の形態は、その他、例え
ば、音声の音質を向上させる場合にも適用可能である。
上のPDAから、データを高品質化する高品質化データ
を取得し、その高品質化データと、既に有している高品
質化データとに基づいて、新たな高品質化データを生成
し、その新たな高品質化データによって、既に有してい
る高品質化データを更新することができる。さらに、P
DA101において、その更新後の高品質化データ(新
たな高品質化データ)に基づき、データを処理し、より
高品質なデータを求めることができる。
的構成例を示している。なお、ここでは、高品質化の対
象とするデータを、音声データとして、以下、説明を行
う。但し、高品質化の対象とするデータは、音声データ
以外の、例えば画像データとすることも可能である。
ウエア構成と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。
5(図23)に記憶された、符号化されている音声デー
タを復号し、復号音声データを、音質向上部601に供
給する。
給される高品質化データと、復号音声データとに基づ
き、その復号音声データの音質を向上させた音質向上デ
ータを求め、D/A変換器212に供給する。
れる音声データに基づき、学習を行うことで、高品質化
データを求める。さらに、学習部602は、他の1以上
のPDAから送信されてくる、後述する学習情報を受信
し、必要に応じて、その学習情報にも基づいて学習を行
うことで、新たな高品質化データを求める。そして、学
習部602は、新たに求めた高品質化データを、音質向
上部601に供給する。
(図23)から操作信号が供給されるようになってい
る。学習部602は、操作部224からの操作信号が、
他のPDAに対して、学習情報を要求する操作を表すも
のである場合、学習情報を要求するリクエスト信号を生
成して出力する。このリクエスト信号は、通信I/F2
18(図23)を介して、例えば、アンテナ64から送
信される。
らのリクエスト信号が供給されるようになっている。即
ち、他のPDAがリクエスト信号を送信すると、そのリ
クエスト信号は、アンテナ64(図23)で受信され、
通信I/F218を介して、学習部602に供給され
る。学習部602は、他のPDAからのリクエスト信号
を受信すると、自身が有している学習情報を、通信I/
F218およびアンテナ64を介して、リクエスト信号
を送信してきた他のPDAに送信する。
1の構成例を示している。
部601は、例えば、上述した適応処理によって、音声
復号部600からの復号音声データの音質を向上させる
ようになっており、従って、ここでは、高品質化データ
として、タップ係数が用いられるようになっている。
声データは、バッファ611に供給されるようになって
おり、バッファ611は、そこに供給される復号音声デ
ータを一時記憶する。
タの音質を向上させた音質向上データを、順次、注目デ
ータとして、その注目データの予測値を、式(1)の線
形一次予測演算により求めるのに用いる予測タップを、
バッファ611に記憶された復号音声データのうちの幾
つかの音声サンプルを抽出することによって構成(生
成)し、積和演算部616に供給する。
る図69の予測タップ抽出部624が構成するのと同一
の予測タップを構成する。
11に記憶された復号音声データのうちの幾つかの音声
サンプルを抽出することによって、注目データについ
て、クラスタップを構成(生成)し、クラス分類部61
4に供給する。
する図69のクラスタップ抽出部625と同一のクラス
タップを構成する。
部613からのクラスタップを用いてクラス分類を行
い、その結果得られるクラスコードを、係数メモリ61
5に供給する。
69のクラス分類部626と同一のクラス分類を行う。
給される高品質化データとしてのクラスごとのタップ係
数を、そのクラスに対応するアドレスに記憶する。さら
に、係数メモリ615は、クラス分類部614から供給
されるクラスコードに対応するアドレスに記憶されてい
るタップ係数を、積和演算部616に供給する。
12が出力する予測タップと、係数メモリ615が出力
するタップ係数とを取得し、その予測タップとタップ係
数とを用いて、式(1)に示した線形予測演算を行う。
これにより、積和演算部616は、注目データとしての
音質向上データ(の予測値)を求め、D/A変換器21
2(図66)に供給する。
て、図67の音質向上部601の処理(音質向上処理)
について説明する。
66)が出力する復号音声データを、順次記憶してい
く。
おいて、予測タップ抽出部612が、復号音声データの
音質を向上させた音質向上データのうち、例えば、時系
列順で、まだ注目データとしていない最も過去の音声サ
ンプルを、注目データとし、その注目データについて、
バッファ611から復号音声データのうちの幾つかの音
声サンプルを読み出すことにより、予測タップを構成し
て、積和演算部616に供給する。
ップ抽出部613が、バッファ611に記憶された復号
音声データのうちの幾つかの音声サンプルを読み出すこ
とにより、注目データについて、クラスタップを構成
し、クラス分類部614に供給する。
部613からクラスタップを受信すると、ステップS4
02に進み、そのクラスタップを用いてクラス分類を行
い、その結果得られるクラスコードを、係数メモリ61
5に供給して、ステップS403に進む。
は、クラス分類部614からのクラスコードに対応する
アドレスに記憶されているタップ係数を読み出し、積和
演算部616に供給して、ステップS404に進む。
は、係数メモリ615が出力するタップ係数を取得し、
そのタップ係数と、予測タップ抽出部612からの予測
タップとを用いて、式(1)に示した積和演算を行い、
音質向上データ(の予測値)を得る。
は、積和演算部616から、D/A変換器212(図6
6)およびアンプ208を介して、スピーカ10等に供
給され、これにより、スピーカ10等からは、高音質の
音声が出力される。
405に進み、まだ、注目データとして処理すべき音質
向上データがあるかどうかが判定され、あると判定され
た場合、ステップS401に戻り、以下、同様の処理が
繰り返される。また、ステップS405において、注目
データとして処理すべき音質向上データがないと判定さ
れた場合、処理を終了する。
構成例を示している。
9(図66)が出力する音声データが、学習用のデータ
として供給されるようになっており、教師データメモリ
621は、その音声データを、学習の教師となる教師デ
ータとして一時記憶する。
モリ621に記憶された教師データとしての音声データ
から、学習の生徒となる生徒データを生成する。
号化部622Eと音声復号部622Dとから構成されて
いる。音声符号化部622Eは、音声復号部600(図
66)における復号方式に対応する符号化方式によって
音声データを符号化するもので、そのような符号化方式
によって、教師データメモリ621に記憶された教師デ
ータを符号化し、符号化音声データを出力する。音声復
号部622Dは、音声復号部600と同様に構成されて
おり、音声符号化部622Eが出力する符号化音声デー
タを復号し、その結果得られる復号音声データを、生徒
データとして出力する。
声データに符号化し、さらに、その符号化音声データを
復号することによって、生徒データを生成するようにし
たが、その他、生徒データは、例えば、教師データとし
ての音声データを、ローパスフィルタによってフィルタ
リングすること等で、その音質を劣化させることによっ
て生成すること等が可能である。
成部622の音声復号部622Dが出力する生徒データ
を一時記憶する。
モリ621に記憶された教師データの音声サンプルを、
順次、注目データとし、さらに、その注目データを予測
するのに用いる生徒データとしての幾つかの音声サンプ
ルを、生徒データメモリ623に記憶された生徒データ
から抽出することにより、予測タップ(注目データの予
測値を求めるためのタップ)を生成する。この予測タッ
プは、予測タップ抽出部624から足し込み部627に
供給される。
をクラス分けするクラス分類に用いる生徒データとして
の幾つかの音声サンプルを、生徒データメモリ623に
記憶された生徒データから抽出することにより、クラス
タップ(クラス分類に用いるタップ)を生成する。この
クラスタップは、クラスタップ抽出部625からクラス
分類部626に供給される。
する音声サンプルとしては、例えば、注目データとなっ
ている教師データの音声サンプルに対応する生徒データ
の音声サンプルに対して時間的に近い位置にある複数の
生徒データとしての音声サンプルを用いることができ
る。
る音声サンプルとしては、同一の音声サンプルを用いる
こともできるし、異なる音声サンプルを用いることも可
能である。
部625からのクラスタップに基づき、注目データをク
ラス分類し、その結果得られるクラスに対応するクラス
コードを、足し込み部627に出力する。
分類の方法としては、例えば、上述した場合と同様に、
ADRC等を採用することができる。
21から、注目データとなっている教師データの音声サ
ンプルを読み出し、予測タップ抽出部624からの予測
タップを構成する生徒データ、および注目データとして
の教師データを対象とした足し込みを、コンポーネント
データベース630の記憶内容を必要に応じて用いなが
ら、クラス分類部626から供給されるクラスごとに行
う。
クラス分類部626から供給されるクラスコードに対応
するクラスごとに、予測タップ(生徒データ)を用い、
式(8)の行列Aにおける各コンポーネントとなってい
る、生徒データどうしの乗算(xinxim)と、サメーシ
ョン(Σ)に相当する演算を行う。
ラス分類部626から供給されるクラスコードに対応す
るクラスごとに、予測タップ(生徒データ)および注目
データ(教師データ)を用い、式(8)のベクトルvに
おける各コンポーネントとなっている、生徒データと教
師データの乗算(xinyi)と、サメーション(Σ)に
相当する演算を行う。
は、足し込み部627において前回の学習で求められた
式(8)における行列Aのコンポーネントと、ベクトル
vのコンポーネントを、クラスごとに記憶する。
声データを用いて学習を行う場合、コンポーネントデー
タベース630に記憶された、前回の学習で求められた
式(8)における行列Aのコンポーネントと、ベクトル
vのコンポーネントを読み出し、その行列Aまたはベク
トルvのコンポーネントに対して、新たに入力された音
声データから得られる教師データおよび生徒データを用
いて計算される、対応するコンポーネントxinximまた
はxinyiを足し込むことにより(行列A、ベクトルv
におけるサメーションで表される加算を行うことによ
り)、新たな行列Aとベクトルvのコンポーネントを求
め、各クラスについて、式(8)に示した正規方程式を
たてる。
力された音声データだけではなく、過去の学習に用いら
れた音声データにも基づいて、式(8)の正規方程式が
たてられる。
新たに入力された音声データから得られた行列Aおよび
ベクトルvのコンポーネントと、コンポーネントデータ
ベース630に記憶された行列Aおよびベクトルvのコ
ンポーネントと用いて、新たに、クラスごとの行列Aお
よびベクトルvのコンポーネントを求めると、それらの
コンポーネントを、コンポーネントデータベース630
に供給し、上書きする形で記憶させる。
新たに入力されていない場合であっても、必要に応じ
て、コンポーネントデータベース630に記憶された各
クラスの行列Aのコンポーネントと、ベクトルvのコン
ポーネントを読み出し、その行列Aまたはベクトルvの
コンポーネントを用いて、各クラスについて、式(8)
に示した正規方程式をたてる。
に記憶された式(8)における各クラスの行列Aのコン
ポーネントおよびベクトルvのコンポーネントは、足し
込み部627において、新たに入力された音声データを
用いて学習が行われることにより、上述したように、そ
の学習の途中で得られる新たな各クラスの行列Aのコン
ポーネントおよびベクトルvのコンポーネントによって
更新される(上書きされる)他、後述する統合部631
により更新されるようにもなっている。
630に記憶された式(8)における各クラスの行列A
のコンポーネントおよびベクトルvのコンポーネント
が、統合部631によって更新された場合には、足し込
み部627は、コンポーネントデータベース630に記
憶された、更新後の各クラスの行列Aのコンポーネント
と、ベクトルvのコンポーネントを読み出し、その行列
Aまたはベクトルvのコンポーネントを用いて、各クラ
スについて、式(8)に示した正規方程式をたてるよう
になっている。
クラスごとの行列Aおよびベクトルvのコンポーネント
で構成される式(8)の正規方程式を新たにたてると、
そのクラスごとの正規方程式を、タップ係数決定部62
8に供給する。
27から供給されるクラスごとの正規方程式を解くこと
により、クラスごとに、タップ係数を求め、このクラス
ごとのタップ係数を、高品質化データとして、タップ係
数メモリ629に供給し、各クラスに対応するアドレス
に、上書きする形で記憶させる。
質化データとしてのクラスごとのタップ係数は、音質向
上部601(図66)に供給されるようになっている。
述したように、クラスごとの式(8)における行列Aお
よびベクトルvのコンポーネントを記憶する。
てくる、学習情報としての、クラスごとの式(8)にお
ける行列Aおよびベクトルvのコンポーネントを、アン
テナ64(図23)および通信I/F218を介して受
信する。そして、統合部631は、受信した各クラスの
行列Aおよびベクトルvのコンポーネントと、コンポー
ネントデータベース630に記憶された各クラスの行列
Aおよびベクトルvのコンポーネントと用いて、新たな
各クラスの行列Aおよびベクトルvのコンポーネントを
求める。
クラスの行列Aおよびベクトルvのコンポーネントを受
信すると、コンポーネントデータベース630に記憶さ
れている各クラスの行列Aのコンポーネントと、ベクト
ルvのコンポーネントを読み出し、その各クラスの行列
Aまたはベクトルvのコンポーネントに対して、対応す
るクラスの、他のPDAから受信した行列Aまたはベク
トルvのコンポーネントをそれぞれ足し込むことにより
(行列A、ベクトルvにおけるサメーションで表される
加算を行うことにより)、各クラスについて、新たな行
列Aのコンポーネントと、ベクトルvのコンポーネント
を求める。
て求めた新たな行列Aおよびベクトルvのコンポーネン
トを、コンポーネントデータベース630に上書きする
形で記憶させることにより、そのコンポーネントデータ
ベース630に記憶されている各クラスの行列Aおよび
ベクトルvのコンポーネントを更新する。
633からの要求に応じて、コンポーネントデータベー
ス630から各クラスの行列Aおよびベクトルvのコン
ポーネントを読み出し、通信I/F218(図23)お
よびアンテナ64を介して、学習情報として送信する。
DAにおける学習情報送信部632から送信されてくる
学習情報としての各クラスの行列Aおよびベクトルvの
コンポーネントが受信される。
ら、学習情報の送信を要求するリクエスト信号が送信さ
れてくると、そのリクエスト信号が送信されてきたこと
を、所定のイベントして検出する。即ち、他のPDAか
ら送信されてくるリクエスト信号は、アンテナ64(図
23)を介して、通信I/F218で受信され、イベン
ト検出部633に供給される。イベント検出部633
は、このようにして供給されるリクエスト信号を検出す
ると、所定のイベントが発生したとして、コンポーネン
トデータベース630に記憶されている学習情報として
の各クラスの行列Aおよびベクトルvのコンポーネント
を送信するように、学習情報送信部632を制御する。
224(図23)等から操作信号が供給されるようにな
っており、リクエスト信号送信部634は、学習情報を
要求するように、操作部224の操作が行われたことを
表す操作信号を受信すると、その操作信号の受信を、所
定のイベントとして、学習情報を要求するリクエスト信
号を、通信I/F218(図23)およびアンテナ64
を介して送信する。
スト信号を受信した1以上の他のPDAでは、そのリク
エスト信号の受信(検出)により所定のイベントが発生
したとして、自身が有する学習情報としての各クラスの
行列Aおよびベクトルvのコンポーネントの送信が行わ
れる。そして、このようにして他の1以上のPDAから
送信されてくる学習情報としての各クラスの行列Aおよ
びベクトルvのコンポーネントが、統合部631におい
て受信されることになる。
は、新たに入力された音声データを用いて、クラスごと
のタップ係数を求める学習処理、コンポーネントデータ
ベース630に記憶された学習情報としての各クラスの
行列Aおよびベクトルvのコンポーネントを送信する学
習情報送信処理、および他のPDAから送信されてきた
学習情報としての各クラスの行列Aおよびベクトルvの
コンポーネントによって、コンポーネントデータベース
630に記憶された学習情報を更新するコンポーネント
データ統合処理が行われるようになっている。
て、図69の学習部602が行う学習処理、学習情報送
信処理、およびコンポーネントデータ統合処理について
説明する。
照して、学習処理について説明する。
21に、所定のデータ量以上の新たな音声データが記憶
されると開始される。
音声データが、所定のデータ量以上記憶されると、ステ
ップS411において、足し込み部627が、コンポー
ネントデータベース630に記憶されている各クラスの
行列Aおよびベクトルvのコンポーネントを読み出し、
ステップS412に進む。
622が、教師データメモリ621に記憶された音声デ
ータを教師データとして、その教師データを読み出し、
その教師データから生徒データを生成する。そして、生
徒データ生成部622は、得られた生徒データを、生徒
データメモリ623に供給して記憶させ、ステップS4
13に進む。
624は、教師データメモリ621に記憶された教師デ
ータとしての音声サンプルのうち、まだ注目データとし
ていないものの1つを注目データとして、その注目デー
タについて、生徒データメモリ623に記憶された生徒
データとしての音声サンプルの幾つかを読み出すことに
より、予測タップを生成して、足し込み部627に供給
する。
ップ抽出部625が、予測タップ抽出部624における
場合と同様にして、注目データについて、クラスタップ
を生成し、クラス分類部626に供給する。
414に進み、クラス分類部626が、クラスタップ抽
出部625からのクラスタップに基づいて、クラス分類
を行い、その結果得られるクラスコードを、足し込み部
627に供給する。
み部627は、教師データメモリ621から注目データ
を読み出し、その注目データと、予測タップ抽出部62
4からの予測タップを用いて、行列Aとベクトルvのコ
ンポーネントを計算する。さらに、足し込み部627
は、コンポーネントデータベース630から読み出した
行列Aとベクトルvのコンポーネントのうち、クラス分
類部626からのクラスコードに対応するものに対し
て、注目データと予測タップから求められた行列Aとベ
クトルvのコンポーネントを足し込み、これにより、新
たな行列Aとベクトルvのコンポーネントを求めて、ス
テップS416に進む。
624が、教師データメモリ621に、まだ、注目デー
タとしていない教師データが存在するかどうかを判定
し、存在すると判定した場合、ステップS413に戻
り、まだ、注目データとされていない教師データを、新
たに注目データとして、以下、同様の処理が繰り返され
る。
ータメモリ621に、注目データとしていない教師デー
タが存在しないと判定された場合、ステップS417に
進み、足し込み部627は、ステップS413乃至S4
16の処理を繰り返すことにより得られた新たな各クラ
スの行列Aとベクトルvのコンポーネントを、コンポー
ネントデータベース310に上書きする形で記憶させ
る。さらに、足し込み部627は、新たな各クラスの行
列Aおよびベクトルvのコンポーネントで構成される式
(8)の正規方程式を、タップ係数決定部628に供給
し、ステップS418に進む。
628は、足し込み部627から供給される各クラスご
との正規方程式を解くことにより、各クラスごとに、タ
ップ係数を求める。さらに、ステップS418では、タ
ップ係数決定部628は、各クラスごとのタップ係数
を、タップ係数メモリ629に供給し、上書きする形で
記憶させ、処理を終了する。
照して、学習情報送信処理について説明する。
ップS431において、イベント検出部633が、所定
のイベントが発生したかどうかを判定し、発生していな
いと判定した場合、ステップS431に戻る。
イベントが発生したと判定された場合、即ち、イベント
検出部633が、他のPDAから送信されてきたリクエ
スト信号を受信した場合、イベント検出部633は、学
習情報を送信するように、学習情報送信部632を制御
し、ステップS432に進む。
32は、イベント検出部633の制御にしたがい、コン
ポーネントデータベース630から、学習情報としての
各クラスの行列Aとベクトルvのコンポーネントを読み
出し、ステップS433に進む。
32は、コンポーネントデータベース630から読み出
した学習情報としての各クラスの行列Aとベクトルvの
コンポーネントを、イベント検出部633が受信したリ
クエスト信号を送信してきた他のPDAに送信する。そ
して、ステップS431に戻り、以下、同様の処理が繰
り返される。
照して、コンポーネントデータ統合処理について説明す
る。
最初に、ステップS441において、リクエスト信号送
信部634が、学習情報を要求する旨の操作信号の受信
を、所定のイベントとして、そのような所定のイベント
が発生したかどうかを判定し、発生していないと判定し
た場合、ステップS441に戻る。
イベントが発生したと判定された場合、即ち、ユーザに
よって、学習情報を要求するように、操作部224(図
23)が操作され、その旨を表す操作信号を、リクエス
ト信号送信部634が受信した場合、ステップS442
に進み、リクエスト信号送信部634は、任意の1以上
のPDA宛に、学習情報を要求するリクエスト信号を送
信する(例えば、ブロードキャストする)。
631は、ステップS442で送信されたリクエスト信
号に応じて、他のPDAから学習情報が送信されてきた
かどうかを判定する。
信されてきたと判定された場合、ステップS444に進
み、統合部631は、その学習情報を受信し、その内蔵
するメモリ(図示せず)に一時記憶して、ステップS4
45に進む。
報が送信されてきていないと判定された場合、ステップ
S445に進み、統合部631は、リクエスト信号送信
部634が、ステップS442でリクエスト信号を送信
してから所定時間が経過したかどうかを判定する。
号を送信してから、まだ、所定時間が経過していないと
判定された場合、ステップS443に戻り、以下、同様
の処理が繰り返される。
スト信号を送信してから所定時間が経過したと判定され
た場合、ステップS446に進み、統合部631は、ス
テップS444において記憶した学習情報としての各ク
ラスの行列Aとベクトルvのコンポーネントと、コンポ
ーネントデータベース630に記憶されている各クラス
の行列Aとベクトルvのコンポーネントとを、クラスご
とに加算し、新たな各クラスの行列Aとベクトルvのコ
ンポーネントを求める。さらに、ステップS446にお
いて、統合部631は、新たな各クラスの行列Aとベク
トルvのコンポーネントを、コンポーネントデータベー
ス630に上書きすることで、その更新を行い、ステッ
プS447に進む。
が、コンポーネントデータベース630から、新たな各
クラスの行列Aおよびベクトルvのコンポーネントを読
み出し、そのコンポーネントで構成される式(8)の正
規方程式をたてて、タップ係数決定部628に供給す
る。さらに、ステップS447では、タップ係数決定部
628が、足し込み部627から供給された各クラスご
との正規方程式を解くことにより、各クラスごとに、タ
ップ係数を求め、タップ係数メモリ629に供給して、
上書きする形で記憶させる。そして、ステップS441
に戻り、以下、同様の処理が繰り返される。
入力された音声データの他、過去の学習に用いられた音
声データに基づく学習処理が行われるので、ユーザが発
話を行うほど、学習が進行したタップ係数が求められる
ことになる。従って、音質向上部601において、その
ようなタップ係数を用いて、復号音声データを処理する
ことにより、より音質の向上した音声データ(音質向上
データ)を得ることが可能となる。
PDAから収集した学習情報としての各クラスの行列A
およびベクトルvのコンポーネントにより、コンポーネ
ントデータベース630に記憶された各クラスの行列A
およびベクトルvのコンポーネントが更新されていく。
そして、そのような更新された各クラスの行列Aおよび
ベクトルvのコンポーネントからたてられた式(8)の
正規方程式を解くことで、タップ係数が求められる。従
って、音質向上部601において、そのようなタップ係
数を用いて、復号音声データを処理することにより、や
はり、より音質の向上した音声データを得ることが可能
となる。
に、1以上の他のPDAから、学習情報としての各クラ
スの行列Aおよびベクトルvのコンポーネントが収集さ
れるため、音質の向上した音声データを得るためのタッ
プ係数を、迅速に得ることができる。
ら入力された音声データだけを用いてたてる場合には、
入力された音声データのサンプル数が十分でないこと等
に起因して、タップ係数を求めるのに必要な数の正規方
程式が得られないクラスが生じる場合があり得るが、上
述のように、1以上の他のPDAから、学習情報として
の各クラスの行列Aおよびベクトルvのコンポーネント
を収集する場合には、各クラスについて、式(8)の正
規方程式をたてるための行列Aとベクトルvのコンポー
ネントを、迅速に得ることができ、その結果、音質の向
上した音声データを得るためのタップ係数を、迅速に得
ることができる。
たように、それぞれが有する学習情報としての各クラス
の行列Aおよびベクトルvのコンポーネントをやりとり
することで、その複数のPDAでは、同一音質で、かつ
高音質の音声データを得ることができるようになる。
は、リクエスト信号送信部634において、操作信号を
受信した場合に、リクエスト信号を送信するようにした
が、リクエスト信号は、その他、例えば、定期的または
不定期に、任意のタイミングで送信するようにすること
が可能である。
学習の途中で得られる各クラスの行列Aおよびベクトル
vのコンポーネントを学習情報として、1以上の他のP
DAとの間でやりとりするようにしたが、その他、例え
ば、タップ係数自体を学習情報としてやりとりすること
も可能である。
Aとの間で、タップ係数をやりとりする場合には、タッ
プ係数の更新は、例えば、自身が有しているタップ係数
と、他のPDAから受信したタップ係数との重み付け加
算等によって行うことが可能である。
数を求めるのに用いられた音声サンプル数を用いること
ができる。
データから得られる教師データyiおよび生徒データx
inを用いて計算される、行列Aのコンポーネントとなる
xinximと、ベクトルvのコンポーネントとなるxiny
iを足し込んでいく必要があるが、その足し込み回数
(これは、教師データとなった音声サンプル数に等し
い)を、重みとして用いることが可能である。
いるタップ係数を、wa={wa1,wa2,wa3,・・
・}と、そのタップ係数を求めるのに用いられた音声サ
ンプル数を、αと、他のPDAから受信したタップ係数
を、wb={wb1,wb2,wb3,・・・}と、そのタッ
プ係数を求めるのに用いられた音声サンプル数を、β
と、それぞれするとき、新たなタップ係数は、式(αw
a+βwb)/(α+β)で求められることになる。
他のPDAとの間で、タップ係数をやりとりする場合に
は、タップ係数の更新は、例えば、自身がタップ係数を
有していないクラスのタップ係数を、他のPDAから受
信したタップ係数によって補完することにより行うこと
が可能である。
正規方程式を、そのユーザから入力された音声データだ
けを用いてたてる場合には、入力された音声データのサ
ンプル数が十分でないこと等に起因して、タップ係数を
求めるのに必要な数の正規方程式が得られないクラスが
生じることがあり得るが、他のユーザのPDAにおいて
は、そのクラスについて十分な数の正規方程式が得られ
ていることがあり得る。
の間でタップ係数をやりとりすることで、自身だけでは
得られなかったクラスのタップ係数を、他のPDAで得
られたものによって補完するようにすることが可能であ
る。
いて説明したが、本発明は、PDA以外の情報処理装置
等にも適用可能である。
アにより行うこともできるし、ソフトウェアにより行う
こともできる。
合には、そのソフトウェアを構成するプログラムが、P
DA101やベース基地コンピュータ102にインスト
ールされる。
いる記録媒体としてのHDD215(図23)やHDD
333(図26)に予め記録しておくことができる。
ルディスク、CD-ROM(Compact DiscRead Only Memory),
MO(Magneto Optical)ディスク,DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体に、一時的あるいは永続的に格納(記録)し
ておくことができる。このようなリムーバブル記録媒体
は、いわゆるパッケージソフトウエアとして提供するこ
とができる。
ーバブル記録媒体からPDA101やベース基地コンピ
ュータ102にインストールする他、ダウンロードサイ
トから、ディジタル衛星放送用の人工衛星を介して、P
DA101やベース基地コンピュータ102に無線で転
送したり、LAN(Local Area Network)、インターネット
といったネットワークを介して、PDA101やベース
基地コンピュータ102に有線で転送し、PDA101
やベース基地コンピュータ102では、そのようにして
転送されてくるプログラムを、通信部108で受信して
インストールすることができる。
のCPU202(図23)や、ベース基地コンピュータ
102のCPU312(図26)に各種の処理を行わせ
るためのプログラムを記述する処理ステップは、必ずし
もフローチャートとして記載された順序に沿って時系列
に処理する必要はなく、並列的あるいは個別に実行され
る処理(例えば、並列処理あるいはオブジェクトによる
処理)も含むものである。
理されるものであっても良いし、複数のCPUによって
分散処理されるものであっても良い。さらに、プログラ
ムは、遠方のコンピュータ等に転送されて実行されるも
のであっても良い。
示方法、並びにプログラムによれば、複数の表示手段そ
れぞれごとに、1つの情報が表示され、複数の表示手段
それぞれに表示された情報のうちのいずれが選択された
かが検出される。そして、その選択された情報に対応付
けられている複数の情報それぞれが、複数の表示手段そ
れぞれに表示される。従って、分かりやすい情報の表示
や、正確な操作が可能となる。
態の外観構成例を示す斜視図である。
構成例を示す斜視図である。
観構成例を示す斜視図である。
開いた状態のPDA101の外観構成例を示す斜視図で
ある。
である。
構成例を示す斜視図である。
面図と側面図である。
観構成例を示す斜視図である。
を開いた状態のPDA101の外観構成例を示す斜視図
である。
ある。
す斜視図である。
観構成例を示す斜視図である。
断面図である。
断面図である。
形態の外観構成例を示す斜視図である。
す平面図である。
観構成例を示す斜視図である。
するための斜視図である。
観構成例を示す斜視図である。
観構成例を示す斜視図である。
施の形態の構成例を示す図である。
ロック図である。
ロック図である。
を示す斜視図である。
ア構成例を示すブロック図である。
例を示すブロック図である。
2とが接続された状態を示すブロック図である。
明するフローチャートである。
メール送信イベント処理を説明するフローチャートであ
る。
データ送信イベント処理を説明するフローチャートであ
る。
るフローチャートである。
を説明するフローチャートである。
02に対してファイルが送信される場合の通信手順を説
明する図である。
01に対してファイルが送信される場合の通信手順を説
明するフローチャートである。
る画面の表示例を示す図である。
る画面の表示例を示す図である。
る画面の表示例を示す図である。
乃至23における画面の表示例を示す図である。
制御の処理を説明するフローチャートである。
である。
を示す図である。
通信を行っている状態を示す図である。
ロック図である。
ック図である。
理、クラスコード生成処理、およびクラスコード送信処
理を説明するフローチャートである。
ック図である。
である。
理、リクエスト信号送信処理、および適応処理を説明す
るフローチャートである。
ック図である。
る。
プ係数送信処理を説明するフローチャートである。
ック図である。
である。
ック図である。
およびコードブック選択処理を説明するフローチャート
である。
る。
ック図である。
ードブック更新処理を説明するフローチャートである。
ック図である。
理、およびコードブック選択処理を説明するフローチャ
ートである。
図である。
ための図である。
ある。
2との間で行われるコードブックの統合を説明するため
の図である。
ロック図である。
である。
る。
る。
送信処理、およびコンポーネントデータ統合処理を説明
するフローチャートである。
D, 3A タッチパネル, 4 サイドパネル, 4
1乃至44 LCD, 4A1乃至4A4 タッチパネル,
5 サイドパネル, 51乃至54 LCD, 5A1
乃至5A4 タッチパネル, 6 ジョグダイヤル,
7 イヤフォンマイクジャック, 8 コネクタ部,
81乃至84 コネクタ, 9 マイク, 10 スピー
カ, 11本体, 12 LCD, 12A タッチパ
ネル, 13 ヒンジ部, 14メインパネル, 1
5,16 サブパネル, 17,18 ヒンジ部, 2
0蓋部, 21 LCD, 21A タッチパネル,
22 LCD, 22Aタッチパネル, 23 LC
D, 23A タッチパネル, 31,32 軸,3
3,34 軸受け部, 35乃至40 通し穴, 41
乃至43 回路ブロック, 51 係止部, 52
溝, 61 ホールドスイッチ, 62 電源スイッ
チ, 63 無線通信部, 64 アンテナ, 65
CCDカメラ,71乃至73 ヒンジ部, 81 ヒン
ジ金具, 82 軸, 83 ヒンジ金具, 91,9
2 ヒンジカバー, 101 PDA, 102 ベー
ス基地コンピュータ, 103 PDA, 104 公
衆網, 105 インターネット, 111 回路基
板, 112,113 フレキ, 114,115
穴,131 アーム部, 131A,131B ピン
部, 132 アーム部, 132A,132B ピン
部, 133 アーム部, 133A,133B ピン
部, 143 係止部, 144 穴, 145乃至1
47 フレキ, 201バス, 202 CPU, 2
03 ROM, 204 RAM, 205(2051
乃至2057) タッチパネルドライバ, 206(2
061乃至2067) LCDドライバ, 207乃至2
09 アンプ, 210,211 A/D変換器, 2
12 D/A変換器, 213 MPEGエンコーダ/
デコーダ,214 ATRACエンコーダ/デコーダ,
215 HDD, 216 フラッシュメモリ, 2
17 DRAM, 218 通信I/F, 219 ド
ライバ, 220 受光部, 221 発光部, 22
2 バッテリ, 223入力I/F, 224 操作
部, 225 スイッチ部, 226 バス, 231
RF処理部, 232 チャネル復号部, 233
チャネル符号化部,234 エンコード/デコード部,
235 画像符号化部, 236 画像復号部, 2
37 音声符号化部, 238 音声復号部, 239
制御部,240 変復調部, 241 メモリ, 2
42 アラーム部, 243 開閉検出部, 244
表示制御部, 245 表示部, 251乃至255
表示制御部, 256乃至261 表示部, 301
キーボード, 302 表示部, 303 PDA装着
部, 304 無線通信部, 305 IEEE1394端子,
306 USB端子, 311 バス, 312 CP
U, 313 ROM, 314 RAM, 315
フラッシュメモリ, 316 LCD ,317 LC
Dドライバ, 318 キーボードI/F, 319
USBインタフェース, 320 IEEE1394インタフェー
ス, 321 PCMCIAAドライバ,322 PCMCIAスロ
ット, 323 ATRACエンコーダ/デコーダ,
324 A/D変換器, 325 D/A変換器, 3
26,327 アンプ,328 マイク, 329 ス
ピーカ, 330 マイクジャック, 331イヤフォ
ンジャック, 332 CD-RWドライブ, 333 H
DD, 334フラッシュメモリ, 335 DRA
M, 336 通信I/F, 337コネクタ部, 3
371乃至3374 コネクタ, 338 ドライバ,
339受光部, 340 発光部, 341 LANボ
ード, 342 モデム/TA/DSU, 343 バ
ス, 344 充電回路, 345 バス, 351制
御部, 352 音声画像符号化復号部, 353 操
作部, 354 変復調部, 355 表示制御部,
356 表示部, 357 メモリ, 401,40
1’ 送信処理部, 402,402’ 受信処理部,
411 符号化部, 412 イベント検出部, 4
13 ストレージ, 414 学習部,415 タップ
係数バッファ, 416 ストレージ, 421 デー
タ圧縮部, 422 送信制御部, 423 クラスタ
ップ抽出部, 424 クラス分類部, 425 クラ
スコードデータベース, 431 復号部, 432画
質判定部, 433 リクエスト信号送信部, 441
受信制御部, 442 受信バッファ, 443 登
録部, 444 ストレージ, 445 選択部, 4
46 クラスコードデータベース, 447,448
適応処理部,451 バッファ, 452 予測タップ
抽出部, 453 積和演算部, 454 クラスコー
ド読み出し部, 455 係数メモリ, 456 登録
部,461 教師データメモリ, 462 データ圧縮
部, 463 生徒データメモリ, 464 予測タッ
プ抽出部, 465 クラスタップ抽出部, 466ク
ラス分類部, 467 足し込み部, 468 タップ
係数決定部, 501 ベクトル化部, 502 ベク
トル量子化部, 503 ローカルデコード部, 50
4 差分演算部, 505 エントロピー符号化部,
506 更新部, 507 コードブックデータベー
ス, 508 選択部, 509 コードブック記憶
部, 521 データ更新部, 522 コードブック
更新部,531 エントロピー復号部, 532 ベク
トル逆量子化部, 533 加算部, 534 エラー
訂正部, 535 スカラ化部, 536 コードブッ
クデータベース, 537 選択部, 538 コード
ブック記憶部, 539更新部, 540 エラー検出
部, 550 書き込み部, 551 メモリ,552
読み出し部, 553 部分ベクトル推定部, 55
4 画像ベクトル推定部, 600 音声復号部, 6
01 音質向上部, 602 学習部,611 バッフ
ァ, 612 予測タップ抽出部, 613 クラスタ
ップ抽出部, 614 クラス分類部, 615 係数
メモリ, 616 積和演算部, 621 教師データ
メモリ, 622 生徒データ生成部, 622D 音
声復号部, 622E 音声符号化部, 623 生徒
データメモリ, 624予測タップ抽出部, 625
クラスタップ抽出部, 626 クラス分類部, 62
7 足し込み部, 628 タップ係数決定部, 62
9 タップ係数メモリ, 630 コンポーネントデー
タベース, 631 統合部, 632学習情報送信
部, 633 イベント検出部, 634 リクエスト
信号送信部
Claims (41)
- 【請求項1】 情報を表示する表示手段を複数有する表
示装置であって、 複数の表示手段それぞれごとに、1つの情報を表示させ
る制御を行う表示制御手段と、 前記複数の表示手段それぞれに表示された情報のうちの
いずれが選択されたかを検出する検出手段とを備え、 前記表示制御手段は、選択された情報に対応付けられて
いる複数の情報それぞれを、前記複数の表示手段それぞ
れに表示させることを特徴とする表示装置。 - 【請求項2】 本体と、 前記本体に対して移動可能に取り付けられた蓋部と、 前記本体または蓋部に対して移動可能に取り付けられた
パネルとをさらに備え、 前記本体は、前記蓋部が第1の位置に移動したときに収
納され、前記蓋部が第2の位置に移動したときに露出す
る第1の表示手段を、前記複数の表示手段の1つとして
有し、 前記蓋部は、前記第2の位置に移動したときに上面に露
出する第2の表示手段を、前記複数の表示手段のうちの
他の1つとして有し、 前記パネルは、所定の位置に移動したときに上面に露出
する第3の表示手段を、前記複数の表示手段のうちのさ
らに他の1つとして有することを特徴とする請求項1に
記載の表示装置。 - 【請求項3】 前記本体または蓋部に対して移動可能に
取り付けられ、所定の位置に移動したときに上面に露出
する第4の表示手段を有する他のパネルをさらに備える
ことを特徴とする請求項2に記載の表示装置。 - 【請求項4】 前記蓋部は、 前記本体の一端に回動自在に取り付けられており、 第1の位置に移動したときに閉じた状態となり、前記第
1と第2の表示手段を、その第1と第2の表示手段が対
向するように収納し、 前記第2の位置に移動したときに開いた状態となり、前
記第1と第2の表示手段を露出させることを特徴とする
請求項2に記載の表示装置。 - 【請求項5】 前記第1の表示手段は、前記蓋部が開い
た状態になっているときに露出するように、前記本体の
上面に設けられていることを特徴とする請求項4に記載
の表示装置。 - 【請求項6】 前記第2の表示手段は、前記蓋部が閉じ
た状態になっているときの、その蓋部の裏面に設けられ
ていることを特徴とする請求項4に記載の表示装置。 - 【請求項7】 前記パネルは、 前記本体または蓋部の一端に回動自在に取り付けられて
おり、 前記蓋部が前記第2の位置に移動した状態において回動
可能状態となることを特徴とする請求項2に記載の表示
装置。 - 【請求項8】 前記第3の表示手段は、前記パネルが閉
じた状態となっているときの、そのパネルの裏面に設け
られていることを特徴とする請求項7に記載の表示装
置。 - 【請求項9】 前記パネルは、 前記蓋部の一端に回動自在に取り付けられており、 開いた状態に回動されることにより、前記第3の表示手
段を露出させ、 閉じた状態に回動されることにより、前記第3の表示手
段を収納することを特徴とする請求項7に記載の表示装
置。 - 【請求項10】 前記第2の表示手段は、前記蓋部が第
2の位置に移動し、かつ前記パネルが開いた状態となっ
たときに露出することを特徴とする請求項9に記載の表
示装置。 - 【請求項11】 前記蓋部は、前記本体に対して、ヒン
ジ機構を介して回動自在に取り付けられており、 前記ヒンジ機構は、 前記本体に固定された第1のヒンジ金具と、 前記蓋部に固定された第2のヒンジ金具と、 前記第1と第2のヒンジ金具に、両端が圧入される軸と
を有し、 前記第1のヒンジ金具と軸、および第2のヒンジ金具と
軸は、回転自在とされていることを特徴とする請求項2
に記載の表示装置。 - 【請求項12】 前記第1と第2のヒンジ金具は、カー
リングされたバネ用鋼板により形成されていることを特
徴とする請求項11に記載の表示装置。 - 【請求項13】 前記パネルは、前記蓋部に対して、ヒ
ンジ機構を介して回動自在に取り付けられており、 前記ヒンジ機構は、 前記本体に固定された第1のヒンジ金具と、 前記蓋部に固定された第2のヒンジ金具と、 前記第1と第2のヒンジ金具に、両端が圧入される軸と
を有し、 前記第1のヒンジ金具と軸、および第2のヒンジ金具と
軸は、回転自在とされていることを特徴とする請求項2
に記載の表示装置。 - 【請求項14】 前記第1と第2のヒンジ金具は、カー
リングされたバネ用鋼板により形成されていることを特
徴とする請求項13に記載の表示装置。 - 【請求項15】 前記表示制御手段は、前記複数の表示
手段の全体に、1つの情報を表示させる制御も行うこと
を特徴とする請求項1に記載の表示装置。 - 【請求項16】 前記蓋部の状態を検出する検出手段を
さらに備え、 前記表示制御手段は、前記蓋部の状態に応じて、前記複
数の表示手段のオン/オフも制御することを特徴とする
請求項2に記載の表示装置。 - 【請求項17】 前記パネルの状態を検出する検出手段
をさらに備え、 前記表示制御手段は、前記パネルの状態に応じて、前記
複数の表示手段のオン/オフも制御することを特徴とす
る請求項2に記載の表示装置。 - 【請求項18】 携帯型の端末であり、 腕に装着するためのバンドをさらに備え、 前記バンドには、1以上の表示手段が設けられているこ
とを特徴とする請求項2に記載の表示装置。 - 【請求項19】 通信可能な通信装置と通信を行う通信
手段をさらに備えることを特徴とする請求項1に記載の
表示装置。 - 【請求項20】 通信を行う相手の宛先を入力する宛先
入力手段をさらに備えることを特徴とする請求項19に
記載の表示装置。 - 【請求項21】 前記通信手段は、音声通話を行う電話
機として機能することを特徴とする請求項19に記載の
表示装置。 - 【請求項22】 前記音声通話において送信する音声を
入力する音声入力手段と、 前記音声通話において受信した音声を出力する音声出力
手段とをさらに備えることを特徴とする請求項21に記
載の表示装置。 - 【請求項23】 前記通信手段は、データの送受信を行
うことを特徴とする請求項19に記載の表示装置。 - 【請求項24】 送信または受信するデータを選択する
送受信データ選択手段をさらに備えることを特徴とする
請求項23に記載の表示装置。 - 【請求項25】 前記通信手段は、画像データまたは音
声データの送受信を行うことを特徴とする請求項23に
記載の表示装置。 - 【請求項26】 前記通信手段は、電子メールの送受信
を行うことを特徴とする請求項23に記載の表示装置。 - 【請求項27】 前記電子メールのメッセージを入力す
るメッセージ入力手段をさらに備えることを特徴とする
請求項26に記載の表示装置。 - 【請求項28】 データを記憶するデータ記憶手段をさ
らに備えることを特徴とする請求項1に記載の表示装
置。 - 【請求項29】 前記データ記憶手段は、画像データま
たは音声データを記憶することを特徴とする請求項28
に記載の表示装置。 - 【請求項30】 前記データ記憶手段に記憶されたデー
タを再生する再生手段をさらに備えることを特徴とする
請求項28に記載の表示装置。 - 【請求項31】 再生するデータを選択する再生データ
選択手段をさらに備えることを特徴とする請求項30に
記載の表示装置。 - 【請求項32】 前記データ記憶手段は、コンピュータ
に実行させるプログラムを記憶し、 前記プログラムを実行する実行手段をさらに備えること
を特徴とする請求項28に記載の表示装置。 - 【請求項33】 前記通信手段は、前記通信装置と接触
した状態で、または非接触で、通信を行うことを特徴と
する請求項19に記載の表示装置。 - 【請求項34】 電源となるバッテリをさらに備え、 前記通信手段と前記通信装置が通信を行うことにより、
前記通信装置が、前記バッテリの充電を行うことを特徴
とする請求項19に記載の表示装置。 - 【請求項35】 前記通信装置との間で、認証を行う認
証手段をさらに備えることを特徴とする請求項19に記
載の表示装置。 - 【請求項36】 前記通信装置に対して着脱可能に構成
されており、 前記通信装置に装着されたときに、前記通信装置の一部
として機能することを特徴とする請求項19に記載の表
示装置。 - 【請求項37】 データを記憶するメモリをさらに備
え、 前記メモリは、前記表示装置が前記通信装置に装着され
たときに、前記通信装置のメモリの一部として機能する
ことを特徴とする請求項36に記載の表示装置。 - 【請求項38】 携帯型の端末であることを特徴とする
請求項1に記載の表示装置。 - 【請求項39】 情報を表示する表示手段を複数有する
表示装置の表示方法であって、 複数の表示手段それぞれごとに、1つの情報を表示させ
る制御を行う表示制御ステップと、 前記複数の表示手段それぞれに表示された情報のうちの
いずれが選択されたかを検出する検出ステップとを備
え、 前記表示制御ステップにおいて、選択された情報に対応
付けられている複数の情報それぞれを、前記複数の表示
手段それぞれに表示させることを特徴とする表示方法。 - 【請求項40】 情報を表示する表示手段を複数有する
表示装置を制御するのに、コンピュータに行わせるプロ
グラムであって、 複数の表示手段それぞれごとに、1つの情報を表示させ
る制御を行う表示制御ステップと、 前記複数の表示手段それぞれに表示された情報のうちの
いずれが選択されたかを検出する検出ステップとを備
え、 前記表示制御ステップにおいて、選択された情報に対応
付けられている複数の情報それぞれを、前記複数の表示
手段それぞれに表示させることを特徴とするプログラ
ム。 - 【請求項41】 情報を表示する表示手段を複数有する
表示装置を制御するのに、コンピュータに行わせるプロ
グラムが記録されている記録媒体であって、複数の表示
手段それぞれごとに、1つの情報を表示させる制御を行
う表示制御ステップと、 前記複数の表示手段それぞれに表示された情報のうちの
いずれが選択されたかを検出する検出ステップとを備
え、 前記表示制御ステップにおいて、選択された情報に対応
付けられている複数の情報それぞれを、前記複数の表示
手段それぞれに表示させるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001344237A JP4022806B2 (ja) | 2001-11-09 | 2001-11-09 | 表示装置および表示方法、並びにプログラムおよび記録媒体 |
US10/290,440 US7453936B2 (en) | 2001-11-09 | 2002-11-07 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
KR1020020069282A KR101007438B1 (ko) | 2001-11-09 | 2002-11-08 | 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 기록 매체, 및 송수신 시스템 |
NO20025361A NO20025361L (no) | 2001-11-09 | 2002-11-08 | Senderanordning og sendefremgangsmåte, mottakeranordning og mottaksfremgangsmåte, program og registreringsmedium, og sender-/mottakersystem |
CNB021606080A CN1318997C (zh) | 2001-11-09 | 2002-11-09 | 发送设备和方法、接收设备和方法及发送/接收系统 |
EP02257808A EP1311126A2 (en) | 2001-11-09 | 2002-11-11 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US11/581,159 US7817863B2 (en) | 2001-11-09 | 2006-10-13 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
KR1020100074631A KR101057934B1 (ko) | 2001-11-09 | 2010-08-02 | 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 기록 매체, 및 송수신 시스템 |
KR1020100074574A KR101059313B1 (ko) | 2001-11-09 | 2010-08-02 | 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 기록 매체, 및 송수신 시스템 |
US12/849,064 US8014635B2 (en) | 2001-11-09 | 2010-08-03 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001344237A JP4022806B2 (ja) | 2001-11-09 | 2001-11-09 | 表示装置および表示方法、並びにプログラムおよび記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007207889A Division JP2008010008A (ja) | 2007-08-09 | 2007-08-09 | 表示装置および表示方法、並びにプログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003150561A true JP2003150561A (ja) | 2003-05-23 |
JP4022806B2 JP4022806B2 (ja) | 2007-12-19 |
Family
ID=19157792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001344237A Expired - Fee Related JP4022806B2 (ja) | 2001-11-09 | 2001-11-09 | 表示装置および表示方法、並びにプログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4022806B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006276228A (ja) * | 2005-03-28 | 2006-10-12 | Sanyo Electric Co Ltd | 情報出力装置 |
JP2008507723A (ja) * | 2004-07-20 | 2008-03-13 | キム、シハン | ポータブルディスプレイデバイス |
US7894839B2 (en) | 2003-06-20 | 2011-02-22 | Trek 2000 International Ltd. | Data input device, systems using the device, and methods for operating such systems |
JP2016207227A (ja) * | 2010-10-01 | 2016-12-08 | ゼット124Z124 | スマートパッド方向付け |
JP2017010294A (ja) * | 2015-06-23 | 2017-01-12 | 三菱電機株式会社 | 入力装置、入力方法、および電子機器 |
US9811302B2 (en) | 2011-09-27 | 2017-11-07 | Z124 | Multiscreen phone emulation |
JP2018512640A (ja) * | 2015-02-12 | 2018-05-17 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ウェアラブルディスプレイ上のコンテンツの制御された表示 |
-
2001
- 2001-11-09 JP JP2001344237A patent/JP4022806B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7894839B2 (en) | 2003-06-20 | 2011-02-22 | Trek 2000 International Ltd. | Data input device, systems using the device, and methods for operating such systems |
JP2008507723A (ja) * | 2004-07-20 | 2008-03-13 | キム、シハン | ポータブルディスプレイデバイス |
JP2011150356A (ja) * | 2004-07-20 | 2011-08-04 | Si Han Kim | 携帯用表示装置 |
JP2006276228A (ja) * | 2005-03-28 | 2006-10-12 | Sanyo Electric Co Ltd | 情報出力装置 |
JP2016207227A (ja) * | 2010-10-01 | 2016-12-08 | ゼット124Z124 | スマートパッド方向付け |
US10248282B2 (en) | 2010-10-01 | 2019-04-02 | Z124 | Smartpad split screen desktop |
US9811302B2 (en) | 2011-09-27 | 2017-11-07 | Z124 | Multiscreen phone emulation |
US10089054B2 (en) | 2011-09-27 | 2018-10-02 | Z124 | Multiscreen phone emulation |
US10209940B2 (en) | 2011-09-27 | 2019-02-19 | Z124 | Smartpad window management |
US10740058B2 (en) | 2011-09-27 | 2020-08-11 | Z124 | Smartpad window management |
US11137796B2 (en) | 2011-09-27 | 2021-10-05 | Z124 | Smartpad window management |
JP2018512640A (ja) * | 2015-02-12 | 2018-05-17 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ウェアラブルディスプレイ上のコンテンツの制御された表示 |
JP2017010294A (ja) * | 2015-06-23 | 2017-01-12 | 三菱電機株式会社 | 入力装置、入力方法、および電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP4022806B2 (ja) | 2007-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101057934B1 (ko) | 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 기록 매체, 및 송수신 시스템 | |
US11540019B2 (en) | Video recommendation method and device, computer device and storage medium | |
US6990489B2 (en) | Information processing apparatus, system and method, and recording medium | |
KR100777480B1 (ko) | 정보 처리 장치 및 방법, 정보 처리 시스템 및 매체 | |
CN104106290A (zh) | 互操作地执行服务的方法和装置以及支持该方法和装置的系统 | |
CN1655119A (zh) | 依用户群优选编码支持应用与服务个性化的统计模型、方法 | |
JP2002216026A (ja) | 情報通信システム、エージェント端末、情報配信システム、エージェントプログラムが記憶された記憶媒体、エージェントアクセスプログラムが記憶された記憶媒体、専用処理プログラムが記憶された記憶媒体、エージェントプログラム、エージェントアクセスプログラム、及び、専用処理プログラム | |
JP2008501258A (ja) | 移動端末機の待機状態でメッセージを表示し、移動端末機で待機状態用アプリケーションを駆動し、移動端末機の待機状態用コンテンツを提供するための方法及び装置 | |
CN109274405A (zh) | 数据传输方法、装置、电子设备及计算机可读介质 | |
CN101753557B (zh) | 用于提供数字内容的设备及其方法 | |
JP2008010008A (ja) | 表示装置および表示方法、並びにプログラムおよび記録媒体 | |
JP4022806B2 (ja) | 表示装置および表示方法、並びにプログラムおよび記録媒体 | |
JP4144212B2 (ja) | 表示装置 | |
EP2194469A2 (en) | Apparatus of providing digital contents with external storage device and metadata, and method thereof | |
CN110100257A (zh) | 信息处理设备、信息处理方法和程序 | |
JP4038810B2 (ja) | 送信装置および送信方法、受信装置および受信方法、プログラムおよび記録媒体、並びに送受信システム | |
JP4735610B2 (ja) | 受信装置及び方法、プログラム、並びに記録媒体 | |
JP4038811B2 (ja) | データ処理システム、符号化装置および符号化方法、復号装置および復号方法、並びにプログラムおよび記録媒体 | |
CN112489619A (zh) | 语音处理方法、终端设备及存储介质 | |
JP2005184062A (ja) | 画像データ変換装置および画像データ変換プログラム | |
WO2020054361A1 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
CN112700783A (zh) | 通讯的变声方法、终端设备和存储介质 | |
JP4483351B2 (ja) | 情報提供システム、及び情報提供装置 | |
KR100651943B1 (ko) | 휴대폰의 멀티미디어 컨텐츠를 이용한 명함 작성 방법 및 명함 표시 방법 | |
JP5150995B2 (ja) | 画像配信システム、ユーザ嗜好ベース制御システム、および方法、並びにコンピュータ・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070509 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070919 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |