JP2007288574A - 携帯通信端末装置及びプログラム - Google Patents

携帯通信端末装置及びプログラム Download PDF

Info

Publication number
JP2007288574A
JP2007288574A JP2006114375A JP2006114375A JP2007288574A JP 2007288574 A JP2007288574 A JP 2007288574A JP 2006114375 A JP2006114375 A JP 2006114375A JP 2006114375 A JP2006114375 A JP 2006114375A JP 2007288574 A JP2007288574 A JP 2007288574A
Authority
JP
Japan
Prior art keywords
business card
card image
address book
terminal device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006114375A
Other languages
English (en)
Other versions
JP4449939B2 (ja
Inventor
Atsushi Honma
敦 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2006114375A priority Critical patent/JP4449939B2/ja
Publication of JP2007288574A publication Critical patent/JP2007288574A/ja
Application granted granted Critical
Publication of JP4449939B2 publication Critical patent/JP4449939B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】名刺画像群の中から必要な名刺だけをアドレス帳に登録することができると共に、その登録対象の選択基準を統一化できるようにする。
【解決手段】CPU1は、名刺フォルダ21Aに名刺画像が蓄積管理されている状態において、通話発信/メール送信あるいは通話着信/メール受信を行う毎に、その相手識別情報(電話番号/メールアドレス)を取得し、この電話番号/メールアドレスを含む名刺画像を名刺フォルダ21Aの中から選択すると共に、選択した名刺画像内に含まれている項目情報をアドレス帳格納部22に当該相手のアドレス帳データとして登録する。
【選択図】 図1

Description

この発明は、相手先別にそのアドレス帳データを記憶管理する携帯通信端末装置及びプログラムに関する。
一般に、営業担当者などは、日頃の営業活動のほか、名刺交換会、商談会などに出席すると、多数の名刺を入手するようになるため、その蓄積量は膨大なものとなる。このような場合、名刺内の情報を携帯電話などのアドレス帳に登録しておけば、相手の情報を何時でも自由に閲覧可能となるが、名刺内の情報を携帯電話などのアドレス帳に簡単に記憶させる方法として、従来では、名刺をカメラ撮影するだけでアドレス帳に登録可能なカメラ機能付き携帯端末が知られている。すなわち、カメラ機能によって撮影された名刺画像を解析することによって「名前」、「住所」、「メールアドレス」などの項目情報を文字認識し、その認識結果(文字コード)をアドレス帳データとして登録するようにした技術が知られている(特許文献1参照)。
特開2003−163736号公報
この先行技術にあっては、名刺をカメラ撮影するだけでアドレス帳に登録されるため、文字入力に比べてその入力作業が容易となるが、名刺交換会、商談会などで入手した全ての名刺をアドレス帳に登録すると、今後の付き合いが発生しないような人の名刺までも登録することになり、アドレス帳の膨大化を招いてしまう。そこで、必要な名刺だけを選んでアドレス帳に登録するようにすればよいが、どの名刺を登録対象とするかを直感で決めるしかなく、アドレス帳の内容が無秩序なものとなってしまう。
この発明の課題は、名刺画像群の中から必要な名刺だけをアドレス帳に登録することができると共に、その登録対象の選択基準を統一化できるようにすることである。
請求項1記載の発明は、相手先別にそのアドレス帳データを記憶管理する携帯通信端末装置であって、名刺画像を取得して蓄積記憶する画像記憶手段と、通信相手先を識別する相手識別情報を取得する取得手段と、前記蓄積記憶されている名刺画像群の中から前記取得手段によって得られた相手識別情報を含む名刺画像を選択する選択手段と、この選択手段によって選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する登録手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項9記載の発明)。
ここで、「名刺画像」とは、相手から名刺あるいはそれに類する自己紹介用の媒体を受け取った場合に、それをカメラ撮影して歪み補正などを施した撮影画像のほか、相手からネットワーク経由で送信されて来た名前、電話番号などを含む送信画像などを意味する。
なお、上述した請求項1記載の発明は次のようなものであってもよい。
前記取得手段は、通話着信時、メール送信時、通話発信時、メール受信時のうち、少なくともその何れかの通信時に、その通信相手先を識別する相手識別情報を取得する(請求項2記載の発明)。
名刺画像内に含まれている相手識別情報を文字認識した文字コード列が当該名刺画像に対応付けて記憶管理されている状態において、前記選択手段は、名刺画像毎にそれに対応する文字コード列を参照することによって名刺画像の選択を行う(請求項3記載の発明)。
前記登録手段は、選択された名刺画像内に含まれている項目情報を当該相手先に対応するアドレス帳データとして登録する際に、未登録項目の有無を判別し、未登録項目があれば、当該項目データを追加登録する(請求項5記載の発明)。
前記登録手段は、名刺画像内に人物の顔画像が含まれているかを判別し、顔画像が含まれている場合には、この顔画像を抽出して当該相手先のアドレス帳データの一部として登録する(請求項6記載の発明)。
アドレス帳データの登録に先立ってその登録可否を問い合わせるメッセージを出力させるメッセージ出力手段を設け、このメッセージ出力に応じて登録可のユーザ指示を受けた際に、前記登録手段は、前記選択された名刺画像内の項目情報を当該相手先対応のアドレス帳データとして登録する(請求項7記載の発明)。
請求項4記載の発明は、相手先別にそのアドレス帳データを記憶管理する携帯通信端末装置であって、名刺画像を取得して蓄積記憶する画像記憶手段と、相手先別にその通信実績を記憶管理する通信実績記憶手段と、前記蓄積記憶されている名刺画像群の中から前記通信実績が所定値以上である相手先の名刺画像を選択する選択手段と、この選択手段によって選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する登録手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項4記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項10記載の発明)。
請求項4記載の発明は、上述した請求項5〜7記載の発明のほか、前記通信実績記憶手段は、通信回数、通信頻度、通信時間、通信データ量のうち、少なくともその何れかを相手先別の通信実績として記憶管理するようにしてもよい(請求項8記載の発明)。
この発明は、名刺画像群の中から必要な名刺だけを選んでアドレス帳に登録することができると共に、登録対象の選択基準を統一化することができ、アドレス帳の膨大化及び無秩序化を防ぐことが可能となる。
以下、図1〜図13を参照して本発明の実施例を説明する。
この実施例は、携帯通信端末装置として携帯電話装置に適用した場合を例示したもので、図1は、携帯電話装置の基本的な構成要素を示したブロック図である。
この携帯電話装置は、通話機能、電子メール機能、インターネット接続機能(Webアクセス機能)、カメラ機能などのほか、名刺画像管理機能、アドレス帳管理機能を備えている。名刺画像管理機能は、名刺画像を蓄積管理する機能であり、アドレス帳管理機能は、相手先別にそのアドレス帳データを記憶管理する機能である。
CPU1は、記憶部2内の各種のプログラムに応じてこの携帯電話装置の全体動作を制御する中核的な中央演算処理装置であり、このメインCPU1のほか、この携帯電話装置には、例えば、映像・音声データの受送信機能、受信映像の録画/再生機能などの機能別に、複数のサブCPU(図示せず)を有する構成となっている。記憶部2は、不揮発性メモリ(内部メモリ)であり、例えば、フラッシュメモリなどによって構成され、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図5〜図12に示す動作手順に応じて本実施例を実現するためのプログラムが格納され、データ領域には、文字認識用の辞書(図示省略)などが格納されている。
記録メディア3は、着脱自在な可搬型メモリで、画像データ、各種のデータ、プログラムを外部供給するもので、例えば、スマートメディア、ICカードなどによって構成されている。メモリ4は、ワーク領域を有する内部メモリで、例えば、DRAM、SDRAM(Synchronous DRAM)などによって構成されている。このメモリ4には、後述する画像格納部21、アドレス帳格納部22、通信履歴格納部23などが設けられており、必要に応じてメモリ4内の各種のデータは、記憶部2にセーブされる。
電話通信部5は、携帯電話通信機能を構成するもので、アンテナ5Aに接続された送受信部(ベースバンド部)の受信側から信号を取り込んで受信ベースバンド信号に復調したのちに、音響制御部6を介して受話スピーカ7から音声出力させる。また、電話通信部5は、送話マイク8から入力された音声データを音響制御部6から取り込み、送信ベースバンド信号に符号化したのちに送受信部の送信側に与えられてアンテナ5Aから発信出力させる。一方、メール送受信機能、Webアクセス機能によって電話通信部5を介して受信取得した表示データは、表示制御部9を介してLCD(液晶表示装置)などを備えたメイン表示部10に与えられて表示出力される。
メイン表示部10は、文字情報、テレビ映像データ、各種のメッセージなどを高品位に表示し、装置本体の背面側に設けられたサブ表示部11は、現在日時、簡易なメッセージ、アイコンなどを表示する。キー操作部12は、ダイヤル入力、文字入力、コマンド入力などを行うもので、CPU1は、キー操作部12からのキー入力信号に応じた処理を実行する。報知部13は、着信報知などの報知用のスピーカ、LED(発光ダイオード)、振動モータを備え、電話・メール着信時に駆動されて着信報知を行うほか、アラーム報知時にも駆動される。
カメラ撮像部14は、静止画撮影のほかに動画撮影も可能なもので、撮影レンズ、ミラー等のレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路等を備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランス等を制御する。ここで、ユーザは、相手から名刺あるいはそれに類する自己紹介用の媒体を受け取った際に、カメラ撮像部14を起動させてその名刺をカメラ撮影する。この場合、CPU1は、名刺を最適な状態で撮影できるようにカメラ撮像部14を制御してズーム倍率、焦点などを自動調整すると共に、カメラ撮像部14から取得した名刺画像に対して矩形の歪み補正などを施したり、サイズ変更などを行うようにしている。
なお、RTC(リアルタイムクロックモジュール)15は、時計部を構成するもので、CPU1は、RTC15から現在日時を取得する。
図2は、画像格納部21の内容を示した図である。
画像格納部21には、名刺画像を蓄積記憶する名刺フォルダ21Aのほか、この名刺画像などから抽出した人物の顔画像を蓄積記憶する顔写真フォルダ21Bが設けられている。名刺フォルダ21Aは、名刺画像毎に「画像ID」、「ファイル名」、「実データ」のほか、「電話番号」、「メールアドレス」の項目を有し、顔写真フォルダ21Bは、「画像ID」、「ファイル名」、「実データ」の項目を有している。
「画像ID」は、名刺画像を識別する一連番号であり、「ファイル名」は、画像ファイルの名称であり、「実データ」は、画像ファイルである。「電話番号」、「メールアドレス」は、この名刺画像を解析することよって得られた情報であり、CPU1は、カメラ撮影された名刺画像を取得した際に、「画像ID」、「ファイル名」を生成するほか、名刺画像内の項目領域(電話番号領域、メールアドレス領域)から文字情報を抽出して文字認識を行い、その認識結果(文字列コード)を電話番号、メールアドレスとして名刺フォルダ21Aにセットするようにしている。
図3は、アドレス帳格納部22の内容を示した図である。
アドレス帳格納部22は、通信相手先別にそのアドレス帳データを記憶管理するもので、各レコードは、「ID」、「名前」、「読み」、「電話番号」、「メールアドレス」、「住所」、「顔画像」の項目を有する構成となっている。アドレス帳データ(アドレス帳レコード)は、キー操作部12から入力されたデータ、記録メディア3などから外部供給されたデータに基づいて任意に設定されたり、上述のように名刺画像を解析することによって自動設定されたものである。なお、「顔画像」には、顔写真フォルダ21Bから読み出された「画像ID」がセットされる。
ここで、名刺画像からアドレス帳データを自動設定する場合、CPU1は、相手への通信時(通話発信/メール送信)あるいは相手からの通信時(通話着信/メール受信)に、この通信相手先を識別する相手識別情報(電話番号/メールアドレス)を取得し、この相手識別情報に基づいてアドレス帳格納部22を検索して当該相手識別情報が登録されているかを判別し、未登録であれば、この相手との通信実績(後述する)を参照し、通信回数が所定回数以上であれば、名刺画像群の中から当該相手識別情報を含む名刺画像を選択し、この名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録するようにしている。
この場合、選択した名刺画像内から「電話番号」、「メールアドレス」、「名前」、「住所」の項目領域を特定すると共に、各項目内から文字情報を抽出して文字認識し、この文字列コードを対応項目のデータとするアドレス帳レコードを新規生成するが、その際、名刺内に顔写真が含まれていれば、「顔画像」の項目を生成レコード内に追加するようにしている。また、通信時に取得した相手識別情報(電話番号/メールアドレス)がアドレス帳格納部22に登録済みであっても、そのアドレス帳データに未登録項目が存在するかを判別し、未登録項目があれば、名刺画像内から得た対応項目のデータを未登録項目に追加登録するようにしている。
図4は、通信履歴格納部23の内容を示した図である。
通信履歴格納部23は、同一相手と通話発信/メール送信あるいは通話着信/メール受信を行う毎に更新された通信回数を通信実績として記憶管理するもので、各実績レコードは「電話番号」あるいは「メールアドレス」に対応してその実績データである「通話回数」あるいは「メール回数」の項目を有している。すなわち、実績レコードは「電話番号」に対応して「通話回数」の項目を有し、「メールアドレス」に対応して「メール回数」の項目を有する構成となっている。「通話回数」は、同一相手と通話発信/通話着信が行われる毎に更新されるカウント値であり、「メール回数」は、同一相手とメール送信/メール受信が行われる毎に更新されるカウント値である。
CPU1は、通信時にその相手との通信実績(通話回数/メール回数)を参照し、通話回数/メール回数が所定回数(基準値)以上であるかを判別するようにしている。なお、この実施例では、通話回数の基準値として3回以上、メール回数の基準値として3回以上としているが、これらのデフォルト値をユーザ操作によって任意に変更可能としている。また、通話回数あるいはメール回数がその基準値以上となった際に、CPU1は、名刺画像群の中から「電話番号」/「メールアドレス」を含む名刺画像を選択し、この名刺画像内に含まれている項目情報を当該相手先対応のデータとしてアドレス帳格納部22に登録するようにしている。
次に、この実施例における携帯電話装置の動作概念を図5〜図12に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されて来た上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。
図5は、電源投入に伴って実行開始される携帯電話装置の全体動作を示したフローチャートである。
先ず、CPU1は、待受用画像を表示出力させながら電話着信あるいはメール受信の待受状態において(ステップA1)、名刺撮影の開始がユーザ操作によって指示されると(ステップA2でYES)、カメラ撮像部14を起動させると共に、ズーム倍率、焦点などを厳密にマニュアル調整しなくても、名刺を最適な状態で撮影できるようにズーム倍率、焦点などを自動調整するようにしている。この状態で名刺撮影が行われると(ステップA3)、CPU1は、カメラ撮像部14から名刺画像を取得して名刺フォルダ21Aに保存する名刺画像保存処理を行う(ステップA4)。
また、待受状態においてCPU1は、通話発信の開始がユーザ操作によって指示されると(ステップA5でYES)、通話発信処理を開始し(ステップA6)、通話着信を検出すると(ステップA7でYES)、通話着信処理を開始する(ステップA8)。一方、待受状態においてCPU1は、メール送信の開始がユーザ操作によって指示されると(ステップA9でYES)、メール送信処理を開始し(ステップA10)、メール受信を検出すると(ステップA11でYES)、メール受信処理を開始する(ステップA12)。そして、ステップA1に戻り、再度、待受状態となる。なお、電源OFF(オフ)操作に応答して(ステップA13)、電源OFF処理を行い(ステップA14)、このフローの終了となる。
図6は、名刺画像保存処理(図5のステップA4)を詳述するためのフローチャートである。
先ず、CPU1は、カメラ撮像部14から取得した名刺画像に対して矩形の歪み補正などを施したり、共通サイズに変換する処理を実行したのち(ステップB1)、この名刺画像を解析することによってその名刺内の項目領域(電話番号領域、メールアドレス領域)をそれぞれ特定する(ステップB2)。そして、各項目領域から文字情報を抽出すると共に(ステップB3)、各項目毎にその文字認識を行って文字列コード(電話番号、メールアドレス)に変換する(ステップB4)。
この場合、同一情報の重複保存を避けるために、この文字列コード(電話番号、メールアドレス)に基づいて名刺フォルダ21Aを検索し、同一の電話番号、メールアドレスが保存されているかを調べ(ステップB5)、保存済みであれば、このフローから抜けるが、保存されていなければ、名刺画像ファイルを生成し(ステップB6)、この画像ファイルと共に文字列コード(電話番号、メールアドレス)を名刺フォルダ21Aに保存する(ステップB7)。このように名刺を撮影してその名刺画像を保存する際に、その名刺内の電話番号、メールアドレスが名刺画像と共に保存される。
図7は、通話発信処理(図5のステップA6)を詳述するためのフローチャートである。
ユーザは、相手の電話番号をアドレス帳格納部22から選択指定したり、キー操作部12から入力指定すると(ステップC1)、相手電話番号宛の発信が行われると共に(ステップC2)、相手先との接続が確立されると、それに応答して通話処理を行う(ステップC3)。この状態において、通話終了を検出すると(ステップC4)、この相手電話番号は通信履歴格納部23に設定済みであるかを調べる(ステップC5)。
相手電話番号が通信履歴格納部23に設定されていなければ(ステップC5でNO)、つまり、その相手と初めての通話であれば、当該相手電話番号を含む実績レコードを生成し、その「通話回数」に初期値“1”をセットして通信履歴格納部23に新規追加するが(ステップC6)、今回の相手電話番号が設定済みであれば(ステップC5でYES)、その相手電話番号を含む実績レコード内の「通話回数」に“1”を加算してその値を更新したのち(ステップC7)、この更新値(通話回数)を読み出し(ステップC8)、通話回数は3回以上かを判別する(ステップC9)。
ここで、通話回数が3回以上であれば(ステップC9でYES)、今回の相手電話番号はアドレス帳格納部22に未登録かを判別し(ステップC10)、未登録を条件に、後述する画像選択処理(ステップC11)、アドレス帳登録処理の実行に移る(ステップC12)。なお、相手電話番号が通信履歴格納部23に設定されていない場合(ステップC5でNO)、通話回数は3回未満の場合(ステップC9でNO)、相手電話番号がアドレス帳格納部22に登録済みの場合(ステップC10でNO)には、このフローから抜けて、画像選択処理(ステップC11)、アドレス帳登録処理(ステップC12)は、スキップされる。
図8は、通話着信処理(図5のステップA8)を詳述するためのフローチャートである。
先ず、CPU1は、報知部13を駆動して着信報知を行うと共に(ステップD1)、相手先との接続が確立されると、それに応答して通話処理を行う(ステップD2)。この状態において、通話終了を検出すると(ステップD3)、この相手電話番号は通信履歴格納部23に設定済みであるかを調べ(ステップD4)、未設定であれば、この相手電話番号を含む実績レコードを生成し、その「通話回数」に初期値“1”をセットして通信履歴格納部23に新規追加する(ステップD5)。
今回の相手電話番号が設定済みであれば(ステップD4でYES)、その相手電話番号を含む実績レコード内の「通話回数」に“1”を加算してその値を更新する(ステップD6)。そして、この更新値(通話回数)を読み出し(ステップD7)、通話回数は3回以上かを判別し(ステップD8)、3回以上であれば、今回の相手電話番号はアドレス帳格納部22に未登録かを判別し(ステップD9)、未登録を条件に、後述する画像選択処理(ステップD10)、アドレス帳登録処理の実行に移る(ステップD11)。
図9は、メール送信処理(図5のステップA10)を詳述するためのフローチャートである。
ユーザは、相手メールアドレスをアドレス帳格納部22から選択指定したり、キー操作部12から入力指定したり(ステップE1)、メール本文を入力作成すると(ステップE2)、この作成メールは相手のメールアドレス宛に送信される(ステップE3)。
そして、メール送信終了を検出すると(ステップE4)、今回の相手メールアドレスは通信履歴格納部23に設定済みであるかを調べ(ステップE5)、未設定であれば、当該メールアドレスを含む実績レコードを生成し、その「メール回数」に初期値“1”をセットして通信履歴格納部23に新規追加するが(ステップE6)、今回の相手メールアドレスが設定済みであれば(ステップE4でYES)、相手メールアドレスを含む実績レコード内の「メール回数」に“1”を加算してその値を更新したのち(ステップE7)、この更新値(メール回数)を読み出し(ステップE8)、メール回数は3回以上かを判別する(ステップE9)。
ここで、メール回数が3回以上であれば、今回の相手メールアドレスはアドレス帳格納部22に未登録かを判別し(ステップE10)、未登録を条件に、後述する画像選択処理(ステップE11)、アドレス帳登録処理の実行に移る(ステップE12)。なお、相手メールアドレスが通信履歴格納部23に設定されていない場合(ステップE5でNO)、メール回数は3回未満の場合(ステップE9でNO)、相手メールアドレスがアドレス帳格納部22に登録済みの場合(ステップE10でNO)には、このフローから抜けて、画像選択処理(ステップE11)、アドレス帳登録処理(ステップE12)はスキップされる。
図10は、メール受信処理(図5のステップA12)を詳述するためのフローチャートである。
先ず、CPU1は、報知部13を駆動して着信報知を行うと共に(ステップF1)、相手メールを受信してメールボックス(図示せず)に格納したのち(ステップF2)、受信終了を検出すると(ステップF3)、この相手メールアドレスは通信履歴格納部23に設定済みであるかを調べ(ステップF4)、未設定であれば、相手メールアドレスを含む実績レコードを生成し、その「メール回数」に初期値“1”をセットして通信履歴格納部23に新規追加する(ステップF5)。
相手メールアドレスが設定済みであれば(ステップF4でYES)、その相手メールアドレスを含む実績レコード内の「通話回数」に“1”を加算してその値を更新するステップF6)。そして、この更新値(メール回数)を読み出し(ステップF7)、メール回数は3回以上かを判別し(ステップF8)、3回以上であれば、相手メールアドレスはアドレス帳格納部22に未登録かを判別し(ステップF9)、未登録を条件に、後述する画像選択処理(ステップF10)、アドレス帳登録処理の実行に移る(ステップF11)。
図11は、上述した通話発信処理、通話着信処理画、メール送信処理、メール受信処理において実行される画像選択処理を詳述するためのフローチャートである。
先ず、CPU1は、今回の相手電話番号/メールアドレスに基づいて名刺フォルダ21Aを検索し(ステップG1)、名刺画像の保存時に文字認識された文字列コードの中に該当する相手電話番号/メールアドレスが有るかをチェックし(ステップG2)、該当無しの場合、言い換えれば、該当する名刺画像が保存されていない場合には、このフローから抜けるが、該当する相手電話番号/メールアドレスが有る場合には(ステップG2でYES)、名刺フォルダ21A内の名刺画像群の中から該当する名刺画像を選択する(ステップG3)。
そして、選択した名刺画像を解析することによってその名刺内の項目領域(電話番号領域、メールアドレス領域、名前領域、住所領域)をそれぞれ特定して各項目領域から文字情報を抽出したのち(ステップG4)、各項目毎に文字認識を行って文字列コード(電話番号、メールアドレス、名前、住所)に変換する(ステップG5)。なお、「電話番号」、「メールアドレス」については、名刺画像の保存時に文字認識されているので、「電話番号」、「メールアドレス」以外の項目「名前」、「住所」のみを文字認識するようにしてもよい。ここで、名刺画像を解析することによって名刺内に「顔写真」が含まれているかを調べ(ステップG6)、「顔写真」が含まれていれば、この画像部分を抽出し(ステップG7)、この「顔写真」を「画像ID」と共に顔写真フォルダ21Bに登録する(ステップG8)。
図12は、上述した通話発信処理、通話着信処理画、メール送信処理、メール受信処理において実行されるアドレス帳登録処理を詳述するためのフローチャートである。
先ず、CPU1は、図11の画像選択処理によって名刺画像が選択されたかをチェックし(ステップH1)、画像選択が無ければ、この時点で図12のフローから抜けるが、画像選択が有れば、今回の相手電話番号/メールアドレスに基づいてアドレス帳格納部22を検索し(ステップH2)、相手電話番号/メールアドレスを含むレコードの登録有無をチェックする(ステップH3)。
ここで、該当レコードが有れば、そのレコード内の「電話番号」、「メールアドレス」、「名前」、「住所」の項目の中にデータが登録されていない未登録項目が有るかをチェックし(ステップH4)、未登録項目が無ければ、この時点で図12のフローから抜けるが、該当レコードが無い場合(ステップH3でNO)あるいは該当レコードは有るが、1つでも未登録項目が有る場合には(ステップH4でYES)、図11の画像選択処理、図6の名刺保存処理で文字認識されることによって得られた文字列コード「電話番号」、「メールアドレス」、「名前」、「住所」を読み出し(ステップH5)、アドレス帳登録確認画面と共に、アドレス帳データ入力画面を表示出力させる(ステップH6)。
図13(A)は、名刺画像から得られた項目データをアドレス帳に登録するかを確認するアドレス帳登録確認画面とアドレス帳データ入力画面を示した図である。
このアドレス帳登録確認画面は、今回発信した相手(今回着信した相手、今回メールを送信した相手、今回メールを受信した相手)をアドレス帳に登録するか否かを問い合わせる確認メッセージを表示出力するもので、この確認画像には、「はい」、「いいえ」の各ボタン(タッチキー)が配置表示されている。アドレス帳データ入力画面は、「電話番号」、「メールアドレス」、「名前」、「住所」に対応して上述の文字認識結果が表示されるもので、その登録を希望する場合には、「はい」ボタンを操作し、登録を希望しない場合には「いいえ」ボタンを操作する。
いま、「いいえ」ボタンが操作された場合には(ステップH7でNO)、このフローから抜けるが、「はい」ボタン操作(登録操作)が行われた場合には(ステップH7でYES)、アドレス帳データ入力画面内の項目データをアドレス帳格納部22に登録する(ステップH8)。この場合、上述のステップH3で該当レコードが無いと判断されたときには、入力画面内の各項目データから新たなレコードを生成してアドレス帳格納部22に新規登録するが、該当レコードは有るが、上述のステップH4で未登録項目が有ると判断されたときには、入力画面内から未登録項目に対応するデータを読み出し、アドレス帳格納部22内の対応項目(未登録項目)に補充登録する。
このようなアドレス帳登録を行ったのち、図11の画像選択処理によって顔写真が抽出されているかを調べ(ステップH9)、顔写真が抽出されていなければ、この時点で図12のフローから抜けるが、顔写真が有れば、顔写真をアドレス帳に登録するかを確認するための確認画面を表示出力させる(ステップH10)。図13(B)は、名刺画像から抽出した顔写真をアドレス帳に登録するかを確認するアドレス帳登録確認画面を示し、この確認画面には、顔写真のほか、その登録有無を問い合わせる確認メッセージが表示される。ここで、「いいえ」ボタンが操作された場合には(ステップH11でNO)、このフローから抜けるが、「はい」ボタン操作(登録操作)が行われた場合には(ステップH11でYES)、この「顔写真」対応の「画像ID」を顔画像フォルダ21Bから読み出し、この「画像ID」をアドレス帳格納部22内の対応項目に登録する(ステップH12)。
以上のように、この実施例においてCPU1は、名刺フォルダ21Aに名刺画像が蓄積管理されている状態において、通話発信/メール送信あるいは通話着信/メール受信を行う毎に、その相手識別情報(電話番号/メールアドレス)を取得し、この電話番号/メールアドレスを含む名刺画像を名刺フォルダ21Aの中から選択すると共に、選択した名刺画像内に含まれている項目情報をアドレス帳格納部22に当該相手のアドレス帳データとして登録するようにしたから、名刺画像群の中から必要な名刺だけを選んでアドレス帳に登録することができると共に、登録対象の選択基準を統一化することができる。つまり、通話発信/メール送信あるいは通話着信/メール受信を行ったということは、今後の付き合いが発生する可能性が高いために、その相手の名刺画像に基づいてそのアドレス帳データを登録することができる。したがって、むやみな登録、無秩序な登録を避け、必要な名刺だけを選んで登録することができ、アドレス帳の膨大化及び無秩序化を防ぐことが可能となる。
この場合、名刺画像を保存する際に、この名刺画像から電話番号及びメールアドレスの項目領域から文字情報を文字列コードに変換して名刺フォルダ21Aに格納しておくようにしたから、通話発信/メール送信あるいは通話着信/メール受信を行う毎にその電話番号/メールアドレスに基づいて名刺フォルダ21A内の文字列コード(電話番号/メールアドレス)を検索して該当する名刺画像を選択することができ、名刺画像の素早い選択が可能となる。
なお、蓄積管理されている名刺画像数が少なければ、相手と通信を行う毎に、名刺画像を順次指定しながら文字認識を行い、今回の通信で使用した電話番号/メールアドレスを含む名刺画像を選択するようにしてもよいが、この実施例のように名刺画像を保存する際に、文字認識を行って電話番号及びメールアドレスを事前に得るようにしておけば、文字認識を行いながら画像選択を行う方法よりも素早い選択が可能となる。特に、多数の名刺画像数が蓄積管理されているような場合に有効なものとなる。
CPU1は、アドレス帳データを登録する際に、未登録項目の有無を判別し、未登録項目があれば、当該項目データを補充登録するようにしたから、アドレス帳データの一部分が欠落していても、それを補うことができ、アドレス帳データを充実させることができる。また、名刺画像内に人物の顔画像が含まれているかを判別し、顔画像が含まれていれば、その部分を抽出してアドレス帳データの一部として登録するようにしたから、アドレス帳データの更なる充実が可能となる。また、アドレス帳データの登録に先立ってその登録可否を問い合わせる確認画面を表示出力させ、登録可のユーザ指示を受けた際に、アドレス帳データの登録を行うようにしたから、ユーザの意向を反映させることができる。
一方、同一相手と通話を行う毎に更新される「通話回数」/「メール回数」が通信実績として通信履歴格納部23に記憶管理されている状態において、CPU1は、通話発信/メール送信あるいは通話着信/メール受信を行う毎にその相手識別情報(電話番号/メールアドレス)を取得し、この電話番号/メールアドレスの通信実績「通話回数」/「メール回数」が所定値以上である場合に、その相手の名刺画像を選択してアドレス帳データを登録するようにしたから、今後の付き合いが発生するか否かをその相手との通信実績を考慮して決定することができる。したがって、メールを1回だけ受け取ったり、1回だけ通話したような相手の場合にはそのアドレス帳データの登録を保留することができ、メール/通話を何回もやり取りしたような相手の場合には、今後の付き合いが発生する可能性が高くなるために、その時点でアドレス帳データの登録が可能となる。
なお、上述した実施例においては、図11の画像選択処理、図12のアドレス帳登録処理を通話発信/着信の終了直後に実行したり、メール送信/受信の終了直後に実行するようにしたが、その実行タイミングは、それに限らず、例えば、音声発信前、音声通話中、メール送信前、メール送信中、メール受信中などであってもよい。また、画像選択処理、アドレス帳登録処理を1日に1回のように定期的にバッチ処理によって実行してもよく、また、それらを時間的に分離して実行してもよい。
カメラ撮影の対象となる名刺は、印刷物に限らず、それに類する媒体であってもよく、また、名刺内の項目としては、「電話番号」、「メールアドレス」、「名前」、「住所」のほか、「FAX番号」、「URL」などが含まれていてもよい。また、名刺内の項目は任意であるが、「名前」のほかに、少なくとも「電話番号」あるいは「メールアドレス」が記録されていればよい。また、名刺画像は、カメラ撮影したものに限らず、相手から送信されて来た名刺画像であってもよく、更に、記録メディア3を介して外部供給された名刺画像であってもよい。
上述した実施例においては、今回の通信で使用した「電話番号」/「メールアドレス」を含むアドレス帳レコードが登録されていて(図12のステップH3でYES)、未登録項目も存在しない場合には(ステップH4でNO)、アドレス帳への登録処理をスキップするようにしたが、このアドレス帳レコード内の「電話番号」、「メールアドレス」、「名前」、「住所」と、名刺画像内を文字認識することによって得られた「電話番号」、「メールアドレス」、「名前」、「住所」とを項目毎に順次比較して項目データが一致/不一致を判別し、その結果、不一致項目が存在する場合には、ユーザの確認を受けたうえで、アドレス帳レコード内の該当項目の内容を文字認識結果の対応する項目データに変更するようにしてもよい。つまり、名刺画像から得られた最新データに基づいてその相手の「住所」、「メールアドレス」、「電話番号」などが変更されているかを調べ、変更項目が1つでもあれば、アドレス帳レコード内の変更前の項目データ(旧データ)を新たな項目データ(新データ)に書き換えるようにしてもよい。この場合、ユーザの確認を受けたうえで、書き換えを行うか、自動書き換えを行うかを予め選択可能としてもよい。
また、上述した実施例においては、アドレス帳レコード内に未登録項目が存在する場合、この未登録項目に対して補充登録を行うようにしたが、アドレス帳レコード内の全項目分を最新のデータに書き換えるようにしてもよい。つまり、今回の通信で使用した「電話番号」/「メールアドレス」を含むアドレス帳レコードが登録されていれば、その相手と通信を行う毎に、その相手のアドレス帳レコードの内容を最新データに書き換えるようにしてもよい。
また、アドレス帳データを登録する前に、登録対象の項目データをユーザが任意に修正可能とするために、その編集処理を実行可能としてもよい。この場合、図13(A)で示したアドレス帳登録確認画面に「編集」を指示するボタンを配置し、この「編集」ボタンが操作された際には、アドレス帳データ入力画面内の任意の項目を編集対象として指定して当該項目データを修正可能とすれば、文字認識時において発生した誤認識データを修正することができる。
上述した実施例においては、通信実績として通信履歴格納部23に「通話回数」、「メール回数」を記憶するようにしたが、通信回数に限らず、例えば、「通信頻度」、「通信時間」、「通信データ量」の何れかを通信実績として記憶管理するようにしてもよい。また、「通信回数」、「通信頻度」、「通信時間」、「通信データ量」のうち、それらの2以上の組み合わせを通信実績としてもよい。例えば、「通信回数」と「通信時間」との論理積条件を通信実績としてもよく、通話の累計回数が3回以上で通話の累計時間が15分以上としてもよい。
なお、上述した実施例では、名刺画像内の項目領域を特定する仕方については、特に言及しなかったが、名刺画像を解析しながらデータが集合している個所を項目領域として特定すると共に、項目領域の位置関係及び項目領域内の文字種などを認識することによって項目種別を判別して「電話番号」、「メールアドレス」、「名前」、「住所」を特定するようにすれば、フォームが異なる各種の名刺にも対応可能となる。
また、名刺画像に対応して、その画像を保存した「保存日時」と名刺画像を解析することによって得られた項目データがアドレス帳に登録済みであることを示す「登録済みフラグ」を名刺フォルダ21Aに設け、CPU1は、名刺画像毎にその「保存日時」及び「登録済みフラグ」を参照し、一定期間以上(例えば、半年あるいは1年以上)経過してもアドレス帳に未登録の場合には、ユーザの確認を受けたうえで名刺フォルダ21Aから当該名刺画像を削除するようにしてもよい。
また、例えば、ビジネス用の名刺フォルダとアドレス帳、プライベート用の名刺フォルダとアドレス帳ように分類毎に名刺フォルダ及びアドレス帳を設けてもよい。
その他、携帯電話装置に限らず、例えば、名刺画像管理機能及びアドレス帳管理機能を備えたPDA・電子カメラ・電子腕時計・音楽再生機などの携帯通信端末装置であっても同様に適用可能である。
携帯通信端末装置として適用した携帯電話装置の基本的な構成要素を示したブロック図。 画像格納部21の内容を示した図。 アドレス帳格納部22の内容を示した図。 通信履歴格納部23の内容を示した図。 電源投入に伴って実行開始される携帯電話装置の全体動作を示したフローチャート。 名刺画像保存処理(図5のステップA4)を詳述するためのフローチャート。 通話発信処理(図5のステップA6)を詳述するためのフローチャート。 通話着信処理(図5のステップA8)を詳述するためのフローチャート。 メール送信処理(図5のステップA10)を詳述するためのフローチャート。 メール受信処理(図5のステップA12)を詳述するためのフローチャート。 上述の通話発信処理、通話着信処理画、メール送信処理、メール受信処理において実行される画像選択処理を詳述するためのフローチャート。 上述の通話発信処理、通話着信処理画、メール送信処理、メール受信処理において実行されるアドレス帳登録処理を詳述するためのフローチャート。 (A)は、名刺画像から得られた項目データをアドレス帳に登録するかを確認する確認画面とアドレス帳データ入力画面を示した図、(B)は、名刺画像から抽出した顔写真をアドレス帳に登録するかを確認する確認画面を示した図。
符号の説明
1 CPU
2 記憶部
5 電話通信部
10、11 表示部
12 キー操作部
13 報知部
14 カメラ撮像部
21 画像格納部
21A 名刺フォルダ
21B 顔画像フォルダ
22 アドレス帳格納部
23 通信履歴格納部

Claims (10)

  1. 相手先別にそのアドレス帳データを記憶管理する携帯通信端末装置であって、
    名刺画像を取得して蓄積記憶する画像記憶手段と、
    通信相手先を識別する相手識別情報を取得する取得手段と、
    前記蓄積記憶されている名刺画像群の中から前記取得手段によって得られた相手識別情報を含む名刺画像を選択する選択手段と、
    この選択手段によって選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する登録手段と、
    を具備したことを特徴とする携帯通信端末装置。
  2. 前記取得手段は、通話着信時、メール送信時、通話発信時、メール受信時のうち、少なくともその何れかの通信時に、その通信相手先を識別する相手識別情報を取得する、
    ようにしたことを特徴とする請求項1記載の携帯通信端末装置。
  3. 名刺画像内に含まれている相手識別情報を文字認識した文字コード列が当該名刺画像に対応付けて記憶管理されている状態において、前記選択手段は、名刺画像毎にそれに対応する文字コード列を参照することによって名刺画像の選択を行う、
    ようにしたことを特徴とする請求項1記載の携帯通信端末装置。
  4. 相手先別にそのアドレス帳データを記憶管理する携帯通信端末装置であって、
    名刺画像を取得して蓄積記憶する画像記憶手段と、
    相手先別にその通信実績を記憶管理する通信実績記憶手段と、
    前記蓄積記憶されている名刺画像群の中から前記通信実績が所定値以上である相手先の名刺画像を選択する選択手段と、
    この選択手段によって選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する登録手段と、
    を具備したことを特徴とする携帯通信端末装置。
  5. 前記登録手段は、選択された名刺画像内に含まれている項目情報を当該相手先に対応するアドレス帳データとして登録する際に、未登録項目の有無を判別し、未登録項目があれば、当該項目データを追加登録する、
    ようにしたことを特徴とする請求項1あるいは請求項4記載の携帯通信端末装置。
  6. 前記登録手段は、名刺画像内に人物の顔画像が含まれているかを判別し、顔画像が含まれている場合には、この顔画像を抽出して当該相手先のアドレス帳データの一部として登録する、
    ようにしたことを特徴とする請求項1あるいは請求項4記載の携帯通信端末装置。
  7. アドレス帳データの登録に先立ってその登録可否を問い合わせるメッセージを出力させるメッセージ出力手段を設け、
    このメッセージ出力に応じて登録可のユーザ指示を受けた際に、前記登録手段は、前記選択された名刺画像内の項目情報を当該相手先対応のアドレス帳データとして登録する、
    ようにしたことを特徴とする請求項1あるいは請求項4記載の携帯通信端末装置。
  8. 前記通信実績記憶手段は、通信回数、通信頻度、通信時間、通信データ量のうち、少なくともその何れかを相手先別の通信実績として記憶管理する、
    ようにしたことを特徴とする請求項4記載の携帯通信端末装置。
  9. コンピュータに対して、
    通信相手先を識別する相手識別情報を取得する機能と、
    蓄積記憶されている名刺画像群の中から前記取得した相手識別情報を含む名刺画像を選択する機能と、
    選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する機能と、
    を実現させるためのプログラム。
  10. コンピュータに対して、
    相手先別にその通信実績を記憶管理する機能と、
    蓄積記憶されている名刺画像群の中から前記通信実績が所定値以上である相手先の名刺画像を選択する機能と、
    選択された名刺画像内に含まれている項目情報を当該相手先対応のアドレス帳データとして登録する機能と、
    を実現させるためのプログラム。
JP2006114375A 2006-04-18 2006-04-18 携帯通信端末装置及びプログラム Expired - Fee Related JP4449939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006114375A JP4449939B2 (ja) 2006-04-18 2006-04-18 携帯通信端末装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006114375A JP4449939B2 (ja) 2006-04-18 2006-04-18 携帯通信端末装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2007288574A true JP2007288574A (ja) 2007-11-01
JP4449939B2 JP4449939B2 (ja) 2010-04-14

Family

ID=38759917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006114375A Expired - Fee Related JP4449939B2 (ja) 2006-04-18 2006-04-18 携帯通信端末装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4449939B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188825A (ja) * 2008-02-07 2009-08-20 Ntt Docomo Inc 宛先管理サーバ、宛先管理システム及び宛先管理方法
JP2009224919A (ja) * 2008-03-14 2009-10-01 Kyocera Corp 携帯通信端末
JP2010062878A (ja) * 2008-09-03 2010-03-18 Konica Minolta Business Technologies Inc アドレス帳集約管理装置、同装置におけるアドレス帳作成方法及びアドレス帳作成プログラム
JP2010263569A (ja) * 2009-05-11 2010-11-18 Brother Ind Ltd 画像表示装置、画像表示方法及び画像表示用プログラム
WO2012164899A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2017208723A (ja) * 2016-05-19 2017-11-24 Necプラットフォームズ株式会社 電話帳情報表示システム、電話帳情報表示システムの制御方法及び制御プログラム
US20180048775A1 (en) * 2016-08-09 2018-02-15 Fuji Xerox Co., Ltd. Information processing apparatus, non-transitory computer readable medium, and information processing method
JP6959691B1 (ja) * 2021-03-18 2021-11-05 株式会社 ハンモック 文書画像処理方法及びシステム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188825A (ja) * 2008-02-07 2009-08-20 Ntt Docomo Inc 宛先管理サーバ、宛先管理システム及び宛先管理方法
JP2009224919A (ja) * 2008-03-14 2009-10-01 Kyocera Corp 携帯通信端末
JP2010062878A (ja) * 2008-09-03 2010-03-18 Konica Minolta Business Technologies Inc アドレス帳集約管理装置、同装置におけるアドレス帳作成方法及びアドレス帳作成プログラム
US8990222B2 (en) 2008-09-03 2015-03-24 Konica Minolta, Inc. Address book central administration apparatus, address book creation method thereof and recording medium
JP2010263569A (ja) * 2009-05-11 2010-11-18 Brother Ind Ltd 画像表示装置、画像表示方法及び画像表示用プログラム
WO2012164899A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2017208723A (ja) * 2016-05-19 2017-11-24 Necプラットフォームズ株式会社 電話帳情報表示システム、電話帳情報表示システムの制御方法及び制御プログラム
US20180048775A1 (en) * 2016-08-09 2018-02-15 Fuji Xerox Co., Ltd. Information processing apparatus, non-transitory computer readable medium, and information processing method
CN107707780A (zh) * 2016-08-09 2018-02-16 富士施乐株式会社 信息处理设备和信息处理方法
US10356257B2 (en) 2016-08-09 2019-07-16 Fuji Xerox Co., Ltd. Information processing apparatus, non-transitory computer readable medium, and information processing method for presenting a contact name
JP6959691B1 (ja) * 2021-03-18 2021-11-05 株式会社 ハンモック 文書画像処理方法及びシステム
JP2022144012A (ja) * 2021-03-18 2022-10-03 株式会社 ハンモック 文書画像処理方法及びシステム

Also Published As

Publication number Publication date
JP4449939B2 (ja) 2010-04-14

Similar Documents

Publication Publication Date Title
JP4449939B2 (ja) 携帯通信端末装置及びプログラム
US9241056B2 (en) Image based dialing
US8275103B2 (en) Communication device, displaying method and computer readable medium
JP4593492B2 (ja) 携帯端末、動作制御プログラムおよびデータアクセス制御プログラム
JP5413958B2 (ja) 撮像装置及びプログラム
JP5464637B2 (ja) 画像表示装置及びプログラム
JP4367465B2 (ja) テレビ電話装置及びプログラム
JP5019228B2 (ja) 画像撮影装置及びプログラム
JP2009290541A (ja) 携帯端末装置及びプログラム
JP4932368B2 (ja) 携帯端末装置及びプログラム
JP2007172193A (ja) メール機能付き携帯端末装置及びプログラム
JP4858875B2 (ja) テレビ電話装置及びプログラム
JP4966600B2 (ja) テレビ電話装置及びプログラム
JP2008108216A (ja) 情報処理装置、情報処理方法、情報処理プログラム、および情報処理プログラムを記録したコンピュータ読取り可能な記録媒体
KR100760794B1 (ko) 이동 통신 단말기의 사진/동영상 이름 등록 방법
JP2010193207A (ja) 携帯情報端末、画像情報管理方法及び画像情報管理プログラム
JP4652027B2 (ja) 携帯端末装置およびプログラム
JP2005037359A (ja) 電子機器
JP5218987B2 (ja) 端末装置及びプログラム
KR100594463B1 (ko) 전화번호부 기반의 영상 촬영 및 검색 기능을 가지는이동통신단말기 및 그 방법
JP5473034B2 (ja) 端末装置及びプログラム
KR20060024962A (ko) 휴대 단말기의 사진 관리 방법
JP4297865B2 (ja) カメラ付携帯通信端末
JP2005347933A (ja) 携帯通信端末
JP2005277614A (ja) 撮像装置、記録制御方法及び記録制御プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080428

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees