JP2007329795A - 画像処理システム、商品注文システムおよび画像処理プログラム - Google Patents

画像処理システム、商品注文システムおよび画像処理プログラム Download PDF

Info

Publication number
JP2007329795A
JP2007329795A JP2006160540A JP2006160540A JP2007329795A JP 2007329795 A JP2007329795 A JP 2007329795A JP 2006160540 A JP2006160540 A JP 2006160540A JP 2006160540 A JP2006160540 A JP 2006160540A JP 2007329795 A JP2007329795 A JP 2007329795A
Authority
JP
Japan
Prior art keywords
image
background
image processing
function
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006160540A
Other languages
English (en)
Other versions
JP4720633B2 (ja
Inventor
Shigeki Yamashita
茂樹 山下
Yoichi Matsuda
洋一 松田
Yukio Masubuchi
幸夫 舛渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006160540A priority Critical patent/JP4720633B2/ja
Publication of JP2007329795A publication Critical patent/JP2007329795A/ja
Application granted granted Critical
Publication of JP4720633B2 publication Critical patent/JP4720633B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】携帯端末側で送信すべき画像データ量を減らして、サーバ側への転送効率を上げることができ、通信時間の短縮ができ、ひいては通信料金の削減を図ることができるようにした画像処理システムを提供する。
【解決手段】画像処理システムの画像入力手段は画像を入力し、地肌除去手段は前記画像入力手段によって入力した画像の地肌を除去し、画像処理手段は前記地肌除去手段によって地肌が除去された画像に対して画像処理を行い、圧縮手段は前記画像処理手段によって画像処理された画像を圧縮し、送信手段は前記圧縮手段によって圧縮した画像を送信する。
【選択図】図1

Description

本発明は、画像処理システム、商品注文システムおよび画像処理プログラムに関する。
近年、携帯電話に代表される携帯型通信端末においては多機能化・高性能化が進み、その一つの例としてカメラ機能が内蔵されるようになってきた。携帯型通信端末さえ持っていれば、いつでもどこでも手軽に高解像度で綺麗な写真を撮影することができるので、撮影した画像をその携帯型通信端末の通信機能を使って遠方に送りたいという要求も高まっている。
しかし、高解像度モードで撮影した画像はデータサイズが大きいため、携帯型通信端末の通信網の通信速度では送信時間がかかってしまいユーザーストレスになってしまう。例えば、1600ドット×1200ドット(200万画素相当の画像サイズ)で撮影した画像をJPEGなどの圧縮方式で10分の1のサイズに圧縮したとしても約560kバイトのデータサイズとなってしまい、例えば64kbpsの通信網回線を使用して送信すると約70秒以上の送信時間を要してしまう。
さらに通信データサイズに応じて課金する通信網を利用した場合には、非常に高額な通信費用が発生してしまう。例えば1パケット(=128バイト)あたり0.2円の従量方式の通信網を利用した場合には約900円の課金となってしまい、このような高額の通信料金では手軽に送信することができない。
一方で、撮影した画像をすべて忠実に相手方に送る必要がない場合もある。例えば、紙の上に書かれた文字や図形を撮影して送る場合、一般的に文字や図形のみが相手方にとって有益な情報であり、文字や図形以外の背景部分、いわゆる地肌(下地)と呼ばれる部分は不要である。
しかし、カメラで撮影した画像は紙の表面のざらつきや光の影などの影響により、ノイズ的な画像データとなってしまい圧縮したとしても圧縮率の悪いデータとなってしまうため、前述のように長い通信時間と高額な通信料金となることを避けることができない。
さらに、文字や図形のみを画像として抽出しても、カメラで撮影した画像では文字の輪郭ボケや不適切なコントラストバランスとなっておりメリハリのある画像ではないため、相手方がそのままの画像を受け取ってもうまく文字や図形の認識ができない場合もある。携帯型情報端末でメリハリの出るような画像処理をして相手方に送れば良いのだが、一般的に携帯型情報端末に使用されている中央演算装置(CPU)の性能は低く、高解像度の画像データを高速に処理させるには非常に多くの時間を要してしまうことになる。
このような高解像度かつ高速な画像処理の方法としては一般的には、CPUとは別にデジタルシグナルプロセッサ(DSP)やASICなどのハードウェアによる処理回路を通じて画像処理をさせている。しかし、携帯型情報端末は携帯できるほど小型であることが必要であるが、それらを搭載するには小型性を犠牲にせざるを得ないということになってしまう。
これらに関する技術として、例えば特許文献1には、携帯移動通信端末のみで簡易に効率的に画像の合成などの処理を可能にすることを課題とし、まず、携帯電話のボタンなどの操作で加工合成用画像である加工用画像及びこの画像の背景となる背景用画像をインターネット上の画像合成サーバーのWEBサーバーへアップロードして保管し、そして、加工用画像のうちから一枚の加工用画像を選択し、これを携帯電話の表示部に表示し、表示された加工用画像の切り抜き範囲を指定し、その後背景用画像のうちから一枚の背景用画像を選択し、これを携帯電話の表示部に表示し、表示された背景用画像の貼り付け箇所を指定し、この貼り付け箇所に上記加工用画像の切り抜き範囲内の画像を貼り付けて、画像合成を行うものであり、合成画像を携帯電話のカーソル及びボタンのみによる操作によって作成するものである技術が記載されている。
特許第3609074号公報
本発明は、このような従来の技術が有する問題点に着目してなされたもので、携帯端末側で画質劣化を防ぎつつ送信すべき画像データ量を減らして、サーバ側への転送効率を上げることができ、通信時間の短縮ができ、ひいては通信料金の削減を図ることができるようにした画像処理システム、商品注文システムおよび画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
[1] 画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像に対して画像処理を行う画像処理手段と、
前記画像処理手段によって画像処理された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備することを特徴とする画像処理システム。
[2] 商品の注文を受け付ける注文受付手段と、
前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌を除去した画像に対して画像処理を行う画像処理手段と、
前記画像処理手段によって画像処理した画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備することを特徴とする画像処理システム。
[3] 前記画像処理手段が行う画像処理は、2値化処理である
ことを特徴とする[1]または[2]に記載の画像処理システム。
[4] 前記画像処理手段が行う画像処理は、ペンの色を識別するペン色識別処理であり、
前記送信手段は、前記画像処理手段のペン色識別処理が行われた画像をも送信する
ことを特徴とする[1]または[2]に記載の画像処理システム。
[5] 前記画像処理手段が行う画像処理は、文字部分の画像を切り出す文字部切出処理であり、
前記送信手段は、前記画像処理手段の文字部切出処理によって切り出された画像をも送信する
ことを特徴とする[1]または[2]に記載の画像処理システム。
[6] 圧縮画像を受信する受信手段と、
前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して画像処理する画像処理手段と、
前記画像処理手段によって画像処理した画像を印刷する印刷手段
を具備することを特徴とする画像処理システム。
[7] 前記受信手段は、ペン色識別処理が行われたペン色に関する画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信したペン色に関する画像からペンの色を再生するペン色再生処理である
ことを特徴とする[6]に記載の画像処理システム。
[8] 前記受信手段は、文字部切出処理が行われた文字部の画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信した文字部の画像から文字部分の画像を再生する文字部分再生処理である
ことを特徴とする[6]に記載の画像処理システム。
[9] 携帯端末と該携帯端末と通信回線を介して接続されている画像処理システムを具備する商品注文システムであって、
前記携帯端末は、
商品の注文を受け付ける注文受付手段と、
前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌を除去した画像に対して画像処理を行う第1の画像処理手段と、
前記画像処理手段によって画像処理された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を前記画像処理システムへ送信する送信手段
を具備し、
前記画像処理システムは、
前記携帯端末の送信手段によって送信された圧縮画像を受信する受信手段と、
前記受信手段によって受信した画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して画像処理する第2の画像処理手段と、
前記第2の画像処理手段によって画像処理した画像を印刷する印刷手段
を具備することを特徴とする商品注文システム。
[10] 画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備することを特徴とする画像処理システム。
[11] 商品の注文を受け付ける注文受付手段と、
前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備することを特徴とする画像処理システム。
[12] 商品の注文を受け付ける注文受付手段と、
前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理手段と、
前記画像処理手段によって処理された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備することを特徴とする画像処理システム。
[13] 圧縮画像を受信する受信手段と、
前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像を印刷する印刷手段
を具備することを特徴とする画像処理システム。
[14] 携帯端末と該携帯端末と通信回線を介して接続されている画像処理システムを具備する商品注文システムであって、
前記携帯端末は、
商品の注文を受け付ける注文受付手段と、
前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段
を具備し、
前記画像処理システムは、
前記携帯端末の送信手段によって送信された圧縮画像を受信する受信手段と、
前記受信手段によって受信した画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して地肌を除去する地肌除去手段と、
前記地肌除去手段によって地肌が除去された画像を印刷する印刷手段
を具備することを特徴とする商品注文システム。
[15] 携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌を除去した画像に対して画像処理を行う画像処理機能と、
前記画像処理機能によって画像処理した画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラム。
[16] コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して画像処理する画像処理機能と、
前記画像処理機能によって画像処理した画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラム。
[17] 携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に応じて地肌を付加する地肌付加機能と、
前記地肌付加機能によって地肌が付加された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラム。
[18] 携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理機能と、
前記画像処理機能によって処理された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラム。
[19] コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラム。
本発明にかかる画像処理システム、商品注文システムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、携帯端末側で画質劣化を防ぎつつ送信すべき画像データ量を減らして、サーバ側への転送効率を上げることができ、通信時間の短縮ができ、ひいては通信料金の削減を図ることができる。
以下、図面に基づき本発明の好適な一実施の形態を説明する。
図1は、本発明の一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、1つのコンピュータによって実現される場合も含まれる。
以下、携帯端末として、携帯電話を主に例示して説明する。
まず、本実施の形態の概要を説明する。
本実施の形態では、携帯電話において有効な画像情報を主に忠実に再現できるレベルを維持しつつ画像データサイズを小さくするものと、相手方に送るための中継用サーバにおいて携帯電話から送られてきた画像データを元に有益な画像情報を忠実に再現するものから構成されている。
本実施の形態は、携帯電話から中継用サーバに送信する画像データの種類によって2つの構成がある。1つめは2値データのケースであり、2つめは多値データのケースである。2値データとは、モノクロ2値(1つの画素を黒か白の2つのレベルで表す方法)の場合とカラー2値(R/G/Bのそれぞれが2つのレベルしか有していない)の場合の2つがある。また、多値データとは、例えば、モノクロの場合には一般的に1画素あたり256階調(8ビット/画素)を有したものであり、カラーの場合には1677万階調(24ビット/画素)を意味する。なお、多値データに関するものは、図11を用いて説明する。
以下に、本実施の形態の2値データで取り扱う場合の概要を示す。
携帯電話で撮影した画像に対して携帯電話側で地肌除去処理を行うことで、地肌とそれ以外(主に文字、図形など)に分離する。こうして余分な地肌を除去した上で各種画像処理、圧縮処理を加えることで画像データ量を減らし携帯電話からサーバ側への転送効率を上げる。つまり、携帯電話側で、画質劣化を防ぎつつ画像データ量を減らすことを目的とした処理を行わせる。
こうしてサイズが小さくなった圧縮画像をサーバに転送した後、そのサーバではこれを伸長する。伸長した上でエッジ強調やコントラスト自動調整(2値から多値変換した処理)、プリント台紙との濃度バランス調整(2値から多値変換した処理)、拡大縮小、位置微調整、かすれ文字補間処理といった複雑で処理時間のかかる画像処理をサーバ側で行う。つまり、携帯電話側で転送効率を上げる画像前処理を行い、サーバ側で本格的な処理を行うこととなる。
また、色情報を扱う際に色情報をそのまま携帯電話から送ったのではサイズが大きくなるため、携帯電話側で原稿に書かれているペンの色を識別してペン情報として画像に添付して送る。あるいは、文字部分の一部(小サイズ)をサンプルで自動的に切り出し(多値のレベルで)、その切り出した画像を圧縮して別途添付してサーバに送ることで、サーバ側ではそのペン画像情報をもとにして、送付された画像に色をつけたり、サンプル多値画像を解析して色空間を詳細に割り出してそのペンの色で2値画像の色を決定することができるようになる。
これらによって、本実施の形態で2値データとして取り扱う場合に、高速化と高画質化の両立を図ることができる。
ここで、携帯電話側で行う処理は、主に、地肌除去処理、文字線画の分離処理、圧縮処理、ペン色識別処理、文字部分を判定して一部のサイズを切り出す処理、ペン色のユーザ指定等である。
ここで、サーバ側で行う処理は、主に、伸長処理、追加的な画像後処理、ペン色の判定処理、ペン色を比較的見やすい色に変換する処理、指定色ペンでの色文字再現処理等である。
本実施の形態である画像処理システムは、図1に示すように、携帯電話は、カメラ101、地肌除去モジュール102、画像処理モジュール103、圧縮モジュール104、通信モジュール105、UIモジュール106を備えており、これらの各モジュールは連携している。一方、サーバは、通信モジュール151、サムネイル画像作成モジュール152、伸張モジュール153、画像処理モジュール154、プリンタ155を備えており、これらの各モジュールは連携している。携帯電話とサーバは、通信回線を介して接続されている。
携帯電話のUIモジュール106は、ユーザによる商品の注文を受け付ける。また、その他、各種のアプリケーションにおけるユーザとの対話処理、例えばペン色のユーザによる指定等も行える。
カメラ101は、UIモジュール106によって受け付けた商品に添付するユーザが手書きしたメッセージを画像データとして入力する。
地肌除去モジュール102は、カメラ101によって入力した画像の地肌を除去する。
画像処理モジュール103は、地肌除去モジュール102によって地肌が除去された画像に対して画像処理を行う。ここで行う画像処理としては、2値化処理、ペンの色を識別するペン色識別処理、文字部分の画像を切り出す文字部切出処理等である。
圧縮モジュール104は、画像処理モジュール103によって画像処理された画像を圧縮する。
通信モジュール105は、圧縮モジュール104によって圧縮した画像をサーバに送信する。その際、送信するものとして、画像処理モジュール103によって行われたペン色識別処理の結果である画像データ、文字部切出処理によって切り出された画像データ等も送信され得る。
サーバの通信モジュール151は、携帯電話から送信されてきた圧縮画像を受信する。また、携帯電話の画像処理モジュール103によってペン色識別処理が行われたペン色に関する画像データ、文字部切出処理が行われた文字部の画像データをも受信する。また、サムネイル画像作成モジュール152、画像処理モジュール154等による処理結果を携帯電話に送信する。
伸張モジュール153は、通信モジュール151によって受信した圧縮画像を伸長する。
画像処理モジュール154は、伸張モジュール153によって伸長した画像に対して画像処理する。具体的には、通信モジュール151によって受信したペン色に関する画像からペンの色を再生するペン色再生処理、文字部の画像から文字部分の画像を再生する文字部分再生処理である。また、エッジ強調、コントラスト自動調整、プリント台紙との濃度バランス調整、拡大縮小、位置微調整、かすれ文字補間処理等の画像処理を行う。
サムネイル画像作成モジュール152は、画像処理モジュール154によって画像処理した画像を縮小してサムネイル画像を生成する。そして、その結果を携帯電話に送信する。
プリンタ155は、画像処理モジュール154によって画像処理した画像を印刷する。
図2を用いて、図1で説明した携帯電話とサーバとの組み合わせである商品注文システムが用いられる一場面例を説明する。
親しい人等にプレゼントを贈りたい場合に、直筆メッセージをその商品に同梱することが望まれている。そして、この直筆メッセージを送付するためには、その商品を売っているお店に直接出向いて、その場でメッセージを書くか、予め作成しておいた直筆メッセージを店員に手渡す等が必要である。しかし、直接お店に出向かないでプレゼント送付ができる携帯電話、インターネット等を利用したネット上のお店を利用して、商品を発送する場合は、この手書きのメッセージを同梱することはできなかった。
そこで、本実施の形態である商品注文システムが用いられる。
まず、ユーザは、携帯電話を用いて商品発注201を行う。その際に、商品名(商品番号等を含む)、発送先、依頼主等が携帯電話を用いて入力される。
また、一方で、ユーザは手書きメッセージ202を作成する。そして、その手書きメッセージ202を携帯電話に備わっているカメラを用いて、撮影203する。その撮影された画像に対して、携帯電話内で地肌除去等の処理を行い、サーバに送信204する。
その際、送信されるデータは、例えば図12に示すようなデータ構造を有している。すなわち、発注日欄1201、発注品欄1202、発送先欄1203、依頼主欄1204、メッセージ画像欄1205からなるテーブルである。発注日欄1201には、携帯電話に内蔵されている時計を用いて、発注時の日時が記録される。発注品欄1202には、ユーザがインターネット等にあるお店のホームページを用いて、選択した商品が記録される。発送先欄1203には、その商品の発送先がユーザによって携帯電話を用いて入力されたものが記録される。依頼主欄1204には、携帯電話の持ち主であるユーザの名前等が記録され、これは携帯電話に予め登録されていた持ち主に関する情報を用いてもよい。メッセージ画像欄1205には、さきほど撮影203され地肌除去等された画像またはその画像のリンク等が記録される。そして、複数の注文がある場合は、このテーブルの2行目以降に記録される。
サーバである画像処理システム205は、この注文を画像とともに受信する。そして、受信した画像に対して、一定の処理を行い、印刷画像を生成する。
また、発送先等の注文情報を顧客データ管理システム206に渡す。画像処理システム205によって生成された印刷画像を、その手書きメッセージにふさわしい台紙に印刷し商品とともに同梱する(台紙にプリントアウトパッケージ化207)。その後、ユーザ(依頼主)の手書きメッセージ202とともに商品が発送先へ出荷208される。
なお、携帯電話300は、図3に示すように、電話としての機能を有するように音声入力できるマイク350と、音声出力できるスピーカ340と、電話番号等の文字を入力するための文字入力装置であるキー320と、電波を送受信するアンテナ330と、キー320による文字入力の結果や受信した結果等の表示を行うディスプレイ310と、図示していないが携帯電話300の裏面側にカメラのレンズを有している。また、カメラのシャッタは、キー320のいずれかを併用する、またはシャッタボタンを別に有していてもよい。
ディスプレイ310への表示は、UIモジュール106の制御によって行われる。
図4を参照して、携帯電話300の主にハードウェアに関する内部構成例について説明する。携帯電話300は、CPU401、ROM402、RAM403、カメラ404、ディスプレイ405、キー406、通信部407、バス408を有している。CPU401は、ROM402またはRAM403に記憶されているプログラムに従って各種の処理を実行する。
カメラ404は、携帯電話300の操作者によって手書きされたメッセージを画像データとして入力するものである。この画像データはRAM403に格納される。
ディスプレイ405は、カメラ404によって撮影された画像を表示したり、操作者によるキー406を用いた商品の注文等のやり取りのための表示を行う。なお、図4のディスプレイ405は、図3のディスプレイ310及びそのディスプレイ310の制御を行うものであり、同様に図4のキー406は、図3のキー320及びそのキー320の制御を行うものである。
通信部407は、カメラ404によって撮影された画像データに対して、地肌除去モジュール102、画像処理モジュール103、圧縮モジュール104等によって処理された結果、商品の注文のために必要なデータ等を、アンテナ330を用いて、サーバである画像処理システムに送信する。逆に、サーバである画像処理システムから送信される、サーバ側で処理された画像データ、商品の注文のために必要なデータ等を受信する。
これらの各ハードウェア構成は、バス408によって接続されており、各ハードウェア構成間で必要なデータのやり取りを行っている。
図5を参照して、実施の形態のサーバである画像処理システムのハードウェア構成例について説明する。図5に示す構成は、計算機(例えばパーソナルコンピュータ(PC)など)によって構成される画像処理システムであり、図1のプリンタ155に該当するプリンタなどのデータ出力部532を備えたハード構成例を示している。
CPU(Central Processing Unit)501は、上述の実施の形態において説明した各種のモジュール、すなわち、伸張モジュール153、画像処理モジュール154、サムネイル画像作成モジュール152等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
ROM(Read Only Memory)502は、CPU501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
キーボード508、ポインティングデバイス509は、操作者により操作される入力デバイスである。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージ情報として表示する。
HDD(Hard Disk Drive)511は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU501によって実行するプログラムや情報を記録または再生させる。ハードディスクは、受信した画像データ、画像処理プログラムなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体521に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。リムーバブル記録媒体521も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート514は、外部接続機器522を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート514は、インタフェース507、および外部バス506、ブリッジ505、ホストバス504等を介してCPU501等に接続されている。通信部515は、ネットワークに接続され、本実施の形態である携帯電話300とのデータ通信処理を実行する。データ出力部532は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。その他に、データ読み取り部531を備えており、例えばスキャナであり、ドキュメントの読み取り処理を実行する。
なお、図5に示す画像処理システムのハードウェア構成は、1つの構成例を示すものであり、本実施の形態の画像処理システムは、図5に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェアで構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図5に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。
次に作用・働き(動作)を説明する。
図6を用いて、携帯電話300で行われる手書きメッセージ撮影から送信までの処理例を説明する。
ステップS601では、ユーザが携帯電話300のカメラ101を用いて、商品に同梱する手書きメッセージを写真撮影する。
ステップS602では、携帯電話300の地肌除去モジュール102が、撮影された画像から地肌除去を行う。この地肌除去処理については、後に図9、図10を用いて詳細に説明する。
ステップS603では、携帯電話300の画像処理モジュール103が、2値化処理を行う。この2値化処理は既存の手法を用いる。
ステップS604では、携帯電話300の画像処理モジュール103が、ステップS602で地肌除去された画像から文字部分の色を識別する処理を行う。例えば、地肌除去された画像が色空間内でどの位置にあるかを各画素の値から検知し、その位置から色を識別する。そして、代表色の色のみの画像を抽出し、カラー2値のフレーム画像を生成する。例えば、赤ペン、緑ペン、青ペンを用いて書かれた画像に対して、各色の画像部分のみを抽出し、各々1画素を1ビットで表したフレーム画像を生成する。このフレーム画像は、元の画像と同じ大きさであり、赤色、緑色、青色とあるので3枚となる。なお、このフレーム画像は、画像処理モジュール103によって圧縮処理されてもよい。
ステップS605では、携帯電話300の画像処理モジュール103が、ステップS604で生成されたフレーム画像をステップS608で圧縮処理された画像に添付する。
ステップS606では、携帯電話300の画像処理モジュール103が、ステップS602で地肌除去された画像から文字部分の画像(多値画像)を切り出す処理を行う。これは、サーバ側で2値画像から色情報を再現するために用いるものである。
ステップS607では、携帯電話300の画像処理モジュール103が、ステップS606で切り出された画像をステップS608で圧縮処理された画像に添付する。
ステップS608では、携帯電話300の圧縮モジュール104が、ステップS603で2値化処理された画像に対して圧縮処理を行う。ここでの圧縮処理も既存の手法を用いるが、この圧縮画像を受け取るサーバ側で伸長できるような圧縮処理である必要がある。
ステップS609では、携帯電話300の通信モジュール105が、ステップS608で圧縮処理した画像、ステップS605で添付されたフレーム画像、ステップS607で添付された多値画像のサンプルをサーバへ送信する。
なお、ステップS604、ステップS605の処理、またはステップS606、ステップS607の処理は行わない場合もあり、いずれか一方だけを行う場合もある。
図7を用いて、サーバ側である画像処理システムで行われる手書きメッセージ画像受信から携帯電話への送信までの処理例を説明する。
ステップS701では、サーバの通信モジュール151が、携帯電話300の通信モジュール105によって送信された圧縮画像等を受信する。
ステップS702では、サーバの伸張モジュール153が受信した圧縮画像を伸長する。
ステップS703では、サーバの画像処理モジュール154が、伸長した画像に対して、エッジ強調、コントラスト自動調整、プリント台紙との濃度バランス調整、拡大縮小、位置微調整、かすれ文字補間処理等を行う。
ステップS704では、サーバの画像処理モジュール154が、ペン色を再生する処理を行う。つまり、携帯電話300より送信されてきた画像は地肌除去された2値画像であり、色情報は削除されたものである。通信モジュール151が受信した圧縮画像以外のフレーム画像、または多値画像のサンプル画像から色情報を再現する。
フレーム画像を用いた処理として、例えば、赤色のフレーム画像を用いて、赤ペンで書かれた文字部分を元の画像に赤色で上書きすることによって、赤色を付加することができる。同様に、緑色、青色についても処理を行う。
また、多値画像のサンプル画像を用いた処理として、例えば、そのサンプル画像の色空間を解析して、元の色情報を再現し、画像に色情報を付加するようにする。また、ここで色情報を一意に特定できない場合は、推定した色情報を用いて複数の画像を作成する。ここでは、S604とほぼ同様の処理を行う。つまり、ステップS703で画像処理された画像から文字部分の色を識別する処理を行う。例えば、地肌除去された画像が色空間内でどの位置にあるかを各画素の値から検知し、その位置から色を識別する。そして、代表色の色のみの画像を抽出し、カラー2値のフレーム画像を生成する。例えば、赤ペン、緑ペン、青ペンを用いて書かれた画像に対して、各色の画像部分のみを抽出し、各々1画素を1ビットで表したフレーム画像を生成する。このフレーム画像は、元の画像と同じ大きさであり、赤色、緑色、青色とあるので3枚となる。
ステップS705では、サーバのサムネイル画像作成モジュール152が、ステップS704で色が再現された画像からサムネイル画像を作成する。これは、商品に同梱するメッセージの出来上がりイメージを携帯電話300に送信し、ユーザに最終的な確認をしてもらうためである。
ステップS706では、サーバの通信モジュール151が、ステップS705によって作成されたサムネイル画像を、もとの携帯電話300へ送信する。
図8を用いて、携帯電話300で行われる手書きメッセージのサムネイル画像受信からメッセージ画像を決定するまでの処理例を説明する。
ステップS801では、携帯電話300の通信モジュール105が、サーバの通信モジュール151から送信されてきた手書きメッセージのサムネイル画像を受信する。
ステップS802では、携帯電話300のUIモジュール106が、その受信したサムネイル画像を携帯電話300のディスプレイ310に表示し、ユーザに選択できるようにする。
ステップS803では、ユーザは表示されたサムネイル画像でよいか否かの意思表示として操作を行い、携帯電話300のUIモジュール106が、その操作を受けて、OKか否かを判断する。OKの場合はステップS804へ進み、OKでない場合はステップS805へ進む。
ステップS804では、携帯電話300の通信モジュール105が、OKである旨の情報をサーバに送信する。
ステップS805では、携帯電話300の通信モジュール105が、OKではなく、再度処理することを示す情報をサーバに送信する。また、この際には、色情報に関するユーザからの指示を受け付けるようにしてもよい。
この後、この情報を受け取ったサーバでは、OKであれば、手書きメッセージを台紙にプリントアウトして、発送処理の指示を出す。また、OKでなければ、再度サーバの画像処理モジュール154にて、色情報の付加が行われ、携帯電話300に送信することが繰り返される。
次に、図9、図10を用いて、地肌除去処理例を説明する。
図9は、画像処理装置における構成について示したブロック図である。
携帯電話300の地肌除去モジュール102は、カラー画像用地肌検出モジュール901、カラー画像用地肌除去モジュール902、ユーザ指示モジュール903、メモリ904、HIS空間変換モジュール905、RGB空間変換モジュール906を有している。また、カラー画像用地肌検出モジュール901は、地肌レベル検出モジュール907と地肌除去レベル算出モジュール908を有している。
地肌レベル検出モジュール907は、メモリ904に入力されたHIS(Hue Intensity Saturation)空間で表されるカラー画像データを地肌の分布に応じて複数のエリアに分割し、分割されたエリア毎にエリア内に存在する画素のHIS空間のH(色相)、I(明度)、S(彩度)の各チャンネル毎の値によって、ヒストグラムを作成する。
作成したヒストグラムから、地肌レベルとして閾値をH、I、Sの各チャンネル毎に決定し、また、地肌除去の優先順位(ここでは、H、I、Sの順に優先順位がついているとする)が1位のチャンネルについては、地肌レベルとして地肌の範囲を示す範囲値を決定する。
なお、ここでは、チャンネルの地肌除去の優先順位は、H、I、Sの順としたが、これ以外であってもよく、またユーザによって指示され、ユーザ指示モジュール903がその指示に従って優先順位を指定してもよい。
このように作成したヒストグラムより、地肌レベルとして閾値と範囲値を決定する。
閾値は、作成したヒストグラムをH、I、S毎に作成し頻度最大値をもって閾値と決定するが、他に、作成したヒストグラムを解析して決定するやり方や、エリア内のH、I、Sの各チャンネルのそれぞれの平均値、中間値を計算して算出した値を閾値と決定するやり方も可能である。
範囲値は、閾値からの幅であり、ユーザ指示モジュール903よりユーザの所望する地肌除去基準がカラー画像用地肌検出モジュール901に送られ、送られた地肌除去基準に応じて地肌レベル検出モジュール907に予め設定されているデータ列から決定される。
そして、検出された地肌レベルは、カラー画像用地肌検出モジュール901内の地肌除去レベル算出モジュール908により、入力カラー画像データが例えばムラ原稿や貼り合せ原稿の場合に対応して、地肌レベルを調整して地肌除去レベルが算出される。
地肌除去レベル算出モジュール908で、入力カラー画像データがムラ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが徐々に連続的に変化するように調整する方式が行われ、貼り合せ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが急激に切り替えられる方式によって調整が行われて、分割されたエリアにおけるチャンネル毎に地肌除去レベルが算出される。
カラー画像用地肌除去モジュール902は、カラー画像用地肌検出モジュール901から送られた地肌除去レベルを元にメモリ904に保存されているカラー画像データの地肌除去処理を行う。
カラー画像用地肌除去モジュール902に送られる情報は、地肌除去レベル算出モジュール908で地肌除去レベルが算出された後に、カラー画像用地肌検出モジュール901から、地肌除去レベルである各チャンネル毎の閾値と、優先順位が1位のチャンネルの範囲値と、優先して地肌除去するチャンネルの優先順位とが送られる。
カラー画像用地肌除去モジュール902において地肌除去されるカラー画像データは、メモリ904からカラー画像用地肌除去モジュール902に送られる。
ユーザ指示モジュール903は、携帯電話300のUIモジュール106の一部であり、地肌除去する強弱を地肌除去基準として、ユーザが地肌除去基準を強、中、弱で入力する。また、場合によっては、範囲値をユーザが直接入力したり、地肌レベルを表す範囲値を自動で決定する選択の入力をユーザが行う。
また、ユーザ指示モジュール903から、地肌除去処理が行われる際に、優先して地肌除去を行うH、I、Sのチャンネルの優先順位が、ユーザによって入力されるようにしてもよい。
メモリ904は、地肌除去処理されるHISの色空間で表現されるカラー画像データが入力され、表現されるカラー画像データが、カラー画像用地肌検出モジュール901で閾値と範囲値が検出される際に、処理速度を上げる為に、地肌除去の対象となるカラー画像データをメモリ904内に保存する処理を行う。
HIS空間変換モジュール905は、地肌除去の対象となるカラー画像データがRGB(Red Green Blue)の色空間で表現されている場合に、RGBの色空間で表現されているカラー画像データをHISの色空間で表現するように、RGBからHISへの色空間の変換処理を行う。
HIS空間変換モジュール905で変換されたカラー画像データはHISの色空間で表現され、H、I、Sの各チャンネルの値がともに0から255へ拡張されてメモリ904に送られる。
RGB空間変換モジュール906は、カラー画像用地肌除去モジュール902によって地肌が除去されたHISの色空間で表現されるカラー画像データを、RGBの色空間で表現されるように変換する処理を行う。
このように、RGBの色空間によって表現されたカラー画像データがHIS空間変換モジュール905に入力され、HIS空間変換モジュール905において入力カラー画像データの色空間がRGBからHISに変換されてメモリ904に保存される。そして、ユーザ指示モジュール903より入力された地肌除去基準等の情報により、カラー画像用地肌検出モジュール901内で地肌除去レベルが算出され、カラー画像用地肌除去モジュール902で入力カラー画像データの地肌除去処理が行われ、RGB空間変換モジュール906でHIS空間からRGB空間に変換されて、地肌除去処理されたRGB空間のカラー画像データが生成される。
図10は、地肌除去処理が行われるエリア内の1つの画素について行われる地肌除去処理の処理フローを示したフローチャートである。
ステップS1001では、チャンネルの優先順位である、H、I、Sの順番を受け付ける。または、ユーザ指示モジュール903より地肌除去を行うチャンネルの優先順位である、H、I、Sの順番を受け付ける。
ステップS1002では、カラー画像用地肌検出モジュール901内の地肌レベル検出モジュール907で、メモリ904に入力されたHIS空間で表現されるカラー画像データを複数のエリアに分割し、その分割したエリアのうちの1つのエリア内に存在する画素のH、I、Sの各チャンネルの値によってヒストグラムを形成して、H、I、Sの各チャンネル毎に地肌レベルである閾値と地肌レベルである範囲値を決定する。
ステップS1003では、カラー画像用地肌検出モジュール901内の地肌除去レベル算出モジュール908で、地肌除去レベルとして各チャンネル毎の閾値にH_Histmax、I_histmax、S_histmaxを算出し、そして、ユーザ指示モジュール903により受け付けた優先順位が1位のチャンネルについて地肌を示す範囲がH_α1からH_α2であるとして算出する。
ステップS1004では、カラー画像用地肌除去モジュール902において、分割されたエリア内の1つの画素の画素値はHn、In、Snであり、優先順位はH、I、Sの順番なので、優先順位が1位のチャンネルであるHのチャンネルについての判断を行う。
ステップS1005では、Hについての判断結果に応じて2位のIのチャンネルについての判断を行う。
ステップS1006またはステップS1007では、ステップS1004、ステップS1005の結果に応じてチャンネルH、I、Sについて地肌除去処理した値を求める。
なお、ステップS1004で行われる優先順位が1位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌を表す範囲に含まれているかどうかによって行われる。つまり、優先順位1位のチャンネルであるHについて、画素値であるHnが、H_α1<Hn<H_α2となっているかどうかの判断が行われる。
また、ステップS1005で行われる優先順位が2位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌レベルである閾値以下であるかどうかによって行われる。つまり、優先順位2位のチャンネルであるIについて、画素値であるInが、In<I_histmaxとなっているかどうかの判断が行われる。
優先順位1位のチャンネルについての判断がYESである場合、つまり、H(色相)の値であるHnが、H_α1<Hn<H_α2となっている場合には(ステップS1004でYES)、処理される画素は地肌の可能性があると判断してステップS1005に進む。
次にステップS1005において、優先順位2位のチャンネルであるI(明度)についての判断が行われ、Iの値であるInが、In<I_histmaxとなっているかどうかを判断する。
ステップS1006では、優先順位2位のチャンネルについての判断がYESである場合、つまり、Iの値であるInが、In<I_histmaxとなっている場合には(ステップS1005でYES)、処理される画素は地肌であると判断して、画素値であるHn、In、Snの値を、色相を表すHnの値は変えずに、Iの値を色が最も明るくなる値である0とし、Sの値を色が最も鮮やかでない灰色に近くなる値である0に決定する。
なお、明度に関しては、色空間上の値の範囲を0から255として、明度の値が0に近づくほど色の明るさが明るくなって白に近づき、明度の値が255に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間を想定している。しかし、別の色空間であって、明度の値が255に近づくほど色の明るさが明るくなって白に近づき、明度の値が0に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間においては、ステップS1006で決定されるIの値は0でなく255となり明度Iは明るい色に決定される。
また、ステップS1004において、優先順位1位のチャンネルについての判断がNOである場合、つまり、Hの値であるHnが、H_α1<Hn<H_α2となっていない場合(ステップS1004でNO)や、或いは、ステップS1005において、優先順位2位のチャンネルについての判断がNOである場合、つまり、I(明度)の値であるInが、In<I_histmaxとなっていない場合(ステップS1005でNO)には、各チャンネルの地肌除去された値は、Hの値はHnとなり、I、Sの値は変換テーブルが使用されて決定される(ステップS1007)。
以下に、本実施の形態の多値データで取り扱う場合の概要を示す。
携帯電話で撮影した画像に対して携帯電話側で地肌除去処理を行うことで、地肌とそれ以外(主に文字、図形など)に分離する。JPEG(Joint Photographic Experts Group)圧縮など一般的な圧縮方法は、背景(地肌)と文字などのコントラストが大きいと圧縮率が低下する。
このため、本実施の形態では、文字が分離された元の画像に対してわざと地肌部分に文字部分よりもわずかに濃度の低いレベルの色を配色する。これによって、圧縮率の高い画像が生成できる。この画像は一般的には見にくいものであるが、圧縮率は高い状態となる。
こうして圧縮された画像を携帯電話からサーバに転送し、その画像に対してサーバ側で伸長後、地肌除去処理を施すことで再度文字線画部分を抽出する。あとは2値データを取り扱う場合と同じような処理を加えることで、転送効率もあげ、高画質も維持できるシステムとなる。
ここで、携帯電話側で行う処理は、主に、地肌除去処理、文字線画の分離処理、地肌着色処理、圧縮処理等である。
ここで、サーバ側で行う処理は、主に、伸長処理、追加的な画像後処理等である。
全体のモジュール構成は、図1と同じであるが、携帯電話300の画像処理モジュール103は、地肌除去モジュール102によって地肌が除去された画像に応じて地肌を付加する。そして、圧縮モジュール104は、画像処理モジュール103によって地肌が付加された画像を圧縮する。
また、携帯電話300の画像処理モジュール103は、地肌除去モジュール102によって地肌が除去された画像に対して、濃度を低くするようにしてもよい。つまり、地肌の濃度と地肌以外の部分の濃度とが類似していることが圧縮率を高めるからである。
また、サーバ側の画像処理モジュール154は、伸張モジュール153によって伸長した画像に対して地肌を除去する。この地肌除去処理は、携帯電話300の地肌除去モジュール102と同様である。
図11を用いて、携帯電話300で行われる手書きメッセージ撮影から送信までの多値データで取り扱う処理例を説明する。
ステップS1101では、ユーザが携帯電話300のカメラ101を用いて、商品に同梱する手書きメッセージを写真撮影する。
ステップS1102では、携帯電話300の地肌除去モジュール102が、撮影された画像から地肌除去を行う。この地肌除去処理は、前述した図9、図10の説明と同様である。
ステップS1103では、ステップS1102で地肌除去された画像に文字画像の濃度に類似した濃度の地肌を付加する。ここでの濃度は、後に地肌除去が可能となるような濃度である。つまり、地肌除去された画像から残っている画像(文字画像等)の濃度を検知し、その濃度に類似した濃度(文字画像等の濃度よりも高くてもよく、低くてもよい)で地肌を付加する。また、ここで、地肌を付加する代わりに、文字画像等の部分の濃度を低くするようにすることを行ってもよい。
ステップS1104では、携帯電話300の圧縮モジュール104が、ステップS1103で地肌が付加された画像に対して圧縮処理を行う。地肌が付加されない場合よりも、高圧縮率で圧縮することが可能となる。
ステップS1105では、携帯電話300の通信モジュール105が、ステップS1104で圧縮処理された画像をサーバに送信する。
そして、サーバ側では、通信モジュール151が、携帯電話300の通信モジュール105によって送信された圧縮画像を受信し、伸張モジュール153が受信した画像を伸長し、画像処理モジュール154がその伸長した画像に対して地肌を除去し、プリンタ155が地肌が除去された画像を印刷する。また、携帯電話300によって、文字画像等の部分の濃度を低くする処理が行われた場合は、地肌除去処理は不要であるが、文字画像等の部分の濃度を高める処理が必要である。
なお、本実施の形態では、携帯端末として、携帯電話を主に例示して説明したが、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、ゲーム機等でもよく、携帯可能であり、通信も可能なものであればよい。
携帯電話側で動作するプログラムは、予め携帯電話にインストールされていてもよいし、発注システムにログインした際に、通信回線を介して携帯電話にインストールするようにしてもよい。
なお、地肌除去の処理部分については、例えば以下のような発明([A1]〜[A5])としても把握することができる。
[A1]入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、
前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、
前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、
前記算出手段で算出した各チャンネルの地肌除去レベルに基づき前記各チャンネル毎に地肌除去処理を行う画像用地肌除去手段と、
前記画像用地肌除去手段で地肌除去処理された各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段
を有している地肌除去手段。
[A2]前記入力した画像データを複数の領域に分割する領域分割手段を更に具備し、前記地肌検出手段による地肌レベルの検出および前記算出手段による地肌除去レベルの算出および前記画像用地肌除去手段による地肌除去処理を前記領域分割手段で分割された領域毎に行う[A1]項記載の地肌除去手段。
[A3]前記画像用地肌除去手段は、
前記所定の色空間における各チャンネルの優先順位を設定する優先順位設定手段と、
前記優先順位設定手段で優先順位が第1位に設定されたチャンネルの地肌除去レベルに基づき該チャンネルのデータの各画素に対して地肌除去処理を実行する第1の地肌除去処理手段と、
前記算出手段で算出された地肌除去レベルに基づき他のチャンネルのデータの各画素に対して地肌除去処理を実行する第2の地肌除去処理手段
を具備する[A1]または[A2]記載の地肌除去手段。
[A4]前記所定の色空間における各チャンネルは、
色相を表すHチャンネルと、明度を表すIチャンネルと、彩度を表すSチャンネルとからなり、
前記優先順位設定手段は、
前記Hチャンネルを第1の優先順位、前記Iチャンネルを第2の優先順位、前記Sチャンネルを第3の優先順位に設定し、
前記第1の地肌除去処理手段は、
前記Hチャンネルのデータの各画素のレベルが前記所定の範囲内である場合に該画素を地肌除去対象として設定し、
前記第2の地肌除去処理手段は、
前記Hチャンネルの画素が地肌除去対象と設定され、かつ前記Iチャンネルの当該画素が当該チャンネルの地肌除去レベルより低い場合は、前記Iチャンネルの当該画素を地肌除去対象として設定して地肌除去処理を実行する[A3]記載の地肌除去手段。
[A5]前記第2の地肌除去処理手段は、
前記Iチャンネルの画素が地肌除去対象と設定された場合は、前記Iチャンネルの当該画素および前記Sチャンネルのレベルを最小の値にすることにより当該画素の地肌除去処理を実行し、前記Iチャンネルの画素が地肌除去対象と設定されない場合は、前記Iチャンネルの当該画素のレベルを前記Iチャンネルの地肌レベルにしたがって下げるとともに、前記Sチャンネルの当該画素のレベルを前記Iチャンネルの当該画素のレベルの下げ量に対応して下げることにより当該画素の地肌除去処理を実行する[A4]記載の地肌除去手段。
なお、説明したプログラムについては、記録媒体に格納することも可能であり、その場合は、例えば以下の発明としても把握することができる。
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌を除去した画像に対して画像処理を行う画像処理機能と、
前記画像処理機能によって画像処理した画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して画像処理する画像処理機能と、
前記画像処理機能によって画像処理した画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に応じて地肌を付加する地肌付加機能と、
前記地肌付加機能によって地肌が付加された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理機能と、
前記画像処理機能によって処理された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
「プログラムを記録したコンピュータ又は携帯端末読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータ又は携帯端末で読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去および書換可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
本実施の形態である商品注文システムの概念的で全体的なモジュール構成図である。 本実施の形態である商品注文システムが用いられる一場面例を説明する図である。 携帯電話の構成例を示す説明図である。 携帯電話のハードウェア構成例を示すブロック図である。 画像処理システム(サーバ)のハードウェア構成例について説明する図である。 携帯電話で行われる手書きメッセージ撮影から送信までの処理例を示すフローチャートである。 画像処理システム(サーバ)で行われる手書きメッセージ画像受信から携帯電話への送信までの処理例を示すフローチャートである。 携帯電話で行われる手書きメッセージのサムネイル画像受信から決定までの処理例を示すフローチャートである。 地肌除去処理例を説明するモジュール構成図である。 地肌除去処理例を示すフローチャートである。 携帯電話で行われる手書きメッセージ撮影から送信までの処理例を示すフローチャートである。 商品注文システムが扱う注文データの構造例を説明する図である。
符号の説明
101…カメラ
102…地肌除去モジュール
103…画像処理モジュール
104…圧縮モジュール
105…通信モジュール
106…UIモジュール
151…通信モジュール
152…サムネイル画像作成モジュール
153…伸張モジュール
154…画像処理モジュール
155…プリンタ
901…カラー画像用地肌検出モジュール
902…カラー画像用地肌除去モジュール
903…ユーザ指示モジュール
904…メモリ
905…HIS空間変換モジュール
906…RGB空間変換モジュール
907…地肌レベル検出モジュール
908…地肌除去レベル算出モジュール

Claims (19)

  1. 画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備することを特徴とする画像処理システム。
  2. 商品の注文を受け付ける注文受付手段と、
    前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌を除去した画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理した画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備することを特徴とする画像処理システム。
  3. 前記画像処理手段が行う画像処理は、2値化処理である
    ことを特徴とする請求項1または2に記載の画像処理システム。
  4. 前記画像処理手段が行う画像処理は、ペンの色を識別するペン色識別処理であり、
    前記送信手段は、前記画像処理手段のペン色識別処理が行われた画像をも送信する
    ことを特徴とする請求項1または2に記載の画像処理システム。
  5. 前記画像処理手段が行う画像処理は、文字部分の画像を切り出す文字部切出処理であり、
    前記送信手段は、前記画像処理手段の文字部切出処理によって切り出された画像をも送信する
    ことを特徴とする請求項1または2に記載の画像処理システム。
  6. 圧縮画像を受信する受信手段と、
    前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
    前記伸長手段によって伸長した画像に対して画像処理する画像処理手段と、
    前記画像処理手段によって画像処理した画像を印刷する印刷手段
    を具備することを特徴とする画像処理システム。
  7. 前記受信手段は、ペン色識別処理が行われたペン色に関する画像をも受信し、
    前記画像処理手段が行う画像処理は、前記受信手段によって受信したペン色に関する画像からペンの色を再生するペン色再生処理である
    ことを特徴とする請求項6に記載の画像処理システム。
  8. 前記受信手段は、文字部切出処理が行われた文字部の画像をも受信し、
    前記画像処理手段が行う画像処理は、前記受信手段によって受信した文字部の画像から文字部分の画像を再生する文字部分再生処理である
    ことを特徴とする請求項6に記載の画像処理システム。
  9. 携帯端末と該携帯端末と通信回線を介して接続されている画像処理システムを具備する商品注文システムであって、
    前記携帯端末は、
    商品の注文を受け付ける注文受付手段と、
    前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌を除去した画像に対して画像処理を行う第1の画像処理手段と、
    前記画像処理手段によって画像処理された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を前記画像処理システムへ送信する送信手段
    を具備し、
    前記画像処理システムは、
    前記携帯端末の送信手段によって送信された圧縮画像を受信する受信手段と、
    前記受信手段によって受信した画像を伸長する伸長手段と、
    前記伸長手段によって伸長した画像に対して画像処理する第2の画像処理手段と、
    前記第2の画像処理手段によって画像処理した画像を印刷する印刷手段
    を具備することを特徴とする商品注文システム。
  10. 画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
    前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備することを特徴とする画像処理システム。
  11. 商品の注文を受け付ける注文受付手段と、
    前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
    前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備することを特徴とする画像処理システム。
  12. 商品の注文を受け付ける注文受付手段と、
    前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理手段と、
    前記画像処理手段によって処理された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備することを特徴とする画像処理システム。
  13. 圧縮画像を受信する受信手段と、
    前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
    前記伸長手段によって伸長した画像に対して地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像を印刷する印刷手段
    を具備することを特徴とする画像処理システム。
  14. 携帯端末と該携帯端末と通信回線を介して接続されている画像処理システムを具備する商品注文システムであって、
    前記携帯端末は、
    商品の注文を受け付ける注文受付手段と、
    前記注文受付手段によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力手段と、
    前記画像入力手段によって入力した画像の地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像に応じて地肌を付加する地肌付加手段と、
    前記地肌付加手段によって地肌が付加された画像を圧縮する圧縮手段と、
    前記圧縮手段によって圧縮した画像を送信する送信手段
    を具備し、
    前記画像処理システムは、
    前記携帯端末の送信手段によって送信された圧縮画像を受信する受信手段と、
    前記受信手段によって受信した画像を伸長する伸長手段と、
    前記伸長手段によって伸長した画像に対して地肌を除去する地肌除去手段と、
    前記地肌除去手段によって地肌が除去された画像を印刷する印刷手段
    を具備することを特徴とする商品注文システム。
  15. 携帯端末に、
    商品の注文を受け付ける注文受付機能と、
    前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
    前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
    前記地肌除去機能によって地肌を除去した画像に対して画像処理を行う画像処理機能と、
    前記画像処理機能によって画像処理した画像を圧縮する圧縮機能と、
    前記圧縮機能によって圧縮した画像を送信する送信機能
    を実現させることを特徴とする画像処理プログラム。
  16. コンピュータに、
    圧縮画像を受信する受信機能と、
    前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
    前記伸長機能によって伸長した画像に対して画像処理する画像処理機能と、
    前記画像処理機能によって画像処理した画像を印刷する印刷機能
    を実現させることを特徴とする画像処理プログラム。
  17. 携帯端末に、
    商品の注文を受け付ける注文受付機能と、
    前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
    前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
    前記地肌除去機能によって地肌が除去された画像に応じて地肌を付加する地肌付加機能と、
    前記地肌付加機能によって地肌が付加された画像を圧縮する圧縮機能と、
    前記圧縮機能によって圧縮した画像を送信する送信機能
    を実現させることを特徴とする画像処理プログラム。
  18. 携帯端末に、
    商品の注文を受け付ける注文受付機能と、
    前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
    前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
    前記地肌除去機能によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理機能と、
    前記画像処理機能によって処理された画像を圧縮する圧縮機能と、
    前記圧縮機能によって圧縮した画像を送信する送信機能
    を実現させることを特徴とする画像処理プログラム。
  19. コンピュータに、
    圧縮画像を受信する受信機能と、
    前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
    前記伸長機能によって伸長した画像に対して地肌を除去する地肌除去機能と、
    前記地肌除去機能によって地肌が除去された画像を印刷する印刷機能
    を実現させることを特徴とする画像処理プログラム。
JP2006160540A 2006-06-09 2006-06-09 画像処理システムおよび画像処理プログラム Expired - Fee Related JP4720633B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006160540A JP4720633B2 (ja) 2006-06-09 2006-06-09 画像処理システムおよび画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006160540A JP4720633B2 (ja) 2006-06-09 2006-06-09 画像処理システムおよび画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2007329795A true JP2007329795A (ja) 2007-12-20
JP4720633B2 JP4720633B2 (ja) 2011-07-13

Family

ID=38929955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006160540A Expired - Fee Related JP4720633B2 (ja) 2006-06-09 2006-06-09 画像処理システムおよび画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4720633B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250294A (ja) * 2010-05-28 2011-12-08 Kyocera Mita Corp 画像形成装置及び画像形成方法
CN108605078A (zh) * 2016-02-12 2018-09-28 株式会社理光 图像处理设备、图像处理系统和图像处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5580185A (en) * 1978-12-14 1980-06-17 Toshiba Corp Character read system
JPH07121733A (ja) * 1993-10-20 1995-05-12 Fuji Xerox Co Ltd 文書画像処理装置
JPH07303189A (ja) * 1994-04-30 1995-11-14 Ricoh Co Ltd デジタル複写装置
JPH1013681A (ja) * 1996-06-20 1998-01-16 Toshiba Corp 画像形成装置
JPH11252385A (ja) * 1998-03-05 1999-09-17 Matsushita Electric Ind Co Ltd 色文字判別方法
JP2002185791A (ja) * 2000-12-11 2002-06-28 Ricoh Co Ltd 画像処理装置、画像処理方法および記録媒体並びに画像形成装置
JP2003152928A (ja) * 2001-11-19 2003-05-23 Fuji Xerox Co Ltd 画像通信装置及びファクシミリ装置
JP2003196592A (ja) * 2001-12-27 2003-07-11 Hitachi Ltd 画像処理プログラム及び画像処理装置
JP2005184259A (ja) * 2003-12-17 2005-07-07 Suzuki Jimusho:Kk 個人筆跡による記帳方法
JP2006121607A (ja) * 2004-10-25 2006-05-11 Canon Inc 画像処理装置及び方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5580185A (en) * 1978-12-14 1980-06-17 Toshiba Corp Character read system
JPH07121733A (ja) * 1993-10-20 1995-05-12 Fuji Xerox Co Ltd 文書画像処理装置
JPH07303189A (ja) * 1994-04-30 1995-11-14 Ricoh Co Ltd デジタル複写装置
JPH1013681A (ja) * 1996-06-20 1998-01-16 Toshiba Corp 画像形成装置
JPH11252385A (ja) * 1998-03-05 1999-09-17 Matsushita Electric Ind Co Ltd 色文字判別方法
JP2002185791A (ja) * 2000-12-11 2002-06-28 Ricoh Co Ltd 画像処理装置、画像処理方法および記録媒体並びに画像形成装置
JP2003152928A (ja) * 2001-11-19 2003-05-23 Fuji Xerox Co Ltd 画像通信装置及びファクシミリ装置
JP2003196592A (ja) * 2001-12-27 2003-07-11 Hitachi Ltd 画像処理プログラム及び画像処理装置
JP2005184259A (ja) * 2003-12-17 2005-07-07 Suzuki Jimusho:Kk 個人筆跡による記帳方法
JP2006121607A (ja) * 2004-10-25 2006-05-11 Canon Inc 画像処理装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250294A (ja) * 2010-05-28 2011-12-08 Kyocera Mita Corp 画像形成装置及び画像形成方法
CN108605078A (zh) * 2016-02-12 2018-09-28 株式会社理光 图像处理设备、图像处理系统和图像处理方法

Also Published As

Publication number Publication date
JP4720633B2 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
JP4600491B2 (ja) 画像処理装置及び画像処理プログラム
JP5132517B2 (ja) 画像処理装置および画像処理方法
EP1339216A1 (en) Digital still camera having image feature analyzing function
JP2006005939A (ja) スキャンされた文書用のセグメント化に基づくハイブリッド圧縮機構
US7684648B2 (en) Reducing the size of a document image
JP2010010819A (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2004228811A (ja) 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP2008099149A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5004856B2 (ja) 画像形成装置及び画像形成方法及び記憶媒体、プログラム
JP2007300624A (ja) 保存された2値画像データを増強する装置および方法
JP4483567B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4213112B2 (ja) 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
JP4720633B2 (ja) 画像処理システムおよび画像処理プログラム
JP2003186635A (ja) 画像処理装置及びプログラム
JP2007141152A (ja) デジタルカメラ、印刷装置、画像供給装置
JP4135656B2 (ja) 画像領域判定方法、画像処理装置およびプログラム
JP2005203865A (ja) 画像処理システム
JP2003219187A (ja) 画像処理方法及び画像処理装置
JP3826983B2 (ja) 画像処理装置
JP2004240672A (ja) 画像編集プログラム
JP4490327B2 (ja) 出力装置、色変換方法、及びプログラム
JP5206468B2 (ja) 画像処理装置及び画像処理プログラム
JP7185451B2 (ja) 画像処理装置と画像処理方法、及びプログラム
JP2004120280A (ja) 画像処理装置
JP2005144875A (ja) プリント画像色再現システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4720633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees