JP2017538973A - バーコードを再現するための表示画像の変調 - Google Patents

バーコードを再現するための表示画像の変調 Download PDF

Info

Publication number
JP2017538973A
JP2017538973A JP2017545872A JP2017545872A JP2017538973A JP 2017538973 A JP2017538973 A JP 2017538973A JP 2017545872 A JP2017545872 A JP 2017545872A JP 2017545872 A JP2017545872 A JP 2017545872A JP 2017538973 A JP2017538973 A JP 2017538973A
Authority
JP
Japan
Prior art keywords
barcode
imaging system
display
image
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017545872A
Other languages
English (en)
Inventor
オズボーン、ジョン
ラッセル、デイヴィッド
Original Assignee
サムスン ペイ、インコーポレイテッド
サムスン ペイ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サムスン ペイ、インコーポレイテッド, サムスン ペイ、インコーポレイテッド filed Critical サムスン ペイ、インコーポレイテッド
Publication of JP2017538973A publication Critical patent/JP2017538973A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/06112Constructional details the marking being simulated using a light source, e.g. a barcode shown on a display or a laser beam with time-varying intensity profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

バーコードを再現するための表示画像の変調方法を提供する。ポータブルデバイスにバーコード情報を受信する。ポータブルデバイスは撮像システムを備え、撮像システムは光を個々の信号に変換するように構成されたイメージセンサを備える。撮像システムはイメージセンサを制御するように構成されたイメージセンサコントローラを有する。撮像システムは個々の信号を形式化された画像データに変換するように構成されたイメージプロセッサを有する。ポータブルデバイスは形式化された画像データを表示するように構成された表示画面を有する表示システムを有する。表示画面が光再現バーコードを表示するように、バーコード情報を用いて撮像システムを操作する。

Description

本発明は、概して、パーソナル電子デバイスからバーコードスキャナへの符号化された情報の伝達に関する。
バーコードは機械が読み取り可能なデータの表示形態である。一般的に、バーコードは、一般に、製品の紙ラベル又はパッケージ、製造会社や小売店のクーポンなどの物品に、また、航空会社の搭乗券などのチケットやパスに印刷される。バーコードスキャナ(バーコードリーダとも称する)を用いて、移動する光線がバーコードで反射された光を検出することで、バーコードから情報が抽出される。バーコードスキャナは、店やスーパーマーケット、空港の保安検査場や搭乗口、スタジアム、図書館、試験場、会議場等の様々な種類の施設や他の様々な場面で用いられている。バーコードスキャナの使用により、普段の多くの取引の速度及び利便性が大幅に向上している。
バーコードは典型的には紙や他の物体に印刷されるが、バーコードスキャナで読み取れるようにバーコードをパーソナル電子デバイスの電子表示画面に表示することもできる。クーポンや他の情報をバーコード形式でパーソナル電子デバイスの表示画面に提示することで利便性が得られる一方で、デメリットもある。例えば、一般的に液晶ディスプレイ(LCD)である表示画面に表示されるバーとスペースはコントラスト比が十分でないため、バーコードスキャナによっては、特定の種類のディスプレイに表示されたバーコードを確実に読み取ることができない。更に、表示画面の物理的な寸法及び/又は解像度により、一度に表示できるバーコードの大きさが制限されることもある。
パルス光を用いてバーコードを再現することで、画面に表示された静止画像のバーコードの様々な制限を解消する技術が、例えば2004年2月3日に発行されたChallaらによる特許文献1に開示されている。しかし、この技術には制約がある。例えば、パーソナル電子デバイスには、この技術を実施できないものや、技術的又は業務上の理由でこの技術を実現するように変更できないアプリケーションプログラムインターフェースによって制御されているものがある。
米国特許第6,685,093号明細書
このため、従って、向上したバーコード情報伝達技術が求められている。
本発明は、バーコードを再現する(simulate)ための表示画像の変調方法を提供する。実施例によれば、ポータブルデバイスにバーコード情報を受信する。ポータブルデバイスは撮像システムを備え、撮像システムは光を個々の信号に変換するように構成されたイメージセンサを備える。撮像システムはイメージセンサを制御するように構成されたイメージセンサコントローラを有する。撮像システムは個々の信号を形式化された(formatted)画像データに変換するように構成されたイメージプロセッサを有する。ポータブルデバイスは形式化された画像データを表示するように構成された表示画面を有する表示システムを有する。表示画面が光再現バーコードを表示するように、バーコード情報を用いて撮像システムを操作する。
上記及び他の実施例を、本明細書で説明する。
本発明を、その具体的な例示的実施例に基づいて説明する。以下の図面を適宜参照する。
本発明の実施例に係る、表示画像を変調するように構成されたポータブル電子デバイスの概略ブロック図を示す。 本発明の実施例に係る、伝達可能な1次元バーコードを示す。 本発明の実施例に係る、1次元バーコードを伝達するための変調された信号の特徴のグラフを示す。 本発明の実施例に係る、ポータブル電子デバイスの撮像システムの概略ブロック図を示す。 本発明の実施例に係る、表示画像を変調するように構成されたポータブル電子デバイスの概略ブロック図を示す。 本発明の実施例に係る、2次元バーコードを1次元バーコードに変換可能なポータブル電子デバイスの概略ブロック図を示す。
ポータブル電子デバイスの表示画面は、多くの用途に使用できる。そのような用途の1つとして、バーコードの視覚的な静止画像を横切るように移動させた走査ビームの反射を再現する光の変化(これを「光再現バーコード(light−simulated barcode)」とも称する)を含む情報をバーコードスキャナに伝達することが挙げられる。光再現バーコード技術及び光再現バーコードの使用に適した各種デジタルデバイスが、例えば、全体が参照により本明細書に組み込まれている、2004年2月3日に発行されたChallaらによる米国特許第6,685,093号明細書、2004年5月18日に発行されたGobburuらによる米国特許第6,736,322号明細書、2005年4月12日に発行されたChallaらによる米国特許第6,877,665号明細書、2006年4月18日に発行されたChallaらによる米国特許第7,028,906号明細書、2008年7月8日に発行されたChallaらによる米国特許第7,395,961号明細書、2010年12月28日に発行されたChallaらによる米国特許第7,857,225号明細書、及び2011年6月28日に発行されたChallaらによる米国特許第7,967,211号明細書に記載されている。
光再現バーコードには、画素ベースの表示デバイスに用いられる光源等の各種光源を用いてよい。例えば、光再現バーコードの生成には、画面の明るさにバックライトを使用するLCDが効果的である。これは、連続する所望の明暗が得られるように、バックライトの全体を変調できるからである。これらに限定はされないが、発光ダイオード(LED)ディスプレイや有機発光ダイオード(OLED)ディスプレイ、電子発光ディスプレイ、プラズマディスプレイといったバックライトを有さないディスプレイを光再現バーコードの生成に使用してもよい。
適切なデジタルデバイスは、処理能力及びメモリにおいて、様々である。デバイスによっては、デバイス性能に悪影響を与えることなく光再現バーコード処理を行うのに必要な処理能力、メモリ又はその両方が不足することや、光再現バーコード処理を全く行えないこともある。デジタルデバイスの自体の処理能力及びメモリを増強することも1つの選択肢ではあるが、実用的又は費用対効果の高い選択肢でない場合もある。
デジタルカメラやスマートフォン等の他のポータブルデバイスは、一般的に、電荷結合素子(CCD)センサ等のイメージセンサを備える撮像システムと、表示画面とを備えている。このようなセンサは、一般的に、ディスプレイにリアルタイムのカメラ画像を生成することができる。このようなリアルタイム画像は、例えばデバイスが動いた際又はセンサが動く物体に向けられている際に変化できるものである。静止画像やビデオクリップは、メモリに記憶され、その後ディスプレイで再生できる。ディスプレイの明るさの変調、例えば、ディスプレイのバックライトの変調を用いることによって、1次元バーコードリーダの光センサを刺激できることがわかっている。本発明は、表示した画像を用いてバーコード情報をデバイスからバーコードリーダに送信できるようする撮像システムの操作、例えば、イメージセンサから出力される画像データの明るさの操作に関する。従って、本発明の実施例は、リアルタイム画像の1つ以上の光の特徴の変調に関し、具体的にはバーコードの読み取りを再現するセンサ画像信号の変調に関する。
図1は、本発明の実施例に係る、表示画像を変調可能なポータブル電子デバイス100の概略ブロック図を示す。ポータブル電子デバイス100は、好ましくは、ユーザが容易に持ち運びでき且つ撮像能力を有するものであり、これらに限定はされないが、携帯電話、スマートフォン、携帯情報端末(PDA)、ゲーム機、オーディオ・ビデオプレーヤー、フォブ、ユニバーサルシリアルバス(USB)フラッシュドライブ、タブレットコンピュータ、ラップトップコンピュータ、ウルトラブックコンピュータ、ノート型コンピュータ、コンバーチブルコンピュータや、米国、カリフォルニア州、クパチーノのアップル社から提供されているIPHONE(登録商標)モバイルデジタルデバイス、アンドロイドオペレーティングシステムで動作する様々な競合デバイス等の各種マルチメディア製品といった様々なデバイスのうちの任意のものとできる。
このようなポータブル電子デバイスは、プロセッサとコンピュータが読み取り可能な媒体とを、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合わせで備えることができる。プロセッサの例として、マイクロプロセッサ、コントローラ、論理回路が挙げられ、プロセッサをマルチコアユニットとして実装する又は複数のプロセッサユニットで実装してよい。コンピュータが読取り可能な媒体は、1種類の読み取り専用メモリ又は読み取り及び書き込み可能なメモリ或いは異なる種類のメモリの組み合わせで実現されてよく、その例として、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、フラッシュメモリ、ソリッドステートメモリ、磁気メモリ、光メモリ、読み取り専用コンパクトディスク等が挙げられる。モバイルパーソナルデジタルデバイスを動作させたり、各種アプリケーションを実装させたりするプロセッサが実行可能な指示を含むデータ及びプログラムが、コンピュータが読取り可能な媒体に記憶され、プロセッサによって実行されてよい。このようなポータブルデバイスは、デジタル回路、アナログ回路、又は両方の種類の回路を備え得る特殊用途の専用ハードウェアを備え得る。
図1に示すように、例示的なポータブルデバイス100は、撮像システム102及び表示システム104を備える。撮像システム102は、通常、光を個別の信号に変換するように構成されたイメージセンサを少なくとも備える。イメージセンサは、例えばCCDイメージセンサとし得る。撮像システム102は、イメージセンサの動作を制御し、イメージセンサが生成した個別の信号をJPEG又はMPEG等の静止画像又は映像の表示に適した形式に変換する回路を更に備え得る。
表示システム104は、通常、LED又はLCDの表示画面等のディスプレイを備える。表示システム104は、表示システム104の例えばバックライト等の動作を制御し、表示画面によって表示されるJPEG又はMPEG等に形式化した静止画像又は映像信号を受信する、関連表示回路を更に備え得る。
図1に示すように、ポータブルデバイス100は、アプリケーションソフトウェア106、プロセッサ108、及びメモリ110を備え得る。ソフトウェア106、プロセッサ108、及びメモリ110は、ユーザにメニュー等を表示するためのユーザインターフェースの提供、ユーザからの入力の受け付け等の各種機能及びその他の機能を実行するように、デバイス100の動作を制御できる。例えば、ユーザは、上記のユーザインターフェースを利用して、ポータブルデバイス100内にバーコードを選択的に記憶してよい。この場合、バーコードは、ユーザが撮像システム102を用いてバーコードを撮像する、ユーザが遠隔地から(例えばウェブサイトからインターネットを介して)バーコードをダウンロードする、メッセージ(例えばテキストメッセージ又はEメールメッセージ)でバーコードを受信する、又はその他の方法で、ポータブルデバイス100によって取得できる。選択されたバーコードは、数値コードとしてメモリ110に記憶できる。
メモリ110に画像及び映像ファイルを記憶することもできる。これらは、撮像システム102によって生成された画像及び映像ファイルの他に、他の方法で取得した画像及び映像ファイル、例えばユーザがダウンロードしたものやテキストメッセージやEメールメッセージで受信したものを含み得る。ソフトウェアアプリケーション106を、メモリ110に記憶することもできる。
撮像システム102によって撮像された画像を表示システム104の表示画面にリアルタイムで表示できる。また、メモリ110に記憶された画像又は映像ファイルをメモリ110から取り出し、表示システム104の表示画面に表示することもできる。発明の実施例によれば、光の強度及び/又は色の変調によって、表示画面に表示された画像又は映像がバーコードを再現するように撮像システム102が操作される。例えば、ユーザは、ユーザインターフェースを利用して、送信対象のバーコードを選択できる。バーコードは、メモリ110にあってもよい。この場合、ソフトウェアアプリケーション106は、記憶されたバーコードをメモリ110から取り出すようにプロセッサ108を制御できる。そして、アプリケーション106及びプロセッサ108は、明るさ、コントラスト、強度、色等の1つ以上の画像のパラメータを変調するように撮像システム102を制御して、デバイス100のディスプレイが選択したバーコードを光で再現した形態で送信し、バーコードリーダがバーコードを検出できるようにしてよい。
より具体的には、再現した信号は、光パルスとして送信できる。ここでの説明を目的として、本明細書において用いられる「光(light)」という用語は広義の用語であり、可視光及び赤外光のスペクトルを含む。「パルス」という用語は、光の特徴の検出可能な変化を単に指すものである。光パルスは任意の可視又赤外波長で生成されてよい。光信号は、明るさの変化、光出力のオン・オフの切り替え、色の変化等を含む任意の所望の方法で変化させてよい。
図2は、説明を目的とした1次元バーコード200を示す。図1Aに示すように、バーコード200は、クワイエットゾーン202、バー204、及びスペース206を備える。クワイエットゾーン202及びスペース206は、バー204と識別可能である必要がある。例えば、バー204をクワイエットゾーン202及びスペース206よりも明るく又は暗くすることで、バーコードスキャナによる走査時により多くの光又はより少ない光を反射させることができる。
図3は、送信対象の光パルスとして生成され得る信号の理想的な形態を示しており、この光パルスから、図2に図示したバーコード200からの走査ビームの反射を再現する光が生成される。図2及び図3を参照すると、走査ビームでクワイエットゾーン202及びスペース206を走査すると、ビームがスキャナに反射する。ここで、ビームでバー204を走査すると、ビームが少なくとも部分的に吸収されて、反射したビームが、より明るいクワイエットゾーン202及びスペース206から反射したビームよりも小さい振幅を有することになる。従って、スキャナで受信される信号の振幅は、各バー204の前端に達するビームに対応する時点t1,t3,t5,t7及びt9で減少し、各バー204の後端に達するビームに対応する時点t2,t4,t6,t8及びt10で増加する。
信頼性が劣る可能性があるバーコードの静止画像をスキャナに提供する代わりに、図3に示すような光に基づく形態の信号をスキャナに提供することで、バーコード形式に符号化されたデータをシーケンシャルバーコードスキャナに能動的に提供してよい。多くのバーコードスキャナの受信器が可視又は赤外波長の信号を受信するため、これらの波長で動作する表示要素を有するモバイルデジタルデバイスを用いて、再現した走査ビームの反射を能動的に表す光をシーケンシャルバーコードスキャナに提供することができる。このため、既存のバーコードスキャナの基盤に変更を加えることなく、バーコードデータを、現在の又は改良されたシーケンシャルバーコードスキャナに能動的に提供してよい。
バーコードスキャナは、信号を受信すると、連続するビームのオン・オフを復号して、提供されたバーコードデータを判定する。
図4は、ポータブル電子デバイス100の撮像システム102の概略ブロック図を示す。図4は、本発明の実施例に基づき採用可能な撮像システム102の追加的な詳細を示す。図4に示すように、撮像システム102は、CCDセンサとし得るイメージセンサ120、イメージセンサコントローラ122、イメージプロセッサ124、及びメモリ126を備える。イメージセンサコントローラ122は、アナログ電力供給・制御信号をイメージセンサ120に提供できる。また、センサ122の撮像画像の特徴を変調して光再現バーコードを生成するために、これらの信号を変化させることができる。例えば、イメージセンサコントローラ122は、撮像画像又はその一部の明るさ又は強度に影響するイメージセンサ122への電圧供給信号を制御できる。
イメージプロセッサ124は、イメージセンサ120から、撮像画像を表す信号を受信し、これらの信号を表示又は記憶に適した形式に処理する。例えば、イメージプロセッサ124は、画像の画素に対応するセンサ要素に対して明るさ又は強度を表すアナログ信号を受信できる。これらの信号は、画像又は映像として、増幅、フィルタ、デジタル化、圧縮、及び形式化できる。例えば、画像は、デジタルJPEG画像ファイル又はMPEG−1、MPEG−2、及びMPEG−4等のデジタルMPEG映像に形式化されてよい。Quicktime、3GPP、TIFF、RIF、bitmap(BMP)等の他のデジタル画像・映像形式も可能である。その他の可能な形式として、red−green−blue(RBG)映像、輝度−クロミナンス(Y−C)映像、S映像等のアナログ映像形式が挙げられる。
形式化済みの画像又は映像は、表示システム104(図1)が後で取り出し、表示するために、メモリ126に記憶される。メモリ126は図1に示すメモリ110の一部でもよく、また、別のメモリデバイスでもよい。形式化済みの画像又は映像を記憶するのと共に又はその代わりに、形式化済みの画像又は映像を即時(「リアルタイムで」)表示するために表示システム104に直接提供してもよい。
イメージセンサコントローラ122は、撮像画像や映像を、その特徴を変調することにより操作して、表示システム104による表示の際に光再現バーコードを生成できる。例えば、コントローラ122は、再現対象である所定のバーコードに基づき、センサアレイに提供される供給電圧を変調して、プロセッサ24に提供される信号の明るさ又は強度を変調することができる。イメージプロセッサ124で処理され、表示されると、結果として、変調画像を受信するバーコードリーダ用にバーコードを再現した、明るさ又は強度が変調された表示画像が得られる。
光再現バーコードを生成するためにセンサコントローラ122が画像信号を操作することに加えて又はその代わりに、イメージプロセッサ124が画像信号を操作してもよい。例えば、デジタル化の前に信号に施される増幅の度合いを変調する、又は画像信号の形式化の前に、デジタルサンプルに対して変調された増倍率を乗算することができる。この他又はこれに加えて、信号プロセッサ122は、画像の色、画像データに施した色フィルタ、画像のコントラスト、又は他の画像の特徴を変調することができる。この画像操作によって、表示時には、変調画像を受信するバーコードリーダ用にバーコードを再現した、明るさ、強度、及び/又は色等の表示特徴が変調された表示画像が得られる。
イメージセンサコントローラ122及びイメージプロセッサ124が画像信号に施す変調は、選択された所定のバーコードを再現するように、アプリケーションプログラム106及びデバイスプロセッサ108によって制御できる。
本明細書で説明したように、制御プロセッサ108は、光再現バーコードを生成するために表示システム104に表示される情報を直接制御するのではなく、撮像システム102における明るさ、コントラスト、色等のパラメータを制御して光再現バーコードを生成している。例えば、撮像システム102における専用のハードウェア、撮像システム102に搭載されたハードウェアデバイス、イメージセンサの明るさの度合いを操作するデバイス100におけるソフトウェア、又は撮像システム102自体におけるソフトウェアを用いて、センサの明るさの度合いや他の特徴を変調するようにセンサを指示して、バーコード情報をポータブルデバイス100からバーコードスキャンデバイスへ伝送することができる。
図4に関連して説明したように、イメージプロセッサ124は、イメージセンサ120と表示システム104との間の信号パスに配置されている。この場合、イメージプロセッサ124は、操作画像の表示時に、画像をリアルタイムで直接操作、記憶、分析できることが好ましい。しかし、イメージプロセッサ124の演算能力(computation bandwidth)が不足している場合は、変調をリアルタイムで行う必要はない。このため、代わりに、イメージプロセッサ124で画像データをフレーム単位でメモリ110又は126へ記憶し且つ処理した後、表示画面にストリーミングすることで、バーコードの再現に必要な変調を実現することができる。この他に又はこれに加えて、得られた変調画像データをメモリ110又は126に戻し、後で表示することもできる。
図5は、本発明の実施例に係る、表示画像を変調可能なポータブル電子デバイスの概略ブロック図を示す。図5に示すデバイスは、図1及び3に示す各デバイスと同様であり且つ以下に述べる相違点を有し得る。図5に示すように、イメージセンサ120と表示画面128との間に変調デバイス130を介して別のパスが設けられている。このパスは、イメージプロセッサ124を通る信号パスに加えて又はその代わりに設けられている。変調デバイス130は、イメージセンサ120に接続されたコンプレックスプログラマブルロジックデバイス(CPLD)、カスタムIC、又は他の専用処理リソース等のハードウェアで実装でき、明るさ又は色の度合い等の画像の特徴を変調するように構成されている。図5に示すように、変調デバイス130は、イメージセンサ120と表示画面128との間のデータパスに設計又は添え付け可能である。そして、デバイス130は、データストリームをリアルタイムで直接変調して、例えば、バーコードスキャナの感度が高い色の表示とバーコードスキャナの感度が高くない色の表示を切り替えるように色を入れ替えてよい。デバイス130は、リアルタイム画像とソリッドカラー(例えば黒、白、赤、緑等)とを交互に切り替えたり、異なるソリッドカラーを交互に切り替えたりすることもできる。この切り替えは、バーコードデータがスキャナに伝送されるように所定のバーコードに応じて変調される。そして、バーコードの再現が完了すると、ディスプレイをリアルタイム画像又は他の画像に戻すか、オフ状態にできる。赤、緑、及び青(RGB)のデータストリームを用いてイメージデータを表せるが、様々な画素の高さ及び幅並びに色深度を有する他の形式のデータストリームも同様に操作してよく、そのような形式として、これらに限定はされないが、YUV、コンポーネント、コンポジット、カラーマップ(color mapped)、S映像、HDMI(登録商標)等が挙げられる。
変調デバイス130を採用することで、イメージプロセッサ124にリアルタイムで変調を行う演算能力がない場合でも、リアルタイムで変調を行うことができる。また、変調デバイス130を、リアルタイムではなく、記憶された画像や映像の特徴を変調するように構成してもよい。
イメージセンサシステム102とイメージプロセッサ124又はシステムプロセッサ108との間にコネクタが設けられ、且つ/又は表示画面128とシステムの他の要素との間にコネクタが設けられることが多い。これらのコネクタは、既存のデバイスに画像変調ハードウェア130を添え付けた際の画像信号へのアクセスを提供する。
2次元撮像システムを有するモバイルデバイスの多くは、2次元バーコードを走査及び解釈可能であり、そのような2次元バーコードとして、これらに限定はされないが、Microsoft(登録商標)社のHigh Capacity Color Barcode(HCCB)、3−DI、ArrayTag、Aztec Code、Small Aztec Code、Codablock、Code 1、code 16K、Code 49、ColorCode、Compact Matrix Code、CP Code、CyberCode、d−touch、DataGlyphs、DataMatrix、Datastrip Code、Dot Code A、EZCode、Grid Matrix Code、HueCode、INTACTA Code、JAGTAG、MaxiCode、mCode、MiniCode、MicroPDF417、MMCC、Nintendo e−Reader#Dot code、Optar、PaperDisk、PDF417、PDMark、QR Code、QuickMark Code、SmartCode、Snowflake Code、SPARQCode、SuperCode、Trillcode、UltraCode、UnisCode、Vericode、VSCode、及びWaterCodeが挙げられる。しかし、これらの2次元符号化技術は、いずれも1次元バーコードスキャナで解釈できるものではない。
図6は、本発明の実施例に係る、2次元バーコードを1次元の光再現バーコードに変換可能なポータブル電子デバイスの概略ブロック図を示す。図6では、撮像システムによって走査された2次元バーコード情報が従来の方法で解釈されるが、その後1次元形式の情報に変換され、2次元情報が1次元スキャナに対応する形式で伝送されるように表示画面の明るさが変調される。走査中の2次元バーコードは、デバイスの表示画面に同時に表示されてもよい。
より具体的には、図6に示すように、2次元バーコード150又は他の多次元バーコードが、イメージセンサ152によって撮像される。この後、プロセッサ154が、2次元バーコードを解釈し、2次元バーコードを1次元コードに変換してよい。この後、変調コントローラ156が、1次元バーコードに基づいてリアルタイム画像(2次元バーコードの画像とし得る)を操作して、ディスプレイ158が発する光の特徴の変調により1次元バーコードが再現されるようにしてよい。2次元バーコードと1次元バーコードの一方又は両方は、メモリ160に記憶できる。本明細書で説明したように、変調画像も、光再現バーコードとして取り出し、表示できるように、メモリ160に記憶できる。多次元バーコードを1次元バーコードに変換する方法は、全内容が参照により本明細書に組み込まれているSellersらによる米国特許出願公開第2014/0156376号明細書に開示されている。
本明細書で説明したように、再現バーコードは、リアルタイム画像の1つ以上の光の特徴の変調、具体的には撮像システム102(図1)におけるセンサ画像信号の変調によって生成される。表示システム104(図2)の1つ以上の特徴を適宜変調することもできる。例えば、ディスプレイのバックライトの変調を変調してバーコードを再現することもできる。この場合、表示システム104で行う変調を撮像システムで行う変調と同期させて、変調信号が互いを打ち消し合うことを回避できるようにすることが好ましい。
本明細書に記載した発明の用途及び効果を含む本発明の説明は、例示であり、特許請求の範囲に記載した発明の範囲を限定する意図はない。本明細書に開示した実施例は変更及び改良が可能であり、当業者は、本特許文献を検討することで、これらの実施例における各要素の実質的な代替物及び均等物を理解するであろう。特記しない限り、本明細書において記載した特定の値はいかなる値も例示であり、適宜変更されてよい。様々なタイミングが記載されている場合、特記しない限り、厳密にこれらのタイミングでなくてもよく、むしろ、当該技術において周知であるように、回路配置、信号線インピーダンス、及び他の実際に適用される設計要素に応じて変化し得る。範囲を示す個々の値について言及している場合は、その範囲内の全ての値が含まれる。本明細書に開示した実施例における各種要素の代替物及び均等物を含む、実施例の上記及び他の変更及び改良は、発明の範囲を逸脱することなく実施可能である。

Claims (21)

  1. バーコードを再現するための表示画像の変調方法であって、
    ポータブルデバイスにバーコード情報を受信するステップであって、前記ポータブルデバイスが撮像システムを備え、前記撮像システムが光を個々の信号に変換するように構成されたイメージセンサを備え、前記撮像システムが前記イメージセンサを制御するように構成されたイメージセンサコントローラを有し、前記撮像システムが前記個々の信号を形式化された画像データに変換するように構成されたイメージプロセッサを有し、前記ポータブルデバイスが形式化された画像データを表示するように構成された表示画面を有する表示システムを有するステップと、
    前記表示画面が光再現バーコードを表示するように、前記バーコード情報を用いて前記撮像システムを操作するステップと
    を含む方法。
  2. 前記バーコード情報を用いて前記撮像システムを操作することにより、前記表示画面によって表示される画像の明るさが変調される請求項1に記載の方法。
  3. 前記バーコード情報を用いて前記撮像システムを操作することにより、前記表示画面によって表示される画像の色が変調される請求項1に記載の方法。
  4. 前記バーコード情報を用いて前記撮像システムを操作することが、光センサアレイに供給される信号を変調することを含む請求項1に記載の方法。
  5. 前記バーコード情報を用いて前記撮像システムを操作することが、光センサアレイによって生成される画像信号を変調することを含む請求項1に記載の方法。
  6. 変調した画像データを前記表示画面に表示する前に、前記変調した画像データを記憶することを更に含む請求項1に記載の方法。
  7. 前記撮像システムによる撮像中に、前記表示画面がリアルタイムで光再現バーコードを表示する請求項1に記載の方法。
  8. 前記バーコード情報を用いて表示システムを操作することを更に含む請求項1に記載の方法。
  9. 前記バーコード情報を用いて前記撮像システムを操作することが、前記イメージセンサと前記表示システムとの間に介装された変調デバイスによって行われる請求項1に記載の方法。
  10. 前記受信したバーコード情報が多次元バーコードを表し、
    前記バーコード情報を用いて前記撮像システムを操作することの前に、前記多次元バーコードを1次元バーコードに変換することを更に含む
    請求項1に記載の方法。
  11. バーコードを再現するための表示画像の変調システムであって、
    撮像システムであって、ポータブルデバイスに備えられ、光を個々の信号に変換するように構成されたイメージセンサを有し、前記イメージセンサのパラメータを制御するように構成されたイメージセンサコントローラを有し、且つ、前記個々の信号を形式化された画像データに変換するように構成されたイメージプロセッサを有する撮像システムと、
    前記ポータブルデバイスに備えられた表示システムであって、形式化された画像データを表示するように構成された表示画面を有する表示システムと
    を備え、
    前記表示画面が光再現バーコードを表示するように、前記システムが前記撮像システムを操作するように構成された
    システム。
  12. 前記表示画面によって表示される画像の明るさを変調するように、前記撮像システムが操作される請求項11に記載のシステム。
  13. 前記表示画面によって表示される画像の色を変調するように、前記撮像システムが操作される請求項11に記載のシステム。
  14. 光センサアレイに供給される信号を変調するように、前記撮像システムが操作される請求項11に記載のシステム。
  15. 光センサアレイによって生成される画像信号を変調するように、前記撮像システムが操作される請求項11に記載のシステム。
  16. 前記撮像システムに接続されたメモリを更に備え、
    前記メモリが、前記光再現バーコードの表示の前に、前記形式化された画像データを記憶するように構成された
    請求項11に記載のシステム。
  17. 前記撮像システムによる撮像中に、前記表示画面がリアルタイムで光再現バーコードを表示する請求項11に記載のシステム。
  18. 前記表示システムが、前記表示画面に表示される形式化された画像データを受信するように構成された表示コントローラを更に備え、
    前記表示コントローラが前記表示画面のパラメータを制御するように構成された
    請求項10に記載のシステム。
  19. 前記表示コントローラが、前記バーコード情報を用いて表示システムを操作する請求項18に記載のシステム。
  20. 前記イメージセンサと前記表示システムとの間に介装された変調デバイスを更に備え、
    前記表示画面が光再現バーコードを表示するように、前記変調デバイスが前記バーコード情報を用いて前記撮像システムを操作する
    請求項11に記載のシステム。
  21. 前記受信したバーコード情報が多次元バーコードを表し、
    前記表示画面が光再現バーコードを表示するように前記撮像システムを操作する前に、前記多次元バーコードが1次元バーコードに変換される
    請求項11に記載のシステム。
JP2017545872A 2014-11-25 2015-11-23 バーコードを再現するための表示画像の変調 Pending JP2017538973A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462084302P 2014-11-25 2014-11-25
US62/084,302 2014-11-25
PCT/US2015/062218 WO2016085886A1 (en) 2014-11-25 2015-11-23 Modulation of display imagery for barcode simulation

Publications (1)

Publication Number Publication Date
JP2017538973A true JP2017538973A (ja) 2017-12-28

Family

ID=56010562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545872A Pending JP2017538973A (ja) 2014-11-25 2015-11-23 バーコードを再現するための表示画像の変調

Country Status (11)

Country Link
US (2) US20160148083A1 (ja)
EP (1) EP3224782B1 (ja)
JP (1) JP2017538973A (ja)
KR (1) KR101995744B1 (ja)
CN (1) CN107004188B (ja)
AU (1) AU2015353702B2 (ja)
BR (1) BR112017010746A2 (ja)
CA (1) CA2968691A1 (ja)
RU (1) RU2683846C2 (ja)
SG (1) SG11201703862SA (ja)
WO (1) WO2016085886A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924241B2 (en) * 2015-07-30 2018-03-20 Commscope, Inc. Of North Carolina Intelligent patching systems and methods using color identification tags and related equipment
GB2552329A (en) * 2016-07-18 2018-01-24 Smartglyph Ltd A scanning system
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496911B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10504013B1 (en) 2019-04-24 2019-12-10 Capital One Services, Llc Colorspace encoding multimedia data on a physical page
US10529300B1 (en) * 2019-06-20 2020-01-07 Capital One Services, Llc Adaptive image display based on colorspace conversions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US10715183B1 (en) 2019-10-25 2020-07-14 Capital One Services, Llc Data encoding with error-correcting code pursuant to colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
US11113491B2 (en) * 2020-01-02 2021-09-07 The Boeing Company Methods for virtual multi-dimensional quick response codes
US11347823B2 (en) 2020-02-18 2022-05-31 The DTX Company Refactoring of static machine-readable codes
US11205105B1 (en) 2020-08-09 2021-12-21 The DTX Company Machine-readable label generator
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings
US11593579B2 (en) 2021-01-04 2023-02-28 The DTX Company Multiplexed quick response (“QR”) code experience derivation
US11599757B1 (en) 2021-08-24 2023-03-07 The DTX Company Collectible machine-readable codes
US11334779B1 (en) * 2022-01-14 2022-05-17 The DTX Company Dynamic embedding of machine-readable codes within video and digital media
US11741331B1 (en) 2022-02-23 2023-08-29 The DTX Company Electronic tag with two scanning modalities
US11734533B1 (en) 2022-06-08 2023-08-22 The DTX Company Secure scanning of machine-readable codes
US11709907B1 (en) 2023-02-01 2023-07-25 The DTX Company Offline to online conversion linkage

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313215A (ja) * 1998-04-24 1999-11-09 Aqueous Reserch:Kk 画像データ送信装置及び画像データ配信システム
JP2000032276A (ja) * 1998-04-09 2000-01-28 Nokia Mobile Phones Ltd エア・インタ―フェ―スを介して2次元デ―タ圧縮機能を利用するための装置及び方法
JP2002117372A (ja) * 2000-10-11 2002-04-19 Sharp Corp バーコード作成方法、ならびにバーコード表示装置およびバーコード提供装置
JP2005033282A (ja) * 2003-07-07 2005-02-03 Olympus Corp 撮像装置
JP2005086356A (ja) * 2003-09-05 2005-03-31 Mitsubishi Electric Corp 情報記録装置及び情報検出装置
JP2008269550A (ja) * 2007-03-27 2008-11-06 Masayuki Taguchi 動的に表示された二次元コードの認識システム
JP2010008451A (ja) * 2008-06-24 2010-01-14 Panasonic Corp 表示装置
US20120000983A1 (en) * 2010-06-30 2012-01-05 Varun Bhagwan Noise removal from color barcode images
US20120187184A1 (en) * 2010-07-19 2012-07-26 Mobeam Inc. Method and Apparatus for Communicating Information with a Personal Electronic Device via NFC and Light-Simulated Bar Codes
JP2013236363A (ja) * 2012-04-13 2013-11-21 Casio Comput Co Ltd 表示装置及びプログラム
US8733650B1 (en) * 2012-01-20 2014-05-27 A9.Com, Inc. Decoding barcodes from images with varying degrees of focus
US20140156376A1 (en) * 2012-11-30 2014-06-05 Mobeam, Inc. Multi-dimensional code translation
JP2014211709A (ja) * 2013-04-17 2014-11-13 富士フイルム株式会社 1次元バーコードリサイズ装置、方法およびプログラムならびに1次元バーコードシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO300943B1 (no) * 1995-04-03 1997-08-18 Steinar Pedersen Redskap for posisjonering og kontroll av objekter i to eller tre dimensjoner
US5760383A (en) 1996-07-29 1998-06-02 Ncr Corporation Method and apparatus for simulating bar code
JP4265002B2 (ja) * 1998-10-02 2009-05-20 ソニー株式会社 光情報記録装置及び光情報記録方法
US6877665B2 (en) 2000-11-20 2005-04-12 Ecrio, Inc. System, method, and apparatus for communicating information encoded in a light-based signal using a fob device
US6685093B2 (en) 2001-09-25 2004-02-03 Ecrio, Inc. System, method and apparatus for communicating information between a mobile communications device and a bar code reader
WO2002042926A1 (en) 2000-11-20 2002-05-30 Ecrio Inc. Method for downloading bar code encoded information with a mobile communication
US7967211B2 (en) 2001-09-25 2011-06-28 Mobeam Inc. Method and apparatus for communicating information from a mobile digital device to a bar code scanner
KR100405828B1 (ko) * 2002-02-01 2003-11-14 주식회사 마크애니 위변조의 방지가 가능한 문서를 제작하는 장치 및 방법,그리고 상기 문서를 인증하는 장치 및 방법
US7104452B2 (en) * 2004-09-22 2006-09-12 International Business Machines Corporation Method and system for a bar code simulator
EP2118814B1 (en) 2006-12-01 2016-03-30 MoBeam Inc. System, method and apparatus for communicating information from a personal electronic device
RU90599U1 (ru) * 2009-02-12 2010-01-10 Научно-производственный центр ИНТЕЛКОМ Электронная система для оплаты услуг
EP2239686B1 (en) * 2009-04-08 2012-05-16 Research In Motion Limited Systems, devices and methods for displaying a barcode at a computing device
CN102034083B (zh) * 2009-09-25 2012-09-19 神基科技股份有限公司 辨识条形码的方法
RU97199U1 (ru) * 2010-03-23 2010-08-27 Василий Владимирович Дьяченко Система, мобильное устройство и считывающее устройство для передачи текстовой информации с помощью графических изображений
US8651383B2 (en) * 2010-12-01 2014-02-18 Lumidigm, Inc. Data transmission to optical terminals
US8556176B2 (en) 2011-09-26 2013-10-15 Metrologic Instruments, Inc. Method of and apparatus for managing and redeeming bar-coded coupons displayed from the light emitting display surfaces of information display devices
US8794529B2 (en) * 2012-04-02 2014-08-05 Mobeam, Inc. Method and apparatus for communicating information via a display screen using light-simulated bar codes
US8939363B2 (en) 2013-03-15 2015-01-27 The Code Corporation Creating a virtual bar code from a physical bar code

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032276A (ja) * 1998-04-09 2000-01-28 Nokia Mobile Phones Ltd エア・インタ―フェ―スを介して2次元デ―タ圧縮機能を利用するための装置及び方法
JPH11313215A (ja) * 1998-04-24 1999-11-09 Aqueous Reserch:Kk 画像データ送信装置及び画像データ配信システム
JP2002117372A (ja) * 2000-10-11 2002-04-19 Sharp Corp バーコード作成方法、ならびにバーコード表示装置およびバーコード提供装置
JP2005033282A (ja) * 2003-07-07 2005-02-03 Olympus Corp 撮像装置
JP2005086356A (ja) * 2003-09-05 2005-03-31 Mitsubishi Electric Corp 情報記録装置及び情報検出装置
JP2008269550A (ja) * 2007-03-27 2008-11-06 Masayuki Taguchi 動的に表示された二次元コードの認識システム
JP2010008451A (ja) * 2008-06-24 2010-01-14 Panasonic Corp 表示装置
US20120000983A1 (en) * 2010-06-30 2012-01-05 Varun Bhagwan Noise removal from color barcode images
US20120187184A1 (en) * 2010-07-19 2012-07-26 Mobeam Inc. Method and Apparatus for Communicating Information with a Personal Electronic Device via NFC and Light-Simulated Bar Codes
US8733650B1 (en) * 2012-01-20 2014-05-27 A9.Com, Inc. Decoding barcodes from images with varying degrees of focus
JP2013236363A (ja) * 2012-04-13 2013-11-21 Casio Comput Co Ltd 表示装置及びプログラム
US20140156376A1 (en) * 2012-11-30 2014-06-05 Mobeam, Inc. Multi-dimensional code translation
JP2014211709A (ja) * 2013-04-17 2014-11-13 富士フイルム株式会社 1次元バーコードリサイズ装置、方法およびプログラムならびに1次元バーコードシステム

Also Published As

Publication number Publication date
AU2015353702B2 (en) 2018-04-19
US20160148083A1 (en) 2016-05-26
RU2017120390A (ru) 2018-12-10
US10140564B2 (en) 2018-11-27
BR112017010746A2 (pt) 2018-01-09
SG11201703862SA (en) 2017-06-29
RU2017120390A3 (ja) 2018-12-10
KR101995744B1 (ko) 2019-07-03
CN107004188B (zh) 2020-12-22
EP3224782A4 (en) 2018-10-10
CN107004188A (zh) 2017-08-01
AU2015353702A1 (en) 2017-05-25
RU2683846C2 (ru) 2019-04-02
KR20170087496A (ko) 2017-07-28
EP3224782A1 (en) 2017-10-04
CA2968691A1 (en) 2016-06-02
EP3224782B1 (en) 2022-02-23
WO2016085886A1 (en) 2016-06-02
US20170344867A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP2017538973A (ja) バーコードを再現するための表示画像の変調
US8848059B2 (en) Systems and methods for receiving infrared data with a camera designed to detect images based on visible light
JP5632073B2 (ja) 拡張現実のための装置および方法
JP6191701B2 (ja) Pos端末装置、商品認識方法及びプログラム
Langlotz et al. Unsynchronized 4D Barcodes: (Coding and Decoding Time-Multiplexed 2D Colorcodes)
US9344450B2 (en) Detecting phishing of a matrix barcode
US9330291B2 (en) Method and device for parsing images
US10268860B2 (en) White illumination for barcode scanners with improved power efficiency and cost
US20130084004A1 (en) Image processing of data from scanned display
JP5777264B1 (ja) バーコード表示装置、バーコード表示装置の動作方法およびプログラム
US20160239935A1 (en) Digital watermarks
CN106663215A (zh) 以可检测方式将动态标记嵌入视觉图像的系统和方法
JP5256318B2 (ja) コード読取装置
US9286557B2 (en) Optimizing quick response code capacity using gray luminance
JP2019148940A (ja) 学習処理方法、サーバ装置及び反射検知システム
US20190347910A1 (en) Secure digital coupon display and reading
CN111209766B (zh) 二维码识别方法、智能终端以及具有存储功能的装置
US9262663B2 (en) Image processing device, image processing method, and program
CN106550236B (zh) 产生与解码具有验证数据的影像串流的方法与装置
US11694046B2 (en) Microcontroller-based code reader and related method and device
JP2019062347A (ja) 画像制御装置、画像制御システム、画像制御プログラム、及び画像制御方法
WO2020190312A1 (en) Content verification system for opaque sealed containers
Trauth Visible Light Images
JP2015099482A (ja) コード読取装置、販売登録装置、コード読取プログラム
JP2017027093A (ja) バーコードリーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170724

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200303