JP2018500793A - 半透明マーク、半透明マーク合成及び検出の方法、並びに透明マーク、透明マーク合成及び検出の方法 - Google Patents

半透明マーク、半透明マーク合成及び検出の方法、並びに透明マーク、透明マーク合成及び検出の方法 Download PDF

Info

Publication number
JP2018500793A
JP2018500793A JP2017522670A JP2017522670A JP2018500793A JP 2018500793 A JP2018500793 A JP 2018500793A JP 2017522670 A JP2017522670 A JP 2017522670A JP 2017522670 A JP2017522670 A JP 2017522670A JP 2018500793 A JP2018500793 A JP 2018500793A
Authority
JP
Japan
Prior art keywords
image
mark
video
specific color
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017522670A
Other languages
English (en)
Other versions
JP6704910B2 (ja
Inventor
ムン キ イ,
ムン キ イ,
Original Assignee
ムン キ イ,
ムン キ イ,
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ムン キ イ,, ムン キ イ, filed Critical ムン キ イ,
Publication of JP2018500793A publication Critical patent/JP2018500793A/ja
Application granted granted Critical
Publication of JP6704910B2 publication Critical patent/JP6704910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/06103Constructional details the marking being embedded in a human recognizable image, e.g. a company logo with an embedded two-dimensional code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/12Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K2019/06215Aspects not covered by other subgroups
    • G06K2019/06225Aspects not covered by other subgroups using wavelength selection, e.g. colour code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

QRコード映像と普通のカラー背景映像とを合成した半透明QRコードを生成する方法と、半透明QRコードを撮影した映像から、QRコードと普通のカラー映像とを分離するQRコード検出方法とに係わる。本発明は、普通のカラー背景映像の明るさまたは変化幅を調節した後、その上に、青色QRコードを合成するが、青色QRコード映像の明るさ変化幅は、背景映像の青色成分映像の明るさ変化幅より大きく調節したことを特徴とする。さらに、半透明または透明のQRコードを検出する方法は、かような半透明または透明のQRコードを撮影した映像の青色成分映像を二値化し、QRコードを検出することを特徴とする。【選択図】図1

Description

本発明は、カラー背景映像上にQRコードイメージを、半透明または透明に合成する技術に関する。
QRコード、スマートフォン、モバイル装置、カメラ、映像処理、着用型コンピュータ、めがね型ディスプレイ、仮想現実、増強現実、マーク
本発明は、QRコードのような視覚的マークの改善に関するものである。QRコードは、二次元バーコードの一種であり、例えば、雑誌の広告写真上に、関連URLをQRコードで印刷したものを、ユーザがスマートフォンのカメラで撮影して認識し、QRコードが示すURLにスマートフォンで接続することができる。そして、かようなQRコードは、カメラの姿勢を検出し、増強現実映像合成にも使用される。かような既存のQRコードは、不透明であり、背景映像を隠すという問題がある。背景映像を隠すことを最小化するために、従来のQRコードは、背景映像の一部分に小さく印刷されており、ユーザは、かようなQRコードをカメラで撮影するために、QRコードに近寄らなければならないという不都合がある。QRコードを遠くから撮影するためには、QRコードを大きくデザインすればよいが、そうすれば、背景映像を多く隠すという問題がある。
本発明は、背景映像上にQRコードを、半透明または透明に合成することにより、QRコードを大きくデザインすることができ、背景映像も見ることができる半透明または透明なQRコードと、それを合成して検出することができる映像処理手段と、を提供することを目的とする。
前記目的を達成するための本発明の半透明または透明のマークは、普通のカラー背景映像の明るさまたは変化幅(contrast)を調節した後、その上に、青色QRコードを合成するが、青色QRコード映像の明るさ変化幅は、前記背景映像の青色成分映像の明るさ変化幅より大きく調節したことを特徴とする。そして、かような半透明または透明のQRコードを検出する方法は、かような半透明または透明のQRコードを撮影した映像の青色成分映像を二値化し、QRコードを検出することを特徴とする。また、かような二値化を安定して行うために、二値化する前に、青色成分映像において、赤色と緑色との成分映像を暗く調節した映像を差分した後で二値化し、QRコードを検出することを特徴とする。
本発明による半透明または透明のマークを使用すれば、ユーザの目障りにならないように、QRコードを周辺環境に大きく付着させ、マーケティング手段として活用したり、増強現実や仮想現実のマーカーとして使用したりすることができる。
2つの映像を合成する説明図である。 ピクセル値ヒストグラムの変化を示した図面である。 図2を一般化した図面である。
実施形態1
本発明は、既存のQRコードが不透明であり、背景映像を隠すという問題を解決するために、カラー背景映像上に、黒白QRコードを半透明に合成した半透明QRコードを提供することを目的とする。具体的には、本発明による半透明QRコード映像を生成する方法は、次の通りである。
(段階1−1)普通のカラー背景映像を、三原色成分映像に分解する。すなわち、カラー映像から、3個の灰色(gray)映像(赤色成分映像、緑色成分映像、青色成分映像)を生成する。灰色映像は、例えば、最も暗いピクセル値が0であり、最も明るいピクセル値が255である256段階の映像でもある。
(段階1−2)黒白二値(binary)QRコード映像の白色ピクセル値を64に変え、黒ピクセル値を−64に変える。かように変換された映像のピクセル範囲は、−64〜64になる。かようなピクセル値の範囲(明るさ差)を、本発明では、コントラスト(contrast)という。すなわち、ピクセル分布範囲サイズが128になる。かようなバイナリ値(−64,64)は、絶対値が同じであり、符号は、異なるようにすることが望ましい。
(段階1−3)段階1−1で求めた青色成分灰色映像の最も暗いピクセル値と、最も明るいピクセル値との差B(ピクセル値の分布範囲サイズ、すなわち、コントラスト)が、前記段階1−2で求めたQRコード映像のピクセル範囲サイズQ(128)より十分に小さくピクセル値を変換するが、B+Q<255になるように調整する。すなわち、2映像のコントラストの和が、映像の最大可能なコントラストである255より小さくなければならない。そうであってこそ、合成された映像をディスプレイに出力することができ、印刷することができる。前述の条件B+Q<255の意味は、普通映像の青色成分灰色映像とQRコード映像とを合成した映像のピクセル範囲サイズが、255より小さくなければならないという意味である。例えば、青色成分灰色映像の最も暗いピクセル値が0であり、最も明るいピクセル値が255であるならば、全てのピクセル値に60/255を乗じた新たなピクセル値を、暗く調整された新たな映像のピクセル値にする。かように、定数(60/255)を全てのピクセルに乗ずれば、イメージ全体が暗くなるので、原本カラー映像が暗くなる。本段階の変換過程において、原本カラー映像の明るさを最大限維持するならば、青色成分灰色映像の平均ピクセル値を求め、それよりピクセル値が大きい(明るい)ピクセルは、明るさを減らし、ピクセル値が平均ピクセル値より小さい(暗い)ピクセルは、ピクセル値を増加させることが望ましい。図2は、かような変換前後のイメージのピクセル値のヒストグラムを示したものである。図2において、変換前の青色成分灰色映像のピクセル範囲は、0〜255であり、平均ピクセル値は、164である。かような映像が、本段階1−3を経れば、ピクセル範囲が164−30〜164+30である映像に変換される。図3は、図2を一般化した図面である。図3は、ピクセル値範囲がf1〜t1であり、平均ピクセル値がaである映像を、ピクセル値範囲がf2〜t2である映像に変化させた映像のピクセル値のヒストグラムを示したものである。変換前の任意のピクセル値p1,q1は、p2,q2にそれぞれ変換され、その具体的な値は、次のような比例式から求めることができる(比例式ではない非線形変換を使用してもよい。ここで、該比例式は、可能な変換中の一例である)。
(a−f1):(p1−f1)=(a−f2):(p2−f2)
(t1−a):(q1−a)=(t2−a):(q2−a)
かように、背景映像の青色成分映像のピクセル値の分布範囲(コントラスト)を、QRコード映像のピクセル値の分布範囲(コントラスト)より小さく制限することにより、合成された映像をカメラで撮影した映像を二値化し(binarize)、QRコード映像を検出することができる。もし背景映像の青色成分映像のピクセル値の分布範囲(例えば、60)がQRコード映像のピクセル値の分布範囲(例えば、128)より小さければ、本段階1−3は、通過する。
かような具体的な数字(255,128,60)は、説明の便宜のための値であり実際本発明を具現化するときは、その値が異なることもある。
そして、前述の比例式以外の他のアルゴリズムを使用することもできる。
そのように、背景映像のコントラストを減らすことを、背景映像全体に対して、同一比例式またはアルゴリズムを使用して行うこともできるが、背景映像の各ピクセルに対して、そのピクセルに最も適する比例式またはアルゴリズムを使用して行うこともできる。例えば、背景映像の青色成分映像と、QRコード映像の合成された映像において、QRコードのセル(cell)境界線コントラストが、その境界線近傍の一定領域内の背景映像の境界線のコントラストより大きくなるように、背景映像の境界線のコントラストを減らすこともできる。
ここで、QRコードのセルは、QRコードの情報を表示する同一ピクセル値の最小単位四角形領域を意味する。そして、前記近傍の一定領域は、QRコードのセルサイズ(セルの四角形の横辺または縦辺の長さのうち短いもの)と同じであるか、あるいはそれよりも大きくすることが望ましい。かようにコントラストを調整すれば、合成された映像の各ピクセルを二値化するとき、そのピクセル周辺のQRコードのセルサイズほどの領域内のピクセルのヒストグラムを調査し、二値化を容易にすることができる。
(段階1−4)段階1−2で求めたQRコード映像(ピクセル範囲サイズが128である映像)と、段階1−3で求めた青色成分映像(ピクセル範囲サイズが60である映像)との加算映像を求める。
ここで、2つの入力映像の加算映像は、2つの入力映像の対応する同一位置(x,y)のピクセルのピクセル値を加えた値が、加算映像の対応する同一位置(x,y)のピクセル値である映像を意味する。
(段階1−5)前記段階1−4で求めた加算映像のピクセル値の分布が、ディスプレイに出力可能な範囲(例えば、0から255)、または印刷可能な範囲になるように調整する。
例えば、段階1−3で求めた青色成分映像のピクセル範囲が(255−60)〜255であり、QRコード映像のピクセル範囲が−64〜64であるならば、2映像をピクセル別に加えて合成された加算映像のピクセル範囲は、(255−60−64)〜(255+64)になる。灰色映像の最大明るさは、255であり、合成されたピクセル値の最大値(255+64)は、その範囲を外れるので、適当な定数を、合成された加算映像の全てのピクセルに加え、ピクセルの範囲を平行移動させなければならない。すなわち、255+64が255と同じであるか、あるいはそれよりも小さくなるように、加算映像の全てのピクセルに−64を加えるのである。
同様に、例えば、段階1−3で求めた青色成分映像のピクセル範囲が0〜60であり、QRコード映像のピクセル範囲が−64〜64であるならば、2映像を加えて合成された映像のピクセル範囲は(0−64)〜(60+64)になる。灰色映像の最小明るさは、0であり、合成されたピクセル値の最小値(0−64)は、その範囲を脱するので、適当な定数を加算映像の全てのピクセルに加え、ピクセル範囲を平行移動させなければならない。すなわち、0−64が0と同じであるか、あるいはそれより大きくなるように、全てのピクセルに64を加えればよい。
(段階1−6)段階1−1で生成した赤色成分映像、緑色成分映像、及び段階1−4で合成した新たな青色成分映像によって構成された新たなカラー映像を生成する。それにより、その新たなカラー映像が本発明による半透明QRコード映像になる。
その場合、もし緑色成分映像または赤色成分映像が過度に明るいか、あるいはコントラストが強ければ、明るさまたはコントラストを減らした後で合成することが、合成された映像において、QRコードを検出するのに有利である。また、前記(段階1−1)で求めた青色成分映像の特定部分に、コントラストが過度に大きい場合(すなわち、あまりにも明るい領域と、あまりにも暗い領域とが接する場合)には、その領域だけコントラストをさらに多く減らすことも可能である。例えば、その部分だけ、ヒストグラム平滑化を行った映像に代替することもできる。その場合、ヒストグラム平滑化アルゴリズムとして、コントラストが制限された適応的ヒストグラム平滑化(CLAHE:contrast limited adaptive histogram equalization;https://en.wikipedia.org/wiki/Adaptive_histogram_equalization)、またはそれと類似した方法を使用することもできる。そして、ヒストグラム平滑化の代わりに、ガウシアンブラー(Gaussian blur)のような他の映像処理を介して、映像コントラストを変化させることもできる。
かような半透明QRコード映像は、紙にカラーで印刷したり、LCDまたはビームプロジェクタのようなカラーディスプレイに出力したりすることができ、その出力映像をスマートフォンのカメラで撮影し、その撮影された映像を、スマートフォンの映像処理プログラムで分析し、以下のように、QRコード映像と背景映像とを検出することができる。
(段階2−1)半透明QRコードカラー映像をカラーカメラで撮影する。
(段階2−2)撮影されたカラー映像を、三原色成分映像3個に分解する。すなわち、撮影された映像の赤色成分映像、緑成分映像そして青色成分映像を生成する。
(段階2−3)段階2−2で生成した赤色成分映像と緑色成分映像との対応するピクセル値を合成した値(加重平均したもの)を、新たな合成映像のピクセル値にする合成映像を生成する。例えば、赤色成分映像において、位置が(x,y)であるピクセル値をR(x,y)とし、緑色成分映像において、位置が(x,y)であるピクセル値をG(x,y)とすれば、合成された映像において、位置が(x,y)である地点のピクセル値は、R(x,y)*w1+G(x,y)*w2である。ここで、w1、w2は、加重平均合成係数であり、0<=w1+w2<=1である(*は、乗算を意味する)。三原色のうち、緑色の感度が最も大きいので、緑色の加重値をさらに大きくすることが望ましい。すなわち、w1<w2にすることが望ましい。
具体的なw1,w2値は、さまざまなw1,w2値を使用して、本段階(段階2−1〜段階2−6)を経てQRコードを検出した結果を見て、検出が最も望ましいw1,w2値を選択することが望ましい。例えば、w1=1/6、w2=1/3である値を使用することができる。
(段階2−4)段階2−2で生成した青色成分映像から、段階2−3で合成した映像を差し引いた差分映像を求める。ここで、該差分映像は、対応する2つの入力映像のピクセル値を差し引いた値をピクセル値にする映像である。例えば、2つの入力映像をI1、I2とし、その2映像の差分映像をDとすれば、位置(x,y)において、差分映像Dのピクセル値D(x,y)は、位置(x,y)におけるI1のピクセル値から、位置(x,y)におけるI2のピクセル値を差し引いた値I1(x,y)−I2(x,y)になる。かように差分を行う理由は、イメージセンサの青カラーフィルタが青色光を通過させるだけではなく、若干の赤色光及び若干の緑色光も通過させるために、撮影された映像の青色成分映像にかすかに見える赤色事物と緑色事物との映像(ノイズ)を消すためである。または、カメラの自動白色調整機能(auto white balance)のために、本来の色が他色に変わって撮影されもするからである。かような差分を経れば、青色成分映像には、純粋に青色事物と合成されたQRコード映像だけが残ることになる。
(段階2−5)前記段階2−4で求めた差分映像を二値化し、QRコード映像を生成する。前記段階2−4で求めた差分映像は、青色事物の明るさ範囲(60)が、前記半透明QRコード生成段階(1−1)〜段階(1−6)において、QRコード映像の明るさ範囲(128)より大きくないように調整して合成したものであるので、かような映像を二値化すれば、QRコード映像を容易に求めることができる。かような明るさ範囲値(60,128)は、説明の便宜のための一例でありのみ、実際に具現化するときは、他値を使用することも可能である。
(段階2−6)前記段階2−4で求めた差分映像において、前記段階2−5で求めたQRコード映像に、適当な加重値を乗じて暗く調節した後、差し引いた差分映像を求めれば、それは、QRコードが除去された背景映像の青色成分映像になる。かような青色成分映像の明るさを適当に増加させたものと、段階2−2で求めた赤色成分映像と緑色成分映像とからなるカラー映像を合成すれば、それは、QRコードが除去された背景映像になる。
前記段階(2−1)〜(2−6)を遂行した結果、QRコード映像を検出することができないのであるならば、それは、(段階1−1)の普通カラー背景映像の明るさ変化がはなはだしいためである(すなわち、映像のコントラストが過度に強いためである)。その場合は、背景映像の明るさ変化が少ないように調整した後、半透明QRコード映像を合成すればよい。例えば、(段階1−1)の普通カラー背景映像の赤色成分と緑色成分との映像を、前記段階(1−3)のような過程を経て、明るさ変化幅を減らし、半透明QRコード映像を合成することが望ましい。
前述の説明において、背景映像の青色成分映像にQRコード映像を合成した理由は、青色が肉眼に最も感度が低いために、合成された映像において、QRコードが最も目立たないからである。すなわち、青色成分映像にQRコードを合成することが、合成された映像を肉眼で見たとき、背景映像は、最も原本映像と類似しており、QRコード映像が最も微かであるからである。
前述の普通背景映像に合成するQRコード映像の代わりに、任意の他のマーク映像を使用することも可能である。例えば、ロゴ、アイコン、増強現実用マーカー、バーコードまたは文字などのイメージを、QRコード映像の代わりに使用して合成してもよい。
かような合成された映像を、前述の方法で分析し、マーカーやQRコードを検出し、カメラと、QRコードまたはマーカーとの三次元相対的な位置及び方向を計算し、遠近感あるように仮想客体を撮影した映像に合成するビデオシースルー(video see through)方式の増強現実システムを構成することができる。このとき、撮影された映像において、QRコードやマーカーを消し、仮想客体を合成することが望ましい。ユーザは、合成された仮想客体の映像の背景に、QRコードやマーカーが消されて見えないので、さらに自然な仮想現実映像を見ることができる。かようなシステムは、スマートフォンのカメラを使用して構成されもし、めがね型ディスプレイに付着されたカメラを使用しても構成される。
かような青色のQRコードまたはマーカーを、光学的シースルー方式(optical see through)の増強現実システム(例えば、マイクロソフト社のホロレンズシステムやGoogleグラス)に使用するとするならば、視線方向を撮影するカメラが含まれためがね型ディスプレイに、黄色フィルタ(赤色と緑色とを通過させ、青色を遮断するフィルタ)を付着させればよい。このとき、カメラの前には、黄色フィルタを付着させてはならない。すなわち、黄色フィルタは、めがね型ディスプレイ着用者の目の前にしか設けてはならない。黄色フィルタは、青色成分のQRコード映像を遮断する役割を行う。このとき、完全な黄色よりは、若干の青色も通過させるフィルタを使用すれば、さらに自然なカラーを見ることができて望ましい。
かような黄色フィルタめがねは、普段には、透明状態であり、カメラで撮影した映像において、青色QRコードが検出された場合には、黄色に変色される可変フィルタであることが望ましい。かような可変色フィルタは、例えば、LCD方式の透明ディスプレイでもって具現化することができる。また、黄色に変わる部分は、着用者の視野において、QRコードが占める領域だけ変わるようにすることが望ましい。
かような青色QRコードは、例えば、部屋の壁面、天井や床にぎっしりと多数付着され、めがね型ディスプレイを着用することにより、部屋全体に増強現実を具現化することができる。また、掃除ロボットのようなロボットのカメラにおいて、QRコードを認識し、自体の位置を認識して自律走行を行うこともできる。かような青色QRコードは、既存の黒QRコードより肉眼により目立たないので、肉眼に対する視覚的不都合を緩和させることができる。また、普通の写真や絵に、青色QRコードを半透明に合成すれば、QRコードをさらに隠すことができる。
実施形態2
前記実施形態1で生成した半透明QRコード映像の特定カラー成分映像(例えば、青色成分映像)は、QRコード映像と、普通映像の青色成分映像との合成映像である。そして、かような半透明QRコード映像の特定カラー成分を除いた残りカラー成分映像(例えば、赤色成分映像及び緑色成分映像)は、普通映像である。かような半透明QRコード映像(本実施形態においては、第2映像とする)に使用されたQRコード映像の反転された映像(黒白反転映像、negative image)を、特定カラー成分映像(例えば、青色成分映像)として映像(本実施形態においては、第1映像とする)を生成することができる。かような第1映像の特定カラー成分映像の残りカラー成分映像(例えば、赤色成分映像及び緑色成分映像)のピクセル値は、いずれも0にする。すなわち、第1映像は、青色映像であり、その内容は、黒白反転されたQRコードである映像である。かような第1映像と第2映像とをかわるがわる迅速にディスプレイに出力すれば、QRコード映像を見ることなしに、普通映像だけ見ることができる。しかし、高速カメラでかようなディスプレイを撮影すれば、QRコード映像を撮影することができ、映像処理手段でもってQRコードを検出することができる。
撮影された映像からQRコードを検出することは、前記実施形態1で説明した方法と同一である。すなわち、撮影された映像の青色成分映像を二値化し、QRコード映像を求めることができる。
かような肉眼に見えないQRコードは、TV画面に出力し、ユーザがスマートフォンでそのQRコードを撮影し、現在放送中であるプログラムに係わる情報を得ることもできる。例えば、現在放送中である画面に見える商品に係わる情報を得ることができる。TV画面に出力される本来の動画の各フレーム映像を背景映像にし、QRコードと毎瞬間ごとに合成してTV画面に出力すれば、動画を背景に増強現実映像を合成することができる。それは、既存の増強現実映像が、静止映像を背景にすることより、優秀な機能である。例えば、TV中の鮫が画面外に飛び出す映像を増強現実映像として合成することもできる。
本実施形態は、本発明の発明者の以前特許である大韓民国特許登録番号10−2012−0109581号「ステレオ映像基盤映像処理システム」と類似しているものの、本実施形態のマークは、肉眼に見えないという長所がある。それに比べ、前記登録番号10−2012−0109581号の技術は、マーク映像と普通映像とをかわるがわる出力するために、肉眼で画面を見れば、マークが普通映像を隠すという問題がある。
実施形態3
前記実施形態2の第1映像及び第2映像を、偏光方式の三次元ディスプレイに、それぞれ右目に見える映像と、左目に見える映像とに出力することができる。
偏光方式の三次元ディスプレイは、ディスプレイ画面を多数の細い水平線領域に分け、偶数番目領域と奇数番目領域とに、それぞれ互いに異なる偏光フィルタを付着させた形態である。かようなディスプレイに、偶数番目領域には、右目に見える映像を出力し、奇数番目領域には、左目に見える映像を出力し、両目にそれぞれ互いに異なる偏光フィルタのめがねを着用すれば、両目に互いに異なる映像を見ることができる。
偏光方式の三次元ディスプレイの他の例として、三次元劇場に使用するビームプロジェクタがある。かようなビームプロジエクタは、ステレオ映像の両目に見える映像を、互いに異なる偏光でかわるがわるスクリーンに投射する方式である。かようなビームプロジェクタを介して、前記実施形態2の第1映像及び第2映像を、かわるがわる互いに異なる偏光でスクリーンに投射することができる。
カメラレンズの前に、第1映像の偏光だけ通過させる偏光フィルタを付着させ、かような偏光方式の三次元画面を撮影すれば、第1映像のQRコードを容易に検出することができる。偏光めがねを着用していない場合は、第1映像と第2映像とをいずれも見ることになるので、QRコード映像を見ることができない。すなわち、偏光めがねを着用していない場合は、QRコードがない本来の普通映像だけ見ることができる。

Claims (14)

  1. マーク映像及び普通映像を含むカラー映像において、
    前記カラー映像の特定カラー成分映像のマーク映像の境界線のコントラストは、
    前記カラー映像の特定カラー成分映像の普通映像の境界線のコントラストより大きいが、
    前記普通映像の境界線は、前記マーク映像の境界線から臨界距離以内に分布する境界線であり、
    前記臨界距離は、マーク映像の境界線のセルの横サイズまたは縦サイズのうち小さい方の半分以上であることを特徴とする半透明マーク映像。
  2. 前記特定カラーは、三原色のうち一つであることを特徴とする請求項1に記載の半透明マーク映像。
  3. 前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像のマーク映像のコントラストは、
    前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像の普通映像のコントラストより小さいか、
    前記カラー映像の特定カラー成分映像を除いた残りカラー成分映像には、マーク映像が含まれないことを特徴とする請求項1に記載の半透明マーク映像。
  4. 普通映像の特定カラー成分映像のコントラストが、マーク映像のコントラストより大きくないように減らす段階と、
    前記コントラストが減った映像に、マーク映像を合成する段階と、
    前記合成された映像の明るさまたはコントラストを、印刷可能またはディスプレイに出力可能な範囲で調節する段階と、
    を含む半透明マーク映像合成方法。
  5. 前記マーク映像のピクセル値の最大値と最小値は、絶対値が同じであり、符号が異なる値であることを特徴とする請求項4に記載の半透明マーク映像合成方法。
  6. 前記コントラストが減った映像にマーク映像を合成する段階の合成は、
    2映像の加算映像を生成することを特徴とする請求項4に記載の半透明マーク映像合成方法。
  7. 特定カラーのマーク映像及び普通映像を含む半透明マーク映像の特定カラー成分映像を抽出する段階と、
    前記抽出された特定カラー成分映像を二値化する段階と、
    を含むことを特徴とする半透明マーク検出方法。
  8. 特定カラー成分映像を抽出する段階は、
    特定カラー成分映像から、前記特定カラー成分映像を除いたカラー成分映像を暗く調節した映像を差し引いた映像を求めることを含むことを特徴とする請求項7に記載の半透明マーク検出方法。
  9. カラー映像において、
    マーク映像を特定カラー成分映像に含む第1映像と、
    前記マーク映像の反転映像を、前記特定カラー成分映像に含み、普通映像を含む第2映像と、
    を含み、
    第1映像と第2映像は、かわるがわるディスプレイに出力されるか、あるいは互いに異なる偏光で同時にまたはかわるがわるディスプレイに出力される映像であることを特徴とする透明マーク映像。
  10. 第1映像に含まれたマーク映像のコントラストは、
    第2映像に含まれたマーク映像の反転映像のコントラストと同じであることを特徴とする請求項9に記載の透明マーク映像。
  11. 前記特定カラーは、三原色のうち一つであることを特徴とする請求項9に記載の透明マーク映像。
  12. マーク映像を特定カラー映像に変換して第1映像を生成する段階1と、
    前記マーク映像の反転映像を、前記特定カラー映像に変換した後、普通映像の特定カラー映像と合成する段階2と、
    前記段階2の合成された映像がディスプレイに出力可能になるように、明るさまたはコントラストを調節する段階3と、
    第1映像のマーク映像の明るさまたはコントラストが、前記段階3において、明るさまたはコントラストが調節された映像が含む反転されたマーク映像の明るさまたはコントラストと同じように調節する段階4と、
    前記段階3において、明るさまたはコントラストが調節された映像と、普通映像の残りカラー成分映像とから第2映像を生成する段階5と、
    を含むことを特徴とする透明マーク映像合成方法。
  13. ディスプレイに出力された第1映像及び第2映像において、
    該第1映像を獲得する段階と、
    獲得された第1映像から特定カラー成分映像を抽出する段階と、
    抽出された特定カラー成分映像を二値化する段階と、
    を含み、
    該第1映像は、特定カラーのマーク映像を含み、
    該第2映像は、特定カラーのマーク映像の反転映像と普通映像とを含み、
    前記第1映像と第2映像は、かわるがわるディスプレイに出力されるか、あるいは互いに異なる偏光でディスプレイに出力されることを特徴とする透明マーク検出方法。
  14. 第1映像を獲得する段階は、
    出力される映像のカラー変化を調査し、特定カラーだけ周期的に含む映像を第1映像に選択するか、
    特定偏光映像だけ第1映像に選択する段階を含むことを特徴とする請求項13に記載の透明マーク検出方法。
JP2017522670A 2014-10-27 2015-10-26 映像処理装置 Active JP6704910B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2014-0146512 2014-10-27
KR20140146512 2014-10-27
KR20140155756 2014-11-10
KR10-2014-0155756 2014-11-10
KR20140189216 2014-12-25
KR10-2014-0189216 2014-12-25
PCT/KR2015/011341 WO2016068560A1 (ko) 2014-10-27 2015-10-26 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법

Publications (2)

Publication Number Publication Date
JP2018500793A true JP2018500793A (ja) 2018-01-11
JP6704910B2 JP6704910B2 (ja) 2020-06-03

Family

ID=55857814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522670A Active JP6704910B2 (ja) 2014-10-27 2015-10-26 映像処理装置

Country Status (5)

Country Link
US (1) US10043120B2 (ja)
JP (1) JP6704910B2 (ja)
KR (4) KR20160049494A (ja)
CN (1) CN107077630B (ja)
WO (1) WO2016068560A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152044A (ja) * 2017-03-13 2018-09-27 三維碼(厦門)網絡科技有限公司 三次元コードの生成方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065661A1 (zh) * 2014-10-30 2016-05-06 崔明 一种四维码、基于该四维码的图像识别系统及方法、检索系统及方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10477036B2 (en) * 2016-04-14 2019-11-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN106057067B (zh) * 2016-06-01 2019-04-09 浙江工业大学 一种用于增强现实的半透明标识方法
KR102131895B1 (ko) * 2017-01-31 2020-07-08 리마 주식회사 복제된 웹툰 추적 방법 및 프로그램
CA3089330A1 (en) 2018-01-26 2019-08-01 Universitat De Barcelona Colour correction
CN108596916B (zh) * 2018-04-16 2021-02-26 深圳市联软科技股份有限公司 一种颜色相近的水印识别方法、系统、终端及介质
CN110633773B (zh) * 2018-06-22 2022-04-12 北京京东尚科信息技术有限公司 用于终端设备的二维码生成方法和装置
US10445899B1 (en) * 2018-11-26 2019-10-15 Capital One Services, Llc System and method for recalibrating an augmented reality experience using physical markers
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10496911B1 (en) * 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10504013B1 (en) 2019-04-24 2019-12-10 Capital One Services, Llc Colorspace encoding multimedia data on a physical page
US10529300B1 (en) 2019-06-20 2020-01-07 Capital One Services, Llc Adaptive image display based on colorspace conversions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
CN110475079A (zh) * 2019-09-10 2019-11-19 上海快仓智能科技有限公司 一种图像曝光亮度调整方法、系统及相关组件
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US10715183B1 (en) 2019-10-25 2020-07-14 Capital One Services, Llc Data encoding with error-correcting code pursuant to colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316972A (ja) * 2004-03-30 2005-11-10 Shimomoto Shoji 2次元コードを含む画像生成方法およびプログラム
JP2006338251A (ja) * 2005-06-01 2006-12-14 Kddi Corp カラー画像重畳バーコード、カラー画像重畳バーコード生成方法および装置
WO2010055774A1 (ja) * 2008-11-17 2010-05-20 日本電気株式会社 通信システム及び受信装置
JP2010182336A (ja) * 2010-05-10 2010-08-19 Digital Information Technologies Kk コードパターン画像データ生成装置、コードパターン付媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002240387A (ja) * 2000-12-12 2002-08-28 Ricoh Co Ltd 画像形成方法、画像形成装置及び画像情報管理システム
WO2006114827A1 (ja) 2005-04-06 2006-11-02 Content Idea Of Asia Co., Ltd. 透過型二次元コード、二次元コード付き物品、二次元コードの印刷方法および表示方法
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
WO2013022495A1 (en) 2011-08-08 2013-02-14 Accudial Pharmaceutical, Inc. Machine readable information interface for a container
US9152903B2 (en) * 2011-11-04 2015-10-06 Ebay Inc. Automated generation of QR codes with embedded images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316972A (ja) * 2004-03-30 2005-11-10 Shimomoto Shoji 2次元コードを含む画像生成方法およびプログラム
JP2006338251A (ja) * 2005-06-01 2006-12-14 Kddi Corp カラー画像重畳バーコード、カラー画像重畳バーコード生成方法および装置
WO2010055774A1 (ja) * 2008-11-17 2010-05-20 日本電気株式会社 通信システム及び受信装置
JP2010182336A (ja) * 2010-05-10 2010-08-19 Digital Information Technologies Kk コードパターン画像データ生成装置、コードパターン付媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152044A (ja) * 2017-03-13 2018-09-27 三維碼(厦門)網絡科技有限公司 三次元コードの生成方法

Also Published As

Publication number Publication date
US20170316297A1 (en) 2017-11-02
KR101770110B1 (ko) 2017-08-22
JP6704910B2 (ja) 2020-06-03
KR20160049494A (ko) 2016-05-09
WO2016068560A1 (ko) 2016-05-06
KR20180109793A (ko) 2018-10-08
CN107077630B (zh) 2020-06-23
US10043120B2 (en) 2018-08-07
KR20170034834A (ko) 2017-03-29
KR101913035B1 (ko) 2018-10-29
CN107077630A (zh) 2017-08-18
KR20170057202A (ko) 2017-05-24

Similar Documents

Publication Publication Date Title
KR101913035B1 (ko) 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법
US9916517B2 (en) Image processing method and apparatus
KR101868654B1 (ko) 렌티큘러 인쇄 및 디스플레이에서 흐림 아티팩트를 감소시키는 방법 및 시스템
JP5500066B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20120236133A1 (en) Producing enhanced images from anaglyph images
WO2016164166A1 (en) Automated generation of panning shots
US20170256067A1 (en) Image processing device, image processing method, and solid-state imaging device
JP2011210027A (ja) 画像処理装置および方法並びにプログラム
JP6855313B2 (ja) 画像表示システム、画像表示装置および画像表示方法
CN105791793A (zh) 图像处理方法及其电子装置
US9111377B2 (en) Apparatus and method for generating a multi-viewpoint image
CN104813341B (zh) 图像处理系统以及图像处理方法
GB2585197A (en) Method and system for obtaining depth data
CN115244570A (zh) 合并分离像素数据以获得更深景深
TWI504936B (zh) 影像處理裝置
TWI541761B (zh) 影像處理方法及其電子裝置
US20240054619A1 (en) Differently correcting images for different eyes
Jo et al. Adaptive white point extraction based on dark channel prior for automatic white balance
CN103220458B (zh) 一种立体摄像装置和立体摄像方法
Lu et al. Augmented reality via temporal psycho-visual modulation
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP6131256B2 (ja) 映像処理装置及びその映像処理方法
JP6131256B6 (ja) 映像処理装置及びその映像処理方法
KR101315433B1 (ko) 모스 부호 기반의 증강현실 시스템
JP2019013012A (ja) データ構造

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200513

R150 Certificate of patent or registration of utility model

Ref document number: 6704910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250