JP2012234489A - Electronic device, data generation method, and data generation program - Google Patents
Electronic device, data generation method, and data generation program Download PDFInfo
- Publication number
- JP2012234489A JP2012234489A JP2011104474A JP2011104474A JP2012234489A JP 2012234489 A JP2012234489 A JP 2012234489A JP 2011104474 A JP2011104474 A JP 2011104474A JP 2011104474 A JP2011104474 A JP 2011104474A JP 2012234489 A JP2012234489 A JP 2012234489A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- normalized
- electronic device
- relative distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000010606 normalization Methods 0.000 claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000005311 autocorrelation function Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000005484 gravity Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、電子装置、データ生成方法およびデータ生成プログラムに関する。 The present invention relates to an electronic device, a data generation method, and a data generation program.
従来、入力する画像信号中から被写体の動きを検出する方法が開示されている。例えば、特許文献1では、予め、全画面領域を所定数の検出領域に分割した設定と、輝度変化を判定するための輝度しきい値と、照明のオン/オフ切替時の輝度変化パターンを格納するステップと、入力する画像信号から、前記検出領域毎に輝度信号を選択するステップと、
画像フレーム毎に同じ検出領域の輝度信号を検出し、前記輝度しきい値と比較することで輝度変化を検出するステップと、前記輝度変化が検出された場合に前記輝度変化パターンと照合することにより、前記輝度変化パターンが照明切替時であるか否かを判別し、照明切替時ではないと判別された場合に被写体動きを検出したと判別するステップを有する被写体動き検出方法が示されている。
Conventionally, a method for detecting the movement of a subject from an input image signal has been disclosed. For example, in
Detecting a luminance signal in the same detection region for each image frame, comparing the luminance signal with the luminance threshold value, and checking the luminance change pattern when the luminance change is detected; The subject motion detection method includes a step of determining whether or not the luminance change pattern is at the time of illumination switching and determining that the subject motion has been detected when it is determined that the brightness change pattern is not at the time of illumination switching.
一方、自装置の動きを検出するモーションセンサを備えた携帯情報処理装置が開示されている。例えば、特許文献2では、モーションセンサ部と、前記モーションセンサ部の出力に所定の処理を施す処理手段と、ユーザによる携帯情報処理装置の使用状態を検知する使用状態検知手段と、使用状態が検知されると前記モーションセンサ部および前記処理手段の少なくとも1つを停止させる制御手段とを備えている携帯情報処理装置が示されている。
On the other hand, a portable information processing device including a motion sensor that detects the movement of the device itself is disclosed. For example, in
例えば、電子装置が、モーションセンサで検出した自電子装置の動きと同じ動きをしている他の電子装置を、イメージセンサにより得られた映像の中から抽出しようとした場合、モーションセンサで検出された自装置の動きを示す波形と、映像中の他の電子装置の動きを示す波形とを比較して、それらの波形から同じ動きをしているか否か判定する必要がある。 For example, when an electronic device tries to extract another electronic device that is moving in the same manner as the movement of its own electronic device detected by the motion sensor from the image obtained by the image sensor, it is detected by the motion sensor. It is necessary to compare the waveform indicating the movement of the own device with the waveform indicating the movement of the other electronic device in the video and determine whether or not the same movement is performed from these waveforms.
しかし、そもそもモーションセンサで得られる信号の振幅と、イメージセンサで得られる映像信号の振幅とは、スケールが異なっているので、電子装置は、それらの波形を単純に比較することができなかった。
このように、異なるセンサ(例えば、モーションセンサ、イメージセンサ)から得られる信号を比較することができないという問題があった。
However, since the amplitude of the signal obtained by the motion sensor and the amplitude of the video signal obtained by the image sensor are different in the first place, the electronic apparatus cannot simply compare these waveforms.
As described above, there is a problem that signals obtained from different sensors (for example, a motion sensor and an image sensor) cannot be compared.
そこで本発明は、上記問題に鑑みてなされたものであり、異なるセンサから得られた信号を比較することを可能とする電子装置、データ生成方法およびデータ生成プログラムを提供することを課題とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide an electronic device, a data generation method, and a data generation program that can compare signals obtained from different sensors.
上記の課題を解決するために、本発明の一態様である電子装置は、入力された情報を抽象化する抽象化部と、前記抽象化された情報を正規化する正規化部と、前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、を備えることを特徴とする。 In order to solve the above problems, an electronic device according to an aspect of the present invention includes an abstraction unit that abstracts input information, a normalization unit that normalizes the abstracted information, and the normalization A comparison / determination unit that compares two or more normalized information and determines whether the two or more normalized information is the same type of information based on the comparison result. .
また、本発明の一態様であるデータ生成方法は、入力された情報を抽象化する抽象化手順と、前記抽象化された情報を正規化する正規化手順と、前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、を有することを特徴とする。 The data generation method according to one aspect of the present invention includes an abstraction procedure for abstracting input information, a normalization procedure for normalizing the abstracted information, and the normalized information in two. A comparison determination procedure for comparing two or more, and determining whether the two or more normalized information is the same kind of information based on the comparison result.
また、本発明の一態様であるデータ生成プログラムは、コンピュータに、入力された情報を抽象化する抽象化ステップと、前記抽象化された情報を正規化する正規化ステップと、前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、を実行させるためのデータ生成プログラムである。 According to another aspect of the present invention, there is provided a data generation program that abstracts input information to a computer, a normalization step that normalizes the abstracted information, and the normalized A data generation program for executing a comparison determination step of comparing two or more pieces of information and determining whether or not the two or more pieces of normalized information are the same type of information based on the comparison result .
本発明によれば、異なるセンサから得られた信号を比較することができる。 According to the present invention, signals obtained from different sensors can be compared.
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して詳細に説明する。まず、第1の実施形態の電子装置1の概要について説明する。電子装置1は、予め自装置が備える動き検出部11によって検出された自装置の動きと、同じ動きで動かされている他の電子装置を撮像部12により得られた映像から抽出する。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, the outline | summary of the
その際、電子装置1は、基準位置からの自装置の相対距離を示す情報および映像信号中の他の電子装置の画像領域の移動画素量を示す情報を抽象化し、抽象化されたそれらの情報を正規化し、正規化された2つの情報を比較し、該比較結果に基づいて該正規化された2つの情報が同種の情報であるか否か判定する。これにより、異なるセンサ(動き検出部、撮像部)から得られる信号を比較することができる。
At that time, the
図1は、第1の実施形態における電子装置1のブロック構成図である。電子装置1は、検出部10と、制御部20と、通信部30とを備える。
検出部10は、検出の対象から該対象の特徴を示す信号を検出する複数種類の検出部を備える。本実施形態では、一例として、検出部10は、動き検出部11と、撮像部12とを備える。
通信部30は、有線または無線方式で、他の電子装置と通信可能に構成されている。
FIG. 1 is a block configuration diagram of an
The
The
動き検出部11は、自装置の動きを検出し、検出した動きを示す情報を相対距離算出部21に出力する。ここで、動きを示す情報とは、自装置の3次元方向の動きを示す情報である。動き検出部11は、例えば、3次元加速度センサを備える。
撮像部12は、例えば、CCDイメージセンサと、ADC(ADコンバータ)とを備える。撮像部12は、CCDイメージセンサにより被写体である他の電子装置を所定のフレームレート(例えば、1秒間に30フレーム)で撮像し、撮像により得られた信号をADCによりデジタル信号に変換し、変換されたデジタル信号を画像領域抽出部22に出力する。
The
The
制御部20は、相対距離算出部21と、画像領域抽出部22と、移動画素量算出部23と、抽象化部24と、正規化部25と、記憶部26と、比較判定部27とを備える。
相対距離算出部21は、動き検出部11から入力された動きを示す情報から、所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する。そして、相対距離算出部21は、自装置の相対距離を示す情報を抽象化部24に出力する。
The
The relative
画像領域抽出部22は、撮像部12により得られたデジタル信号を用いて、撮像部12により得られた上記所定のフレームレートで撮像された映像から被写体である他の電子装置の画像領域を抽出する。
The image
図2は、第1の実施形態における画像領域抽出部22の処理を説明するための図である。同図において、向かって左側に、画像領域(オブジェクト)が抽出される前のk番目(kは正の整数)のフレームの画像の一例が示されている。k番目のフレームの画像内には、5つの電子装置の画像領域41〜45が示されている。
FIG. 2 is a diagram for explaining the processing of the image
同図の向かって右側には、画像領域抽出部22の処理によって抽出された電子装置のそれぞれの画像領域41〜45を構成する座標を要素とするベクトル(それぞれ[X1,Y1]、[X2,Y2]、[X3,Y3]、[X4,Y4]、[X5,Y5])が示されている。
On the right side of the figure, on the right side are vectors ([X1, Y1], [X2, respectively] having coordinates constituting the
ここで、記憶部26には、テンプレートマッチングで参照される電子装置1が撮像された参照画像データが予め記憶されている。
例えば、画像領域抽出部22は、記憶部26からテンプレートマッチングで参照する電子装置1が撮像された参照画像データを読み出す。画像領域抽出部22は、入力されたk番目のフレームの画像データから所定の大きさの画像領域のデータを抽出し、抽出した画像データ(例えば、図2の画像領域41〜45のデータ)と読み出した参照画像データとのテンプレートマッチングを行う。
Here, the
For example, the image
具体的には、例えば、画像領域抽出部22は、抽出した画像領域のデータと読み出した参照画像データをそれぞれ、所定の数の行と所定の数の列(例えば、3×3)のブロックに分割する。そして、画像領域抽出部22は、分割されたブロック毎に、抽出した画像領域のデータと読み出した参照画像データとの間でRGB(赤、緑、青)それぞれの輝度値の差の絶対値を算出し、その差の絶対値の和を算出する。画像領域抽出部22は、分割されたブロック全てで、当該差の絶対値の和を算出し、その絶対値の和の総和を算出する。
Specifically, for example, the image
そして、画像領域抽出部22は、算出した絶対値の和の総和が所定の閾値よりも小さい場合、抽出した画像領域のデータを電子装置の画像領域として抽出する。
画像領域抽出部22は、この処理を所定の画素ずらしながら画像全体で行う。これにより、画像領域抽出部22は、被写体(ここでは、電子装置)が撮像された各フレームの画像から、その被写体の画像領域を抽出することができる。
画像領域抽出部22は、抽出した被写体の画像領域の画素位置を示す情報を移動画素量算出部23に出力する。
Then, when the total sum of the calculated absolute values is smaller than a predetermined threshold, the image
The image
The image
移動画素量算出部23は、抽出された各画像領域が所定のフレームにおけるそれぞれの画像領域の画素位置からの画素間隔を移動画素量として算出する。具体的には、例えば、移動画素量算出部23は、各フレームから画像領域抽出部22により抽出された画像領域それぞれについて、重心の画素位置を抽出する。そして、移動画素量算出部23は、所定のフレームにおける重心の画素位置を基準として、その基準となる重心の画素位置から各フレームにおける重心の画素位置がどれだけ離れているかを示す移動画素量を算出する。移動画素量算出部23は、算出した移動画素量を示す情報を抽象化部24に出力する。
The moving pixel
図3は、第1の実施形態における移動画素量算出部23の処理について説明するための図である。同図において、向かって左側に、上からk−1番目のフレームの画像と、k番目のフレームの画像と、k+1番目のフレームの画像とが示されている。
k−1番目のフレームの画像において、電子装置の画像領域51と、その電子装置の画像領域51の重心の画素位置である基準画素位置54が示されている。
同様に、k番目のフレームの画像において、電子装置の画像領域52が示され、k+1番目のフレームの画像において、電子装置の画像領域53が示されている。
FIG. 3 is a diagram for explaining the processing of the moving pixel
In the image of the (k−1) th frame, an
Similarly, the
同図において、向かって右側に、上からk−1番目のフレームにおける移動画素量0と、k番目のフレームにおける移動画素量250と、k+1番目のフレームにおける移動画素量500とが示されている。
In the figure, the moving
同図において、移動画素量算出部23は、一例として、k−1番目のフレームの画像中における電子装置の画像領域51の画素位置を示す情報を受け取り、電子装置の画像領域51の重心の画素位置である基準画素位置54を算出し、移動画素量0を算出する。
同様に、移動画素量算出部23は、一例として、k番目のフレームの画像中における電子装置の画像領域52の画素位置を示す情報を受け取り、電子装置の画像領域52の重心の画素位置を算出し、重心の画素位置が基準画素位置54から離れているピクセル数を移動画素量(ここでは、例として250)として算出する。
In the figure, as an example, the moving pixel
Similarly, as an example, the moving pixel
同様に、移動画素量算出部23は、一例として、k+1番目のフレームの画像中における電子装置の画像領域53の画素位置を示す情報を受け取り、電子装置の画像領域53の重心の画素位置を算出し、重心の画素位置が基準画素位置54から離れているピクセル数を移動画素量(ここでは、例として500)として算出する。
Similarly, as an example, the moving pixel
図1に戻って、抽象化部24は、入力された情報を抽象化する。詳細には、抽象化部24は、複数種類の検出部によりそれぞれ検出された信号に基づく情報を抽象化する。まず、抽象化部24の処理の概要について説明する。
Returning to FIG. 1, the
図4を用いて、抽象化部24の処理の一例について説明する。図4は、動きを示す情報を平滑化する抽象化部24の処理を説明するための図である。同図の向かって左側には、動きを示す情報として、あるフレームにおける自装置の位置を基準位置とした時刻毎の自装置の相対距離が滑らかに繋がれた曲線61が示されている。同図の向かって右側には、抽象化部24により曲線61が平滑化された曲線62が示されている。
An example of processing performed by the
抽象化部24は、相対距離算出部21から入力された自装置の相対距離を示す情報を抽象化する。具体的には、例えば、抽象化部24は、自装置の相対距離を示す情報が時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、自装置の相対距離を示す情報を抽象化する。抽象化部24は、抽象化した相対距離を示す情報を正規化部25に出力する。その処理の詳細は、後述する。
The
図5を用いて、抽象化部24の処理の一例について説明する。図5は、移動画素量を示す情報を平滑化する抽象化部24の処理を説明するための図である。同図の向かって左側には、移動画素量を示す情報として、時刻毎の移動画素量が滑らかに繋がれた曲線71が示されている。同図の向かって右側には、抽象化部24により曲線71が抽象化された曲線72が示されている。
An example of processing performed by the
抽象化部24は、移動画素量算出部23から入力された移動画素量を抽象化する。具体的には、例えば、抽象化部24は、被写体である電子装置の移動画素量を時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、移動画素量を示す情報を抽象化する。そして、抽象化部24は、抽象化された移動画素量を示す情報を正規化部25に出力する。
The
続いて、抽象化部24の処理の詳細について説明する。まず、抽象化部24により算出される自己相関関数の算出方法について説明する。図6は、抽象化部24に入力される入力データと抽象化部24により算出される自己相関関数とが示された図である。図6(a)には、抽象化部24に入力される入力データが繋がれた折れ線81が示されている。ここで、縦軸は振幅、横軸はサンプル数である。
Next, details of the processing of the
図6(b)には、抽象化部24に算出される自己相関関数を示す折れ線82の一例が示されている。ここで、縦軸は自己相関関数の値、横軸はサンプル数である。また、自己相関関数の極大値であるピーク83と、1番目のサンプルからピーク83のサンプルまでが1周期τであることが示されている。
FIG. 6B shows an example of a
例えば、図6(a)に示された抽象化部24に入力されるn項からなる入力データAが、下記の式(1)で表される。
For example, input data A composed of n terms input to the
また、図6(a)に示された入力データAの配列の一部であるm項(m=n/2)の配列A´は、下記の式(2)で表される(nは2以上の偶数、mは正の整数)。 An array A ′ of m terms (m = n / 2), which is a part of the array of input data A shown in FIG. 6A, is expressed by the following equation (2) (n is 2). The above even numbers, m is a positive integer).
ここで、A´は固定である。また、図6(a)に示された入力データAの配列をt(0≦t≦n/2)だけずらしたm項の配列Bは、下記の式(3)で表される。 Here, A ′ is fixed. An array B of m terms obtained by shifting the array of input data A shown in FIG. 6A by t (0 ≦ t ≦ n / 2) is expressed by the following equation (3).
ここで、Bは可変である。 Here, B is variable.
抽象化部24は、このずらし幅tによって得られる配列A´と配列Bによる自己相関関数は、以下の式(4)に従って、算出する。
The
配列A´と配列Bの各要素が所定の間隔で描画された波形が似ているほど値は1に近づくこととなる。
抽象化部24は、自己相関関数R(t)上で、上に凸の頂点のデータ(ピーク値)を抽出する。そして、抽象化部24は、抽出したピーク値が所定の閾値を越えている場合、そのピーク値をとるサンプル番号(または時刻)を抽出する。抽象化部24は、ピーク値をとるサンプル番号の間隔(または時間間隔)を周期τとして抽出する。
The value becomes closer to 1 as the waveforms of the elements of the arrays A ′ and B that are drawn at predetermined intervals are more similar.
The
抽象化部24は、入力データAを自己相関関数で求めた周期τで1周期ごとに分割する。そして、繰り返し回数numとすると、抽象化部24は、1周期平均データave(n)は以下の式(5)に従って算出する。
The
図7は、1周期平均データave(n)の波形の一例と4サンプル毎の平均とが示された図である。図7(a)は、1周期平均データave(n)の波形84が示されている。図7(b)は、1周期平均データave(n)を4サンプル毎に平均された値が繋がれた線85が示されている。
FIG. 7 is a diagram showing an example of the waveform of the one-cycle average data ave (n) and the average for every four samples. FIG. 7A shows a
図8には、抽象化部24に入力される入力データの一例と、その入力データが抽象化されたデータの一例とが示されている。同図において、入力データが繋がれた折れ線81と、その入力データが抽象化されたデータが繋がれた折れ線86とが示されている。折れ線86は、1周期平均データave(n)を4サンプル毎に平均された値が繋がれた線85を1周期分のデータとして、入力データAが有する周期数だけ繋がれた折れ線である。
FIG. 8 shows an example of input data input to the
抽象化部24は、1周期平均データave(n)を所定の分割数(例えば、4)で区切り、区切った範囲の平均値を算出する。そして、抽象化部24は、算出された区切った範囲のデータを1周期のデータとして、入力データの周期数だけデータを抽象化されたデータとして生成する。そして、抽象化部24は、抽象化されたデータを正規化部25に出力する。
これにより、抽象化部24は、入力されたデータから大きな変化を抽出した抽象化されたデータを生成することができるので、電子装置1は同じ種類のデバイスによって得られたデータを比較することができる。
The
As a result, the
なお、本実施形態では、抽象化部24は、自己相関関数の値を用いて抽象化をしたが、これに限らず、ローパスフィルタを掛けて抽象化してもよい。
In the present embodiment, the
正規化部25は、抽象化部24から入力された抽象化された相対距離を示す情報を正規化し、正規化された相対距離(正規化相対距離)を示す情報を記憶部26に記憶させる。具体的には、例えば、正規化部25は、各時刻における抽象化された相対距離を正規化し、−1から1までの値にする。
The normalizing
図9を用いて、その処理について説明する。図9は、抽象化された相対距離を示す情報を正規化する正規化部25の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された相対距離が滑らかに繋がれた曲線62が示されている。同図の向かって右側には、正規化部25により、各時刻における正規化された相対距離が滑らかに繋がれた曲線63が示されている。
The process will be described with reference to FIG. FIG. 9 is a diagram for explaining processing of the
また、正規化部25は、抽象化部24から入力された抽象化された移動画素量を示す情報を正規化する。具体的には、例えば、正規化部25は、各時刻における抽象化された移動画素量を正規化し、−1から1までの値にする。
The
図10を用いて、その処理について説明する。図10は、抽象化された移動画素量を示す情報を正規化する正規化部25の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された移動画素量が滑らかに繋がれた曲線72が示されている。同図の向かって右側には、正規化部25により、各時刻における正規化された移動画素量が滑らかに繋がれた曲線73が示されている。
The process will be described with reference to FIG. FIG. 10 is a diagram for explaining the processing of the
正規化部25は、正規化された移動画素量(正規化移動画素量)を示す情報を比較判定部27に出力する。
以上、正規化部25は、抽象化されたデータを正規化することにより、電子装置1は異なる種類のデバイスによって得られたデータを比較することができる。
The
As described above, the
図1に戻って、比較判定部27は、正規化された相対距離Nmを示す情報を記憶部26から読み出す。そして、比較判定部27は、正規化された相対距離Ndと正規化移動画素量Nmとに基づいて、動き検出部11により検出された動きと同種の動きをしている画像領域を特定する。
Returning to FIG. 1, the comparison /
図11は、比較判定部27による処理を説明するための図である。各時刻における正規化相対距離を示す曲線63と、各時刻における正規化移動画素量を示す曲線73とが示されている。例えば、比較判定部27は、各時刻における正規化相対距離と各時刻における正規化移動画素量との差の絶対値を算出し、算出した各時刻における差の絶対値の総和を差算出する。そして、比較判定部27は、その差の絶対値の総和が所定の閾値以下の場合、その正規化移動画素量が算出された画像領域を、動き検出部11により検出された動きと同種の動きをしている画像領域と判定する。比較判定部27は、判定結果を示す情報を自装置の外部に出力する。
FIG. 11 is a diagram for explaining processing by the
なお、本実施形態では、比較判定部27は、正規化された相対距離Ndと正規化移動画素量Nmとを比較したがこれに限らず、比較判定部27は、正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定すればよい。
In the present embodiment, the comparison /
図12は、第1の実施形態の電子装置1の処理の流れを示したフローチャートである。まず、動き検出部11は、自装置の動きを検出する(ステップS101)。次に、相対距離算出部21は、相対距離を示す情報を算出する(ステップS102)。次に、抽象化部24は、相対距離を示す情報を抽象化する(ステップS103)。
FIG. 12 is a flowchart illustrating a processing flow of the
次に、正規化部25は、抽象化された相対距離を示す情報を正規化する(ステップS104)。次に、正規化部25は、正規化により得られた相対距離を示す情報を記憶部26に記憶させる(ステップS105)。
次に、撮像部12は、所定の数のフレーム数だけ、ユーザにより振られている複数の電子装置を1枚の画像に入るように撮像する(ステップS106)。次に、画像領域抽出部22は、全てのフレームにおいて、複数の電子装置が撮像された画像領域を、それぞれ抽出する(ステップS107)。
Next, the
Next, the
次に、移動画素量算出部23は、一の電子装置の画像領域の移動画素量を算出する(ステップS108)。次に、抽象化部24は、一の電子装置の画像領域の移動画素量を抽象化する(ステップS109)。次に、正規化部25は、抽象化した移動画素量を正規化する(ステップS110)。次に、比較判定部27は、正規化相対距離を示す情報を記憶部26から読み出す(ステップS111)。
Next, the moving pixel
次に、比較判定部27は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下であるか否か判定する(ステップS112)。当該差の絶対値の和が閾値以下の場合(ステップS112 YES)、比較判定部27は、一の電子装置が、動き検出部11で検出された動きと同種の動きをしていると判定する(ステップS113)。
一方、当該差の絶対値の和が閾値を越える場合(ステップS112 NO)、比較判定部27は、一の電子装置が、動き検出部11で検出された動きと異種の動きをしていると判定する(ステップS114)。
Next, the comparison /
On the other hand, when the sum of the absolute values of the differences exceeds the threshold (NO in step S112), the
次に、電子装置1は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する(ステップS114)。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合(ステップS114 NO)、電子装置1は、ステップS108の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合(ステップS114 YES)、電子装置1は、その処理を終了する。
Next, the
以上、電子装置1は、自装置の相対距離を抽象化し、正規化した正規化相対距離と、撮像により得られた他の電子装置の移動画素量を抽象化し正規化した正規化移動画素量とを比較する。
これにより、電子装置1は、異なるセンサで検出された情報をそれぞれ抽象化し正規化することにより、異なるセンサで検出した情報を比較することができる。
As described above, the
Thereby, the
なお、本実施形態では、電子装置1は、情報を抽象化した後に、抽象化した情報を正規化したが、これに限らず、情報を正規化した後に、抽象化してもよい。
In the present embodiment, the
<第2の実施形態>
続いて、第2の実施形態について説明する。上述の第1の実施形態では、電子装置1は、自装置が備える2種類の検出部により順番に検出された情報を比較することにより、自装置が過去に動かされた動きと同種の動きをしている他の電子装置を映像から特定した。第2の実施形態では、第1の電子装置2_1がユーザに動かされている最中に、第2の電子装置2_2は、第1の電子装置2_1が動かされている動きと同種の動きをしている他の電子装置を映像からリアルタイムで特定する。
<Second Embodiment>
Next, the second embodiment will be described. In the first embodiment described above, the
図13は、第2の実施形態の対象特定システム2を概略図である。対象特定システム2は、第1の電子装置2_1と、第2の電子装置2_2とを備える。同図において、第1の電子装置2_1は、ユーザにより振られる方向が示されている。第1の電子装置2_1は、ユーザにより振られている最中に、正規化相対距離Ndを示す情報を第2の電子装置2_2に無線で送信する。
FIG. 13 is a schematic diagram of the
図14は、第2の実施形態における第1の電子装置2_1のブロック構成図である。なお、図1と共通する要素には同一の符号を付し、その具体的な説明を省略する。図14の電子装置2_1の構成は、図1の電子装置1の構成に対して、検出部10が検出部10bに変更され、制御部20が制御部20bに変更され、通信部30が通信部30bに変更されたものとなっている。
FIG. 14 is a block configuration diagram of the first electronic device 2_1 in the second embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. The configuration of the electronic device 2_1 in FIG. 14 is different from the configuration of the
検出部10bは、動き検出部11を備える。動き検出部11は、第1の実施形態と同様に、自装置の動きを検出する。
制御部20bは、相対距離算出部21と、抽象化部24と、正規化部24bとを備える。
正規化部24bは、自装置の動きに基づき正規化相対距離Ndを示す情報を通信部30bに出力する。
通信部30bは、正規化部24bから入力された正規化相対距離Ndを示す情報を符号化し、符号化した正規化相対距離Ndを示す情報を無線で第2の電子装置2_2に送信する。
The
The
The normalizing unit 24b outputs information indicating the normalized relative distance Nd to the
The
図15は、第2の実施形態における第2の電子装置2_2のブロック構成図である。なお、図1と共通する要素には同一の符号を付し、その具体的な説明を省略する。図15の電子装置2_2の構成は、図1の電子装置1の構成に対して、検出部10が検出部10cに変更され、制御部20が制御部20cに変更され、記憶部26が記憶部26cに変更され、通信部30が通信部30cに変更されたものとなっている。
FIG. 15 is a block configuration diagram of the second electronic device 2_2 in the second embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. The configuration of the electronic device 2_2 in FIG. 15 is different from the configuration of the
検出部10bは、撮像部12を備える。撮像部12は、第1の実施形態と同様に、被写体を撮像する。
通信部30cは、第1の電子装置2_1から送信された符号化された正規化相対距離Ndを受信し、受信した符号化された正規化相対距離Ndを復号し、復号した正規化相対距離Ndを示す情報を記憶部26cに記憶させる。
The
The communication unit 30c receives the encoded normalized relative distance Nd transmitted from the first electronic device 2_1, decodes the received encoded normalized relative distance Nd, and decodes the normalized normalized relative distance Nd. Is stored in the
図16は、第2の実施形態の第2の電子装置2_2の処理の流れを示したフローチャートである。まず、通信部30cは、符号化された正規化相対距離Ndを示す情報を第1の電子装置2_1から受信する(ステップS201)。ステップS202からステップS207までの処理は、図12のステップS106からステップS111までの処理と同一であるので、その説明を省略する。 FIG. 16 is a flowchart illustrating a processing flow of the second electronic device 2_2 of the second embodiment. First, the communication unit 30c receives information indicating the encoded normalized relative distance Nd from the first electronic device 2_1 (step S201). Since the processing from step S202 to step S207 is the same as the processing from step S106 to step S111 in FIG. 12, the description thereof is omitted.
次に、ステップS208において、比較判定部27は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下か否か判定する。正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下の場合(ステップS208 YES)、比較判定部27は、抽出された電子装置の画像領域は、電子装置2_1で検出された動きと同種の動きをしていると判定する(ステップS209)。一方、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値を超える場合(ステップS208 NO)、比較判定部27は、抽出された電子装置の画像領域は、電子装置2_1で検出された動きとは異なる種類の動きをしていると判定する(ステップS210)。
Next, in step S208, the
次に、電子装置2_2は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する(ステップS211)。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合(ステップS211 NO)、電子装置2_2は、ステップS204の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合(ステップS211 YES)、電子装置2_2は、その処理を終了する。 Next, the electronic device 2_2 determines whether or not the above determination has been made for all image regions in which other electronic devices have been imaged (step S211). If the above determination has not been made in all image regions in which other electronic devices have been imaged (NO in step S211), the electronic device 2_2 returns to the process in step S204. On the other hand, when the above determination is made in all image regions where other electronic devices have been imaged (YES in step S211), the electronic device 2_2 ends the process.
以上、第2の実施形態では、ユーザにより振られている第1の電子装置2_1が、自装置が備える動き検出部11により自装置の動きを検出し、自装置の動きに基づき正規化相対距離Ndを示す情報を第2の電子装置2_2に無線で送信する。
そして、第2の電子装置2_2は、自装置が備える撮像部12によって他の電子装置の映像を取得し、他の電子装置の画像領域から算出された正規化移動画素量と、第1の電子装置2_1から受信した正規化相対距離Ndとを比較する。
As described above, in the second embodiment, the first electronic device 2_1 shaken by the user detects the motion of the own device by the
Then, the second electronic device 2_2 acquires the image of the other electronic device by the
これにより、第2の電子装置2_2は、第1の電子装置2_1が動かされている最中に、第1の電子装置2_1の動きと同種の動きをしている他の電子装置を映像からリアルタイムに特定することができる。 As a result, the second electronic device 2_2 performs real-time monitoring of other electronic devices that are moving in the same type as the movement of the first electronic device 2_1 while the first electronic device 2_1 is being moved. Can be specified.
また、本実施形態の電子装置1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子装置1に係る上述した種々の処理を行ってもよい。
Further, by recording a program for executing each process of the
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
1 電子装置
2 対象特定システム
2_1 第1の電子装置
2_2 第2の電子装置
10、10b、10c 検出部
11 動き検出部
12 撮像部
20、20b、20c 制御部
21 相対距離算出部
22 画像領域抽出部
23 移動画素量算出部
24、24b 抽象化部
25 正規化部
26、26c 記憶部
27 比較判定部
30、30b、30c 通信部
DESCRIPTION OF
22 Image
24,
Claims (8)
前記抽象化された情報を正規化する正規化部と、
前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、
を備えることを特徴とする電子装置。 An abstraction unit that abstracts the input information;
A normalization unit for normalizing the abstracted information;
A comparison determination unit that compares two or more of the normalized information and determines whether the two or more normalized information is the same type of information based on the comparison result;
An electronic device comprising:
前記抽象化部は、前記複数種類の検出部によりそれぞれ検出された信号を示す情報を抽象化し、
前記正規化部は、前記抽象化部によりそれぞれ抽象化された情報を正規化し、
前記比較判定部は、前記正規化部により正規化された複数の情報を比較することを特徴とする請求項1に記載に電子装置。 A plurality of types of detection units that detect signals indicating the characteristics of the target from the target of detection,
The abstraction unit abstracts information indicating signals detected by the plurality of types of detection units,
The normalization unit normalizes information abstracted by the abstraction unit, and
The electronic device according to claim 1, wherein the comparison determination unit compares a plurality of pieces of information normalized by the normalization unit.
前記動き検出部により検出された動きを示す情報から所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する相対距離算出部と、
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を備え、
前記抽象化部は、前記算出された相対距離を抽象化し、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された相対距離を正規化し、前記抽象化された移動画素量を正規化し、
前記比較判定部は、前記正規化された相対距離と前記正規化された移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項2に記載の電子装置。 The detection unit includes an imaging unit that captures an image of a subject, and a motion detection unit that detects a motion of the own device,
A relative distance calculation unit that calculates the relative distance of the own device based on the position of the own device at a predetermined time from the information indicating the movement detected by the motion detection unit;
An image region extraction unit that extracts an image region of the subject from the video obtained by the imaging unit;
A moving pixel amount calculation unit that calculates a moving pixel amount in which each of the extracted image regions has moved with reference to the image region in a predetermined frame;
With
The abstraction unit abstracts the calculated relative distance, abstracts the calculated moving pixel amount,
The normalization unit normalizes the abstracted relative distance, normalizes the abstracted moving pixel amount,
The comparison determination unit identifies an image region that has the same type of motion as the motion detected by the motion detection unit based on the normalized relative distance and the normalized moving pixel amount. The electronic device according to claim 2.
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を更に備え、
前記抽象化部は、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された移動画素量を正規化した正規化移動画素量を生成し、
前記比較判定部は、自装置の外部から入力された正規化された相対距離を示す情報と、前記正規化された相対距離と正規化移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項1に記載の電子装置。 An imaging unit for imaging a subject;
An image region extraction unit that extracts an image region of the subject from the video obtained by the imaging unit;
A moving pixel amount calculation unit that calculates a moving pixel amount in which each of the extracted image regions has moved with reference to the image region in a predetermined frame;
Further comprising
The abstraction unit abstracts the calculated moving pixel amount,
The normalization unit generates a normalized moving pixel amount obtained by normalizing the abstracted moving pixel amount,
The comparison determination unit is detected by the motion detection unit based on information indicating the normalized relative distance input from the outside of the device, the normalized relative distance, and the normalized moving pixel amount. The electronic device according to claim 1, wherein an image region that is moving in the same type as the moving image is specified.
前記抽象化された情報を正規化する正規化手順と、
前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、
を有することを特徴とするデータ生成方法。 An abstraction procedure that abstracts the input information;
A normalization procedure for normalizing the abstracted information;
A comparison determination procedure for comparing two or more of the normalized information, and determining whether the two or more normalized information is the same type of information based on the comparison result;
A data generation method characterized by comprising:
入力された情報を抽象化する抽象化ステップと、
前記抽象化された情報を正規化する正規化ステップと、
前記正規化された情報を2つ以上比較し、該比較結果に基づいて該2つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、
を実行させるためのデータ生成プログラム。 On the computer,
An abstraction step that abstracts the input information;
A normalization step of normalizing the abstracted information;
A comparison determination step of comparing two or more of the normalized information and determining whether the two or more normalized information is the same type of information based on the comparison result;
Data generation program for executing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104474A JP5747646B2 (en) | 2011-05-09 | 2011-05-09 | Electronic device, data generation method, and data generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104474A JP5747646B2 (en) | 2011-05-09 | 2011-05-09 | Electronic device, data generation method, and data generation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234489A true JP2012234489A (en) | 2012-11-29 |
JP5747646B2 JP5747646B2 (en) | 2015-07-15 |
Family
ID=47434723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011104474A Active JP5747646B2 (en) | 2011-05-09 | 2011-05-09 | Electronic device, data generation method, and data generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5747646B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024050868A1 (en) * | 2022-09-07 | 2024-03-14 | 瑞声开泰声学科技(上海)有限公司 | Method and apparatus for controlling output consistency of plurality of vibrators, and electronic device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001530A1 (en) * | 2007-06-22 | 2008-12-31 | Panasonic Corporation | Camera device and imaging method |
JP2010166322A (en) * | 2009-01-15 | 2010-07-29 | Toshiba Corp | Video viewing apparatus, video play back control method, and recording/play back program |
JP2010271944A (en) * | 2009-05-21 | 2010-12-02 | Chuo Univ | Periodic gesture discriminating device, periodic gesture discrimination method, periodic gesture discrimination program, and recording medium |
JP2010537320A (en) * | 2007-08-20 | 2010-12-02 | ジェスチャー テック,インコーポレイテッド | Advanced vocabulary rejection |
-
2011
- 2011-05-09 JP JP2011104474A patent/JP5747646B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001530A1 (en) * | 2007-06-22 | 2008-12-31 | Panasonic Corporation | Camera device and imaging method |
JP2010537320A (en) * | 2007-08-20 | 2010-12-02 | ジェスチャー テック,インコーポレイテッド | Advanced vocabulary rejection |
JP2010166322A (en) * | 2009-01-15 | 2010-07-29 | Toshiba Corp | Video viewing apparatus, video play back control method, and recording/play back program |
JP2010271944A (en) * | 2009-05-21 | 2010-12-02 | Chuo Univ | Periodic gesture discriminating device, periodic gesture discrimination method, periodic gesture discrimination program, and recording medium |
Non-Patent Citations (3)
Title |
---|
"無料通話・メールアプリLINE 友だち追加もカンタン スマートフォンを振って友だちを追加する「ふるふ", HTTP://LINE.ME/JA/, JPN6015014114, 3 April 2015 (2015-04-03), JP, ISSN: 0003048871 * |
岩本 健嗣: "環境カメラと携帯端末を用いた位置特定手法", 情報処理学会研究報告 VOL.2006 NO.121, vol. 2006-DPS-129, JPN6015002057, 17 November 2006 (2006-11-17), JP, pages 71 - 76, ISSN: 0003048870 * |
村尾 和哉: "自己相関を用いた加速度データの定常性判定による運動中のジェスチャ認識手法", マルチメディア,分散,協調とモバイル(DICOMO2009)シンポジウム論文集, vol. Vol.2009 No.1 [CD-ROM], JPN6015002056, 8 July 2009 (2009-07-08), JP, pages 1380 - 1387, ISSN: 0002987991 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024050868A1 (en) * | 2022-09-07 | 2024-03-14 | 瑞声开泰声学科技(上海)有限公司 | Method and apparatus for controlling output consistency of plurality of vibrators, and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP5747646B2 (en) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7554575B2 (en) | Fast imaging system calibration | |
JP7223079B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND IMAGING APPARATUS | |
WO2012002069A1 (en) | Method and device for shape extraction, and dimension measuring device and distance measuring device | |
CN109313805A (en) | Image processing apparatus, image processing system, image processing method and program | |
JP2016151955A (en) | Image processing apparatus, imaging device, distance measuring device, and image processing method | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
CN111144337B (en) | Fire detection method and device and terminal equipment | |
JP2017130794A (en) | Information processing apparatus, evaluation chart, evaluation system, and performance evaluation method | |
CN111028276A (en) | Image alignment method and device, storage medium and electronic equipment | |
JP2016103806A (en) | Imaging apparatus, image processing apparatus, imaging system, image processing method, and program | |
JP5395650B2 (en) | Subject area extraction device and control method thereof, subject tracking device, and program | |
KR101982258B1 (en) | Method for detecting object and object detecting apparatus | |
CN109816628A (en) | Face evaluation method and Related product | |
JP2010140315A (en) | Object detection device | |
JP5747646B2 (en) | Electronic device, data generation method, and data generation program | |
JP5708305B2 (en) | Image recognition apparatus, image recognition method, and computer program for image recognition | |
KR101444207B1 (en) | Uneven pattern image acquisition apparatus and method | |
JP5884759B2 (en) | Image processing apparatus, image processing method, and program | |
JP5616743B2 (en) | Imaging apparatus and image processing method | |
JP2007094452A (en) | Mat for game, card game system, image analyzing device and image analyzing method | |
JP2007080108A (en) | Card | |
JP7308419B2 (en) | OBJECT DETECTION SYSTEM, PROGRAM AND OBJECT DETECTION METHOD | |
JP6705486B2 (en) | Object detection apparatus, system, method and program | |
JP4361818B2 (en) | Screen display area detection device, screen display area detection method, and screen display area detection program | |
JP4530175B2 (en) | Image processing apparatus, protrusion detection method and program for image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5747646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |