JP2007150877A - 通信端末およびその表示方法 - Google Patents
通信端末およびその表示方法 Download PDFInfo
- Publication number
- JP2007150877A JP2007150877A JP2005344296A JP2005344296A JP2007150877A JP 2007150877 A JP2007150877 A JP 2007150877A JP 2005344296 A JP2005344296 A JP 2005344296A JP 2005344296 A JP2005344296 A JP 2005344296A JP 2007150877 A JP2007150877 A JP 2007150877A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- size
- communication terminal
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】表示画像制御部306の制御の下、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。同送信元アドレスからの音声情報(VoIP)の音圧(音量)に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出し、また、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりする。
【選択図】図3
Description
(1)1つの画像を等分割する場合(たとえば4分割、9分割)と、
(2)1つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある(たとえば6分割)。
(2)の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。
図1の例においては、画面1を先に決められた枠(四角形)のウィンドゥに分割する。
たとえば、画面1は1つの大きなウィンドゥ(四角形)2と複数の小さなウィンドゥ(四角形)3−1〜3−5から形成され、話し手を大きなウィンドゥ2に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、(PDAなどで)ページめくり的に取り扱う方法がある。
しかしながら、携帯通信端末の画面は非常に小さく、前述したページめくり的な扱い方法では、実現はできない。
テレビ会議システムの画面設定は、前もって設定しておく必要がある。このため、取り扱い画面数が想定数を越えた場合、表示することはできなくなる。
パーソナルコンピュータ(PC)におけるスクリーンの場合に対して、携帯通信端末では、操作キーの数に限界がある。いくつかのキーにて操作を可能としても、実際に画面上でスクリーンを最適に移動すること、サイズ変更することは困難である。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、IPアドレス、MACアドレス)と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置20は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する機能を有する。
デコード装置30は、たとえば多地点通信を行っている場合に、受信画像の特定エリアである顔を抽出(検出)し、この抽出した顔エリアに基づいて使用するスクリーン(サイズが制御された表示エリア)を選択して表示する機能を有する。
デコード装置30は、このスクリーンの表示に際し、デッドゾーンをなくした円形(楕円形を含む概念である)ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く(小さく)している。
よって、本実施形態においては、このデッドゾーンをなくした円形(楕円形)ウィンドゥにて分割するように構成している。具体的な処理については、後で図面に関連付けて詳述する。
デコード装置30は、各スクリーンの表示位置を算出し、受信した画像と、スクリーン情報(形状)、サイズ情報に基づいて、仮想の画面上にスクリーンを配置する。配置した全てのスクリーンを包含する四角形について、面積が画面の面積を越える場合、仮配置の面積が画面の面積と同等になるように、相似変換する。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、デコード装置30は、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする機能を有する。
なお、本実施形態においては、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。
制御機能は、表示部310の表示範囲と表示すべき画像との重なり度合いに基づき、表示すべき画像の配置を制御する機能を含む。
さらに、制御機能は、表示すべき画像が複数ある場合は、表示すべき画像同士の重なりの度合いに基づき、表示すべき画像の配置を制御する機能を含む。
スクリーン判定部3063は、顔エリア検出部3062にて、顔(特定)エリアが検出されなかった場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
また、スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔(特定)エリアの数が一定値以上の場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔(特定)エリアの数が一定値以下の場合、顔エリアの面積がもっとも大きい顔エリアに合わせて、スクリーンを選択する。
スクリーン判定部3063は、顔エリア検出部3062にて、抽出された顔エリアの面形が、推定される顔エリアの面積に対して一定値以下の場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
また、スクリーン判定部3063は、自端末制御部311により与えられる操作部302からの要求情報(制御情報)に応じて、スクリーン形状を選択する機能を有している。
マッピング処理部3068にて、同一画像上に形成されたスクリーンの群を包含する四角形のサイズが、画像出力部とし手の表示部310の画面サイズを越える場合、画像補正部309は、スクリーン群のサイズが、画面サイズ以下になるように規格化する機能を有している。
また、マッピング処理部3068によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、画像出力部としての表示部310の画面の縦、横のサイズを越える場合、画像補正部309は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、スクリーン群の位置を衝突による再配置処理を施す機能を有している。
また、スクリーンは、表示部310の画面上を移動し、他のスクリーンと衝突した場合、衝突したスクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。
また、スクリーンは、表示部310の画面上を移動し、画面枠に衝突した場合、自スクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。
スクリーンは、各々の独立に画面上を移動し、他のスクリーンと重なり合う、もしくは画面枠と重なり合うと判断された場合、重なりを回避するように、移動方向、移動速度を変化させ、さらに、スクリーンは、各々の表示内容の送信元の状況、および受信状況に応じて、スクリーンのサイズを変化するように制御される。
各々のスクリーンは、スクリーンの代表位置、移動速度、実サイズ、要求サイズ、収縮速度を有し、スクリーン表示の情報元からの要求サイズの更新がない場合、収縮速度に応じて、先の要求サイズを収縮するように制御される。
さらに、各々のスクリーンの要求サイズの総和が、画面のサイズを越える場合、画面のサイズにて、要求サイズを規格化することにより、全スクリーンを画面内に納まるように制御される。
スクリーンは、微小時間ΔTに、移動速度(V)にて、画面上を移動する。代表位置座標Pは次式で与えられる。
P(T+ΔT)=P(T)+V(T)
V(T+ΔT)=V(T)×H(鏡面反射)
表示画像表示部306は、他のスクリーンと重なると判断した場合、双方の移動速度(V)、および要求サイズ(r)に応じて、移動速度を変化する。変化する移動速度は次式で与えられる。
V0(T+ΔT)=V0(T)+(V1(T)×r1(T)+V0(T)×r0(T))/r0(T)
(数4)
R(T+ΔT)=r(T)
また、他のスクリーンと重なった場合、重ならない最大サイズに変更する。
アプリケーション毎(TV通話、Webサイトなどからのダウンロードファイルの再生なども含む)に、スクリーンのサイズの収縮速度(S(<1))を有する。情報の提供元、アプリケーション、ないしユーザからの要求サイズの更新がない場合、次式のように、その更新がない時間間隔(D)に応じて、スクリーンサイズを収縮する。
R´(T)=R(T)×S×D
TV通話の場合、送信元の音声の音量に応じて、要求サイズを算出する。
テキスト・エディタに分類されるアプリケーションの場合、要求サイズは一定サイズとする。
音楽録画、再生に分類されるアプリケーションの場合、要求サイズは一定サイズ(最小)とする。
映画などの再生に分類されるアプリケーションの場合、要求サイズは一定サイズ(最大)とする。
スクリーン全ての要求サイズの総和が、画面サイズ(A)を越える場合、次式に基づき、要求サイズを画面サイズで規格化する。
r(T)=r(T)×A/Σ(r(T))
また、スクリーンに表示されている内容の重要性に応じて、スクリーン同士が重なりあい、スクリーンの表示内容を隠すことをなく、スクリーンのサイズの更新、および再配置を自動的に適応的に行う。
また、表示スクリーンそのもののサイズを大小変更していくため、何のスクリーンが拡大されたのか容易に判断することが可能となる。
図4に示すように、円形ウィンドウ100は、図4に示すように、外円101の内側に少し狭い円形エリア102を有し、受信画像から顔エリアを抽出し、狭い円形エリア101(重なり境界線内)に収まるように、画像全体を拡大・縮小し、マッピングする。
重なり許容エリアは、表示部310の表示枠3101の外にはみ出すことが可能である。
V(t)=f(v(t))+β・v(t−1)
画面枠線3101に許容線が衝突すると、大きさに応じた力で押し返される。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。
図15に示すように、自端末が横になった場合、自端末からの天地情報に基づいて、画像を回転し、顔エリアの切り出し、マッピングを行う。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする。なお、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で確認することができる。また、新たな参加人にも容易に対応することができる。
Claims (21)
- 受信した画像データ、音声データを再生する通信端末であって、
画像データから特定のエリアを抽出する抽出手段と、
前記音声データの大きさに基づいて、前記抽出した画像のサイズを制御する制御手段と、
前記画像を表示する表示手段と、
を含むことを特徴とする通信端末。 - 前記制御手段は、前記表示手段の表示範囲と前記画像との重なり度合いに基づき、前記画像の配置を制御する
ことを特徴とする請求項1に記載の通信端末。 - 前記表示する画像が複数ある場合であって、
前記制御手段は、前記画像同士の重なりの度合いに基づき、前記画像の配置を制御する
ことを特徴とする請求項1または2に記載の通信端末。 - 前記制御手段は、前記抽出手段にて特定エリアを抽出した場合、サイズが制御された表示すべき画像を含む画像表示エリアの形状として、当該特定エリアを包含し、特定エリア以外の部分を最小とする円形を選択する
ことを特徴とする請求項1から3のいずれか一に記載の通信端末。 - 前記制御手段は、前記抽出手段にて、特定エリアが抽出されなかった場合、画像を風景と判定し、画像表示エリアの形状として、円形以外を選択する
ことを特徴とする請求項1から4のいずれか一に記載の通信端末。 - 前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以上の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
ことを特徴とする請求項1から5のいずれか一に記載の通信端末。 - 前記制御手段は、前記抽出手段にて抽出された特定エリアの数が一定値以下の場合、特定エリアの面積が最も大きい特定エリアに合わせて、画像表示エリアの形状を選択する
ことを特徴とする請求項1から6のいずれか一に記載の通信端末。 - 前記制御手段は、前記抽出手段にて抽出された特定エリアの形が、推定される特定エリアの面積に対して一定値以下の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
ことを特徴とする請求項1から7のいずれか一に記載の通信端末。 - 前記制御手段は、受信画像と同送信元からの要求形状に応じて、表示画像の形状を選択する
ことを特徴とする請求項3から8のいずれか一に記載の通信端末。 - 前記制御手段は、自端末の操作手段からの要求に応じて、画像表示エリアの形状を選択する
ことを特徴とする請求項3から9のいずれか一に記載の通信端末。 - 画像表示エリアには、他の表示エリアとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さい表示エリアが、前記許容エリアまで重なることを許容する重なり許容エリアを有する
ことを特徴とする請求項3から10のいずれか一に記載の通信端末。 - 画像表示エリアは、画面上を移動し、他の表示エリアと衝突した場合、衝突した表示エリアの大きさに応じて、移動方向を変える
ことを特徴とする請求項3から11のいずれか一に記載の通信端末。 - 画像表示エリアは、画面上を移動し、画面枠に衝突した場合、自画像表示エリアの大きさに応じて、移動方向を変える
ことを特徴とする請求項3から12のいずれか一に記載の通信端末。 - 前記制御手段は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、画像表示エリアのサイズを算出する
ことを特徴とする請求項3から13のいずれか一に記載の通信端末。 - サイズが制御された画像をマッピングするマッピング手段を有し、
前記マッピング処理手段は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする
ことを特徴とする請求項3から14のいずれか一に記載の通信端末。 - 画像補正手段を有し、
前記マッピング手段にて、同一画像上に形成された表示エリアの群を包含する四角形のサイズが、前記表示手段の画面サイズを越える場合、前記画像補正手段は、表示エリア群のサイズが、画面サイズ以下になるように規格化する
ことを特徴とする請求項15に記載の通信端末。 - 画像補正手段を有し、
前記マッピング手段によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、前記表示手段の画面の縦、横のサイズを越える場合、前記画像補正手段は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、表示エリア群の位置を衝突による再配置処理を施す
ことを特徴とする請求項15に記載の通信端末。 - 受信した画像に関連付けられて受信した天地情報に基づいて、受信した画像の天地を端末画面の天地と一致するように補正する天地補正手段を有する
ことを特徴とする請求項1から17のいずれか一に記載の通信端末。 - 前記制御手段は、送信元の指示情報に基づいて表示に関する制御を行い、
前記送信元の指示情報は、指示された画像の送信元の識別する情報と、受信した画像上の位置を示す位置情報とを含む
ことを特徴とする請求項1から18のいずれか一に記載の通信端末。 - 送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する
ことを特徴とする請求項19に記載の通信端末。 - 受信した画像データ、音声データを再生する通信端末の表示方法であって、
画像データから特定のエリアを抽出し、
前記音声データの大きさに基づいて、前記抽出した画像のサイズを制御し、
前記画像を表示する
ことを特徴とする通信端末の表示方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344296A JP4973908B2 (ja) | 2005-11-29 | 2005-11-29 | 通信端末およびその表示方法 |
US12/095,489 US8487956B2 (en) | 2005-11-29 | 2006-11-29 | Communication terminal, system and display method to adaptively update a displayed image |
PCT/JP2006/323857 WO2007063922A1 (ja) | 2005-11-29 | 2006-11-29 | 通信端末および通信システム、並びに通信端末の表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344296A JP4973908B2 (ja) | 2005-11-29 | 2005-11-29 | 通信端末およびその表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009231147A Division JP2010004573A (ja) | 2009-10-05 | 2009-10-05 | 通信端末およびその表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007150877A true JP2007150877A (ja) | 2007-06-14 |
JP4973908B2 JP4973908B2 (ja) | 2012-07-11 |
Family
ID=38211717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005344296A Expired - Fee Related JP4973908B2 (ja) | 2005-11-29 | 2005-11-29 | 通信端末およびその表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4973908B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009081699A (ja) * | 2007-09-26 | 2009-04-16 | Toshiba Corp | 電子機器および顔画像抽出制御方法 |
WO2009054141A1 (ja) * | 2007-10-26 | 2009-04-30 | Panasonic Corporation | 会議端末装置、中継装置、および会議システム |
JP2010213133A (ja) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | 会議端末装置、表示制御方法、表示制御プログラム |
JP2012213196A (ja) * | 2012-06-05 | 2012-11-01 | Toshiba Corp | 電子機器、顔画像抽出制御方法およびプログラム |
US9178481B2 (en) | 2012-12-28 | 2015-11-03 | Hon Hai Precision Industry Co., Ltd. | Volume control method and system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05103324A (ja) * | 1991-10-09 | 1993-04-23 | Mitsubishi Electric Corp | 多地点テレビ会議制御装置 |
JP2005303736A (ja) * | 2004-04-13 | 2005-10-27 | Ntt Communications Kk | ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム |
-
2005
- 2005-11-29 JP JP2005344296A patent/JP4973908B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05103324A (ja) * | 1991-10-09 | 1993-04-23 | Mitsubishi Electric Corp | 多地点テレビ会議制御装置 |
JP2005303736A (ja) * | 2004-04-13 | 2005-10-27 | Ntt Communications Kk | ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009081699A (ja) * | 2007-09-26 | 2009-04-16 | Toshiba Corp | 電子機器および顔画像抽出制御方法 |
WO2009054141A1 (ja) * | 2007-10-26 | 2009-04-30 | Panasonic Corporation | 会議端末装置、中継装置、および会議システム |
JP5086366B2 (ja) * | 2007-10-26 | 2012-11-28 | パナソニック株式会社 | 会議端末装置、中継装置、および会議システム |
US8363809B2 (en) | 2007-10-26 | 2013-01-29 | Panasonic Corporation | Teleconference terminal apparatus, relaying apparatus, and teleconferencing system |
JP2010213133A (ja) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | 会議端末装置、表示制御方法、表示制御プログラム |
JP2012213196A (ja) * | 2012-06-05 | 2012-11-01 | Toshiba Corp | 電子機器、顔画像抽出制御方法およびプログラム |
US9178481B2 (en) | 2012-12-28 | 2015-11-03 | Hon Hai Precision Industry Co., Ltd. | Volume control method and system |
Also Published As
Publication number | Publication date |
---|---|
JP4973908B2 (ja) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8487956B2 (en) | Communication terminal, system and display method to adaptively update a displayed image | |
JP4994646B2 (ja) | 通信端末および通信システム、並びに通信端末の表示方法 | |
US9414013B2 (en) | Displaying participant information in a videoconference | |
US8125509B2 (en) | Facial recognition for a videoconference | |
EP2811739B1 (en) | Terminal, image communication control server, and system and method for image communication using same | |
JP4443181B2 (ja) | コミュニケーションシステム及び方法 | |
US8120638B2 (en) | Speech to text conversion in a videoconference | |
US7508413B2 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
TW201901527A (zh) | 視訊會議裝置與視訊會議管理方法 | |
EP2326136A2 (en) | Method and apparatus for remote controlling bluetooth device | |
JP4973908B2 (ja) | 通信端末およびその表示方法 | |
CN109753259B (zh) | 一种投屏系统及控制方法 | |
US11272224B2 (en) | Information processing device and method | |
JP2005328484A (ja) | テレビ会議システム、情報処理装置及び情報処理方法並びにプログラム | |
US20060262142A1 (en) | Method for displaying special effects in image data and a portable terminal implementing the same | |
JP2010157906A (ja) | 映像表示装置 | |
JP5274750B2 (ja) | 通信端末およびその表示方法 | |
JP4990520B2 (ja) | 通信端末およびその表示方法 | |
JP4832869B2 (ja) | 通信端末およびその表示方法 | |
JP2010004573A (ja) | 通信端末およびその表示方法 | |
JP2005151073A (ja) | Tv電話機能付き携帯端末装置 | |
KR20130094493A (ko) | 휴대 단말기에서 이미지를 출력하는 장치 및 방법 | |
JP4926464B2 (ja) | 通信端末およびその表示方法 | |
JP6431301B2 (ja) | 動画処理装置、方法、コンピュータプログラム | |
JP2007180914A (ja) | 画面拡大表示機能付携帯電話、画面拡大表示方法、及び、画面拡大表示プログラムとその記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091005 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100311 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120328 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |